Dialogue Evaluation 2022

RuNNE-2022

Соревнование по извлечению вложенных именованных сущностей в few-shot режиме

Соревнование RuNNE завершено!

Участники соревнования могут подать статью на конференцию Диалог в сборник "Компьютерная лингвистика и интеллектуальные технологии" с описанием решения и анализом результатов. Дедлайн подачи статей по треку Dialogue Evaluation: 25 марта 23:59. Пожалуйста, прочитайте правила публикации для трека Dialogue Evaluation.

В соревновании приняло участие 9 команд, из них 4 преодолели baseline в рамках базовой постановки задачи и так же 4 команды - в рамках few-shot постановки.


Репозиторий соревнования

Группа в телеграме

Соревнование на Codalab, платформа для отладки

Соревнование на Codalab, тестовая фаза

Платформа для отладки будет открыта и после завершения соревнования, платформа для тестирования закроется 17 февраля. Максимальное число сабмитов на тестовой платформе в день: 3.


Основные даты

  • 29 декабря: публикация обучающих данных
  • 7 февраля: публикация тестовых данных.
  • 25 февраля 14:00 (Мск): окончание тестирования.
  • 25 марта 23:59 (Мск): завершаем прием статей.

Мотивация

Извлечение именованных сущностей – одна из самых востребованных на практике задач извлечения информации – предполагает поиск в тексте упоминаний имен, организаций, топонимов и других сущностей. Соревнование RuNNE посвящено задаче извлечения вложенных именованных сущностей. Разметка данных допускает следующие случаи: внутри одной именованной сущности находится другая именованная сущность. Так, например в сущность класса Organization “Московский драматический театр имени М. Н. Ермоловой” вложена сущность типа Person – “М. Н. Ермоловой”.


Данные

Соревнование проводится на материале корпуса NEREL, собранного из новостных текстов WikiNews на русском языке. В корпусе NEREL представлено 29 классов различных сущностей, а глубина вложенности сущностей достигает 6 слоев.


Постановка задачи

В рамках соревнования RuNNE мы предлагаем участникам рассмотреть few-shot постановку задачи. Задача предполагает извлечение вложенных именованных сущностей, в обучающем множестве большая часть типов именованных сущностей встречается достаточно часто, а некоторое количество специально отобранных типов – встречается всего несколько раз. В тестовом множестве все типы сущностей представлены одинаково.

Таким образом, участникам предстоит разработать модели извлечения вложенных именованных сущностей, поддерживающие few-shot режим. Оценка обычных типов сущностей и few-shot типов сущностей осуществляется раздельно.