Dialogue Evaluation 2022

RuNNE-2022

Соревнование по извлечению вложенных именованных сущностей в few-shot режиме


Репозиторий соревнования

Группа в телеграме

Соревнование на Codalab


Основные даты

  • 29 декабря: публикация обучающих данных
  • 4 февраля: публикация тестовых данных.
  • 14 февраля: окончание тестирования.
  • 15 марта: завершаем прием статей.

Мотивация

Извлечение именованных сущностей – одна из самых востребованных на практике задач извлечения информации – предполагает поиск в тексте упоминаний имен, организаций, топонимов и других сущностей. Соревнование RuNNE посвящено задаче извлечения вложенных именованных сущностей. Разметка данных допускает следующие случаи: внутри одной именованной сущности находится другая именованная сущность. Так, например в сущность класса Organization “Московский драматический театр имени М. Н. Ермоловой” вложена сущность типа Person – “М. Н. Ермоловой”.


Данные

Соревнование проводится на материале корпуса NEREL, собранного из новостных текстов WikiNews на русском языке. В корпусе NEREL представлено 29 классов различных сущностей, а глубина вложенности сущностей достигает 6 слоев.


Постановка задачи

В рамках соревнования RuNNE мы предлагаем участникам рассмотреть few-shot постановку задачи. Задача предполагает извлечение вложенных именованных сущностей, в обучающем множестве большая часть типов именованных сущностей встречается достаточно часто, а некоторое количество специально отобранных типов – встречается всего несколько раз. В тестовом множестве все типы сущностей представлены одинаково.

Таким образом, участникам предстоит разработать модели извлечения вложенных именованных сущностей, поддерживающие few-shot режим. Оценка обычных типов сущностей и few-shot типов сущностей осуществляется раздельно.