Соревнование по извлечению вложенных именованных сущностей в few-shot режиме
Основные даты
- 29 декабря: публикация обучающих данных
- 4 февраля: публикация тестовых данных.
- 14 февраля: окончание тестирования.
- 15 марта: завершаем прием статей.
Мотивация
Извлечение именованных сущностей – одна из самых востребованных на практике задач извлечения информации – предполагает поиск в тексте упоминаний имен, организаций, топонимов и других сущностей. Соревнование RuNNE посвящено задаче извлечения вложенных именованных сущностей. Разметка данных допускает следующие случаи: внутри одной именованной сущности находится другая именованная сущность. Так, например в сущность класса Organization “Московский драматический театр имени М. Н. Ермоловой” вложена сущность типа Person – “М. Н. Ермоловой”.
Данные
Соревнование проводится на материале корпуса NEREL, собранного из новостных текстов WikiNews на русском языке. В корпусе NEREL представлено 29 классов различных сущностей, а глубина вложенности сущностей достигает 6 слоев.
Постановка задачи
В рамках соревнования RuNNE мы предлагаем участникам рассмотреть few-shot постановку задачи. Задача предполагает извлечение вложенных именованных сущностей, в обучающем множестве большая часть типов именованных сущностей встречается достаточно часто, а некоторое количество специально отобранных типов – встречается всего несколько раз. В тестовом множестве все типы сущностей представлены одинаково.
Таким образом, участникам предстоит разработать модели извлечения вложенных именованных сущностей, поддерживающие few-shot режим. Оценка обычных типов сущностей и few-shot типов сущностей осуществляется раздельно.