Соревнование по извлечению вложенных именованных сущностей в few-shot режиме
Соревнование RuNNE завершено!
Участники соревнования могут подать статью на конференцию Диалог в сборник "Компьютерная лингвистика и интеллектуальные технологии" с описанием решения и анализом результатов. Дедлайн подачи статей по треку Dialogue Evaluation: 25 марта 23:59. Пожалуйста, прочитайте правила публикации для трека Dialogue Evaluation.
В соревновании приняло участие 9 команд, из них 4 преодолели baseline в рамках базовой постановки задачи и так же 4 команды - в рамках few-shot постановки.
Соревнование на Codalab, платформа для отладки
Соревнование на Codalab, тестовая фаза
Платформа для отладки будет открыта и после завершения соревнования, платформа для тестирования закроется 17 февраля. Максимальное число сабмитов на тестовой платформе в день: 3.
Основные даты
- 29 декабря: публикация обучающих данных
- 7 февраля: публикация тестовых данных.
- 25 февраля 14:00 (Мск): окончание тестирования.
- 25 марта 23:59 (Мск): завершаем прием статей.
Мотивация
Извлечение именованных сущностей – одна из самых востребованных на практике задач извлечения информации – предполагает поиск в тексте упоминаний имен, организаций, топонимов и других сущностей. Соревнование RuNNE посвящено задаче извлечения вложенных именованных сущностей. Разметка данных допускает следующие случаи: внутри одной именованной сущности находится другая именованная сущность. Так, например в сущность класса Organization “Московский драматический театр имени М. Н. Ермоловой” вложена сущность типа Person – “М. Н. Ермоловой”.
Данные
Соревнование проводится на материале корпуса NEREL, собранного из новостных текстов WikiNews на русском языке. В корпусе NEREL представлено 29 классов различных сущностей, а глубина вложенности сущностей достигает 6 слоев.
Постановка задачи
В рамках соревнования RuNNE мы предлагаем участникам рассмотреть few-shot постановку задачи. Задача предполагает извлечение вложенных именованных сущностей, в обучающем множестве большая часть типов именованных сущностей встречается достаточно часто, а некоторое количество специально отобранных типов – встречается всего несколько раз. В тестовом множестве все типы сущностей представлены одинаково.
Таким образом, участникам предстоит разработать модели извлечения вложенных именованных сущностей, поддерживающие few-shot режим. Оценка обычных типов сущностей и few-shot типов сущностей осуществляется раздельно.