Одним из важнейших направлений конференции является разработка и апробирование методик верификации результатов лингвистических исследований и сравнительных оценок эффективности систем анализа текстов на русском языке. Цель этой работы – разработка единых принципов «evaluation»: доказательства эффективности и адекватности полученных результатов. Такие доказательства возможно получить только в результате проведения серьезных тестов в соответствии с разработанными методиками.

В рамках специального направления «Диалога», которое называется Dialogue Evaluation, ежегодно проводятся сравнительные тестирования систем компьютерного анализа, решающих те или иные практические задачи. Результаты тестирований обсуждаются на конференции, отчеты организаторов и участников вы можете найти ниже.

Dialogue Evaluation 2019

1. Автоматический анализ синтаксического явления гэппинга (gapping)

Гэппинг - один из распространенных типов эллипсиса, относящийся к таким примерам, как «Кто любит арбуз, кто кто - свиной хрящик», «Дайте мне две пятерки, я вам десятку».

Цель этой задачи состоит в том, чтобы бросить вызов нетривиальному лингвистическому феномену, гэппингу, который возникает в согласованных структурах и исключает повторяющийся предикат, как правило, из второго предложения. Помимо сложности самой конструкции, это явление, естественно, встречается редко, что приводит к нехватке обучающих данных. В течение последних двух лет гэппингу уделялось значительное внимание (S. Schuster, M. Lamm, CD. Manning 2017; K. Droganova, D. Zeman 2017; K. Droganova et al 2018; S. Schuster, J. Nivre, CD. Manning 2018; Nivre et al 2018). К сожалению, исследования проводились в основном на недостаточных данных, не превышающих несколько сотен предложений. Это соревнование является пилотным мероприятием по разрешению гэппинга на материале русского языка.

Ссылка на репозиторий 

Важные даты:

Регистрация заканчивается - 25 января 2019
Рассылка обучающих данных - 26 января 2019
Рассылка тестовых данных - 20 февраля 2019
Сдача результатов работы и кода систем - до 18:00 23 февраля 2019
Подведение итогов - 5 марта 2019

Организаторы

Пономарева М., ABBYY, Москва, Россия
Смуров И., ABBYY, Москва, Россия
Шаврина Т.О., НИУ ВШЭ, Сбербанк, Москва, Россия
Дроганова К., Карлов университет, Прага, Чешская Республика
Богданов А., ABBYY, Москва, Россия

Почта организаторов: dialogueeval2019@gmail.com 

2. Автоматическое разрешение анафоры и построение референциальных цепочек

Качественное разрешение анафоры играет важную роль во многих приложениях NLP. Тем не менее, разработка такого приложения для нового языка требует обширных знаний в мире, а также аннотированных ресурсов, которые обычно дороги в создании. Цель компонентов разрешения анафоры состоит в том, чтобы найти все упоминания в тексте, которые относятся к одной и той же сущности реального мира. Первая оценка таких систем для русского языка была проведена в 2014 году (RU-EVAL 2014). Последними общими задачами для многоязычного ориентирования являются, например, CORBON 2017 (в том числе на материалах русского языка) и CoNLL-2012.

Описание задания: общая задача подразделяется на задачи разрешения кореференции и анафоры. В задаче разрешения кореференции обучающая выборка состоит предполагает 2 слоя разметки. Это позволяет не только обучить систему определять, являются ли два упоминания кореферентными (слой кореферентных цепочек), но также локализовать границы упоминаний (слой упоминаний). В слое кореферентных цепочек, для каждого упоминания, включенного в цепочку длиной более одной, есть строка, описывающая его в следующем формате: ID упоминания → Смещение  → Длина → ID цепочки. В слое упоминаний для каждого упоминания в тексте есть строка, описывающая его в следующем формате: ID упоминания → Смещение  → Длина. Упомянутые идентификаторы сортируются в порядке появления в тексте. Упоминания с одинаковыми идентификаторами в обоих слоях имеют одинаковые смещения и длины. В задаче разрешения анафоры, обучающая выборка состоит из анафорических местоимений и их анецедентов.

Важные даты:

Регистрация заканчивается - 25 января 2019
Рассылка обучающих данных - 8 февраля 2019
Рассылка тестовых данных - 22 февраля 2019
Сдача результатов работы и кода систем - до 12:00 4 марта 2019
Подведение итогов - 10 марта 2019

Организаторы

Толдова С.Ю.,  НИУ ВШЭ, Москва, Россия
Недолужко А., Карлов университет, Прага, Чехия
Иомдин Л. Л., Институт проблем передачи информации, РГГУ, Москва, Россия
Будников Е., ABBYY, Москва, Россия

Почта организаторов: dialogueeval2019@gmail.com 

3. Морфологический анализ малоресурсных языков

При работе с мажоритарными языками, такими как русский, в распоряжении исследователей имеется достаточно большое количество как размеченных, так и неразмеченных данных. Цель мероприятия подразумевает поиск успешных и современных подходов к автоматическому анализу естественных языков с малым количеством ресурсов. Участники смогут предложить собственные подходы к решению задачи transfer learning, используя данные как мажоритарных языков, так и миноритарных языков, представленных в соревновании.

Участникам будут предложены задания по морфологическому анализу, синтезу словоформ и морфемной сегментации.

Задачи форума:

Стимулировать развитие корпусов и инструментов анализа для малых языков;

Связать сообщества полевых лингвистов и специалистов по компьютерной лингвистике;

Проанализировать, как современные методы NLP  справляются с задачами морфологического анализа при малом объёме размеченных данных и высокой вариативности данных.

Ссылка на сайт

Важные даты:

Предоставление обучающей выборки - 24 января 2019
Предоставление тестовой выборки - 21 февраля 2019 
Подача результатов участниками - 27 февраля 2019 
Сбор статей для публикации на сайте конференции - 10 марта 2019
Подведение итогов - июнь 2019

Организаторы

Толдова С.Ю.,  НИУ ВШЭ, Москва, Россия
Клячко Е.Л., Москва, Россия
Мищенкова К.О., Москва, Россия
Ляшевская О.Н., НИУ ВШЭ, Москва, Россия

Почта организаторов: dialogueeval2019@gmail.com 

4. Генерация заголовков для новостных статей

В рамках конференции "Диалог" планируется провести сравнение систем автоматической генерации новостных заголовков на русском языке.

Соревнование предусматривает следующие задачи:
1) стимулировать развитие систем генерации заголовков в частности и суммаризации в целом для русского языка;
2) понять, насколько успешно современные технологии применимы для русского языка в частности и в целом морфологически богатых языков.

Пример данных:
title:
еще несколько сожженных тел нашли в мексиканском штате герреро
text:
мехико, 30 ноя риа новости, дмитрий знаменский. полиция мексиканского города чилапа в штате герреро в воскресенье обнаружила новые сожженные тела, сообщают местные власти. по информации правоохранительных органов, внутри сожженной автомашины находились пять тел. они принадлежат людям, похищенным в среду в местечке ла-хагуэй. таким образом, за неделю в чилапе были найдены 16 сожженных тел. в четверг на дороге рядом с городом были оставлены тела 11 человек, обезглавленных и сожженных. рядом была брошена записка, из которой следует, что эти люди стали жертвами выяснения отношений между двумя противоборствующими преступными группировками. штат герреро - один из наиболее опасных с точки зрения активности преступности в мексике. именно здесь в сентябре пропали 43 студента, которые, как выяснилось позднее, были похищены полицией и переданы в руки бандитов в игуале.

Страница соревнования

Контакты: сообщения сообщества

Для участия в дорожке необходимо заполнить анкету.

Важные даты:
Первое информационное письмо и предоставление обучающей выборки - 31 января 2019
Официальное начало соревнования - 1 февраля 2019
Окончание соревнования - 1 марта 2019
Окончание приема статей от участников дорожки - 14 марта 2019
Публикация результатов дорожки - 15 марта 2019
Подведение итогов и выступление участников на конференции «Диалог» - 29 мая - 1 июня 2019

Организаторы:
Малых В.А., ВКонтакте
Калайдин П.С., ВКонтакте
Артемова Е.Л., НИУ ВШЭ, Сбербанк
Смуров И.М., ABBYY