Одним из важнейших направлений конференции является разработка и апробирование методик верификации результатов лингвистических исследований и сравнительных оценок эффективности систем анализа текстов на русском языке. Цель этой работы – разработка единых принципов «evaluation»: доказательства эффективности и адекватности полученных результатов. Такие доказательства возможно получить только в результате проведения серьезных тестов в соответствии с разработанными методиками.

В рамках специального направления «Диалога», которое называется Dialogue Evaluation, ежегодно проводятся сравнительные тестирования систем компьютерного анализа, решающих те или иные практические задачи. Результаты тестирований обсуждаются на конференции, отчеты организаторов и участников вы можете найти ниже.

Темы Dialogue Evaluation 2017

В ходе тестирования планируется решение задачи поиска внешних заимствований (External Plagiarism Detection). Тематика текстов смещена в сторону заимствований в научных текстах (академический плагиат).

Соревнование по оценке методов морфологического анализа русского языка. Цель соревнования — стимулировать развитие технологий морфологической обработки текстов на русском языке, в особенности текстов из сети Интернет.