Dialogue Evaluation - это специальное направление «Диалога», которое объединяет shared tasks по разным практическим и исследовательским NLP задачам для русского языка. Несмотря на то что в Dialogue Evaluation есть соревновательная составляющая, нашим приоритетом является научная сторона вопроса. Мы разрабатываем единые принципы "evaluation", чтобы объективно оценивать системы анализа текстов для разных задач и задавать технические планки (SOTA-решения).
Статья участника соревнования с описанием решения может быть опубликована в сборнике «Компьютерная лингвистика и интеллектуальные технологии» (Scopus), если она прошла рецензирование. Участие в соревновании не является допуском к публикации в сборнике. Обратите внимание на правила публикации.
По всем вопросам можно писать на почту dialogue.secretary@gmail.com.
Информация о соревнованиях 2024
Технологический форум Dialogue Evaluation начинает сбор заявок на проведение дорожек тестирования в 2024 году.
Дорожки планируется проводить с 1 апреля по 1 сентября. Итоги будут подводиться на конференции Dialogue-24 в конце ноября.
Мы просим вас присылать заявки на проведение соревнования на текущий адрес конференции dialogue.secretary@gmail.com с темой «Dialogue Evaluation 24». Дедлайн приема заявок – 20 марта.
В заявке нужно отразить следующие аспекты:
1. Название соревнования;
2. Основные организаторы (с указанием аффилиации);
3. Краткая аннотация:
* формат проведения (основное «длинное» соревнование, студенческая задача, хакатон, презентация датасета без соревнования и т.п.);
* какие планируются дорожки;
* на каких датасетах;
* как будет проводиться оценка решений участников;
* очень кратко о значимости соревнования для community, возможности использования и масштабирования полученных результатов.
4. Предполагаемый timeline;
5. Нужна ли помощь в организации, и если нужна, то какая;
6. Приложение: любые ссылки на сформулированные условия и правила проведения, если таковые уже имеются.
Как обычно, организаторы и участники дорожек DE могут претендовать на публикацию статей по итогам соревнований (по результатам полноценного рецензирования). Участники имеют отложенный дедлайн по сравнению с участниками основного трека. Информацию о правилах публикаций статей трека DE см. здесь.