Dialogue Evaluation 2022

RuATD-2022

Соревнование по распознаванию сгенерированных текстов


Репозиторий соревнования

Группа в телеграме

Kaggle: бинарная постановка

Kaggle: мультиклассовая постановка


Основные даты

  • 17 января 2022 – публикация данных, открытие платформ тестирования
  • 25 февраля 2022, 9 утра (Мск) – закрытие тестирования
  • 1-2 марта 2022 - официальное подведение итогов
  • 15 марта 2022 – завершаем прием статей

Мотивация

Современные модели генерации текстов показывают впечатляющие результаты: они могут сочинить стихотворение, изменить стиль текстов и даже написать осмысленное эссе на свободную тематику. Однако такие модели могут быть использованы в злонамеренных целях, например, для генерации фейковых новостей, отзывов на продукты и политического контента. Так, возникает новая задача: научиться отличать тексты, написанные человеком, от текстов, сгенерированных нейросетевыми языковыми моделями.


Постановка задачи

Соревнование RuATD (Russian Artificial Text Detection) посвящено задаче автоматического распознавания сгенерированных текстов и предлагает участникам рассмотреть две постановки:

      1. Определить, был ли текст сгенерирован автоматически или написан человеком (бинарная классификация);
      2. Определить, какая именно модель была использована для генерации данного текста (мультиклассовая классификация).