Соревнование по распознаванию сгенерированных текстов

Поздравляем участников с окончанием соревнования RuATD!

В бинарном треке приняло участие 30 команд, из которых 12 команд преодолели baseline (на основе BERT). В треке с мультиклассовой классификацией приняло участие 8 команд, 4 преодолело BERT baseline.

Ниже представлена вершина лидербордов по двум трекам. Полные лидерборды можно найти в Kaggle.

Репозиторий соревнования

Группа в телеграме

Kaggle: бинарная постановка

Kaggle: мультиклассовая постановка

Основные даты

• 17 января 2022 – публикация данных, открытие платформ тестирования
• 7 марта 2022, 9 утра (Мск) – закрытие тестирования
• 8 марта 2022 - предварительное подведение итогов
• 9-13 марта 2022 - официальное подведение итогов
• 25 марта 23:59 (Мск) 2022 – завершаем прием статей

Мотивация

Современные модели генерации текстов показывают впечатляющие результаты: они могут сочинить стихотворение, изменить стиль текстов и даже написать осмысленное эссе на свободную тематику. Однако такие модели могут быть использованы в злонамеренных целях, например, для генерации фейковых новостей, отзывов на продукты и политического контента. Так, возникает новая задача: научиться отличать тексты, написанные человеком, от текстов, сгенерированных нейросетевыми языковыми моделями.

Постановка задачи

Соревнование RuATD (Russian Artificial Text Detection) посвящено задаче автоматического распознавания сгенерированных текстов и предлагает участникам рассмотреть две постановки:

1. Определить, был ли текст сгенерирован автоматически или написан человеком (бинарная классификация);
2. Определить, какая именно модель была использована для генерации данного текста (мультиклассовая классификация).