Dialogue Evaluation 2022

RUSSE-2022 Detoxification

Соревнование по автоматической детоксификации текстов


Репозиторий соревнования

Соревнование на CodaLab с лидербордом

Группа в телеграме (объявления, новости)

Группа в телеграме для дискуссий


Основные даты

    • До 31 января: уже открыта фаза Development, где вы можете тестироваться на dev сете
    • 31 января - 14 февраля: будет выложен test сет, у которого уже не будет нейтральных референсов. На отправку решения на этом сете и выбора лучшей модели будет дано 2 недели.
    • Лучшие модели, выбранные участниками, буду оценены вручную. Финальные результаты ручной оценки будут выложены на сайте соревнования 28 февраля.
    • 15 марта 2022 – завершаем прием статей

 


Мотивация

Мы, лаборатория SkoltechNLP, cовместно с МТС АИ и SberDevices представляем RUSSE-2022 Russian Text Detoxification Based on Parallel Corpora – первое соревнование по автоматической детоксификации русскоязычных текстов для борьбы с оскорбительной речью; в рамках соревнования впервые создаётся параллельный корпус для решения задачи. Системы детоксификации текстов могут быть использованы, например, для предварительной обработки ответов в социальных сетях и фильтрации реплик в чат-ботах, для проведения аналитики и гуманитарных исследований. Кроме первого в своем роде параллельного корпуса токсичных / детоксифицированных предложений для русского языка, мы также предоставляем базовые подходы к решению задачи детоксификации, а также комплексный набор метрик оценки результатов детоксификации, основанных на лучших научных практиках переноса стиля.


Постановка задачи

К участию приглашаются все, кто заинтересован в детоксификации предложений: на входе есть токсичный текст, его надо перефразировать в нетоксичный. Участникам разрешается использовать любые дополнительные датасеты или модели, при условии, что они есть в открытом доступе. Однако мы просим участников указать все дополнительные ресурсы, используемые в рамках соревнования.

Подробности на сайте.