Dialogue Evaluation 2022

RuArg-2022

Соревнование по анализу аргументации


Репозиторий соревнования

Соревнование на CodaLab

Группа в телеграме


Основные даты

  • 21 декабря: публикация train и dev корпусов.
  • 4 февраля: публикация неразмеченного тестового корпуса.
  • 11 февраля: окончание приема результатов систем участников.
  • 18 февраля: публикация результатов оценки систем участников.
  • 15 марта: окончание приема статей на публикацию.

Описание соревнования

Анализ аргументации (argumentation mining) – это область компьютерной лингвистики, в которой исследуются методы извлечения из текстов и классификации аргументов и связей между ними, а также построения аргументационной структуры. Аргумент должен включать утверждение (claim), содержащее позицию (stance) относительно некоторой тематики или объекта, и, по крайней мере, один довод (premise) «за» или «против» этой позиции. Часто «довод» называют «аргументом», когда из контекста ясно, о каком утверждении идет речь.

Существует большое количество работ, посвященных задаче анализа аргументации. Также проводятся соревнования, но, в основном, для английского языка. В соревновании RuArg-2022 впервые предлагается протестировать системы анализа аргументации на материале русского языка. Из множества задач, возникающих при анализе аргументации, мы выбрали две:

  • Определение позиции автора текста (Stance Detection) по отношению к заданному утверждению.
  • Классификация доводов (Premise Classification): требуется распознать, содержит ли текст доводы «за» или «против» относительно заданного утверждения на тему борьбы с COVID.

Мы сформулировали три утверждения, касающиеся пандемии COVID-19 (и в целом противоэпидемических мер):

  1. «Вакцинация полезна для общества».
  2. «Введение и соблюдение карантина полезно для общества».
  3. «Ношение масок полезно для общества».

Из социальных сетей была собрана коллекция предложений – комментариев к постам из социальных медиа. В этих предложениях могут содержаться как высказывания, определяющие авторскую позицию относительно заданных утверждений, так и высказывания с доводами «за»/«против» этих утверждений. Подобный корпус с разметкой по позиции и доводам, состоящий из комментариев к постам из соц. сетей, будет впервые представлен для русского языка.

Каждое предложение было размечено по позиции и по доводам для всех трех утверждений. Таким образом, каждое предложение имеет шесть меток.

Использовались следующие классы (метки):

  • «за»;
  • «против»;
  • «прочее» (для позиции эта метка объединяет метки «нейтрально», «непонятно» или «и за, и против») / «нет аргумента» (для довода);
  • «нерелевантно» (для данного утверждения)