Dialogue Evaluation 2022

RuArg-2022

Соревнование по анализу аргументации

Поздравляем участников с окончанием соревнования RuArg-2022!

Участники соревнования могут подать статью на конференцию Диалог в сборник "Компьютерная лингвистика и интеллектуальные технологии" с описанием решения и анализом результатов. Дедлайн подачи статей по треку Dialogue Evaluation: 25 марта 23:59. Пожалуйста, прочитайте правила публикации для трека Dialogue Evaluation.

Из 13 систем 9 преодолели baseline (на основе BERT) для задачи определения позиции и 8 – для классификации доводов. Лучшие системы опередили baseline примерно на 30 процентных пунктов – это отличный результат!

Первые четыре места заняли следующие участники:

  1. camalibi (первое место по обеим задачам)
  2. sevastyanm (второе место по обеим задачам)
  3. iamdenay (третье место по определению позиции, четвертое место по классификации доводов)
  4. ursdth (четвертое место по определению позиции, третье место по классификации доводов)

Поздравляем победителей и призёров!

Полностью лидерборд для обеих задач выглядит так:

#

User

F1 Stance Detection 

 

#

User

F1 Premise Classification 

1

camalibi

0.6968

 

1

camalibi

0.7404

2

sevastyanm

0.6815

 

2

sevastyanm

0.7235

3

iamdenay

0.6676

 

3

ursdth

0.7064

4

ursdth

0.6573

 

4

iamdenay

0.6555

5

sopilnyak

0.5603

 

5

dr

0.6036

6

kazzand

0.5552

 

6

kazzand

0.5603

7

morty

0.5353

 

7

morty

0.5453

8

invincible

0.5286

 

8

invincible

0.5428

9

dr

0.4750

 

9

baseline

0.4355

10

baseline

0.4180

 

10

sopilnyak

0.4338

11

antongolubev

0.3338

 

11

antongolubev

0.3338

12

unknown123

0.2737

 

12

unknown123

0.2949

13

georgeMK

0.0685

 

13

georgeMK

0.0525

14

regibezh

0.0000

 

14

regibezh

0.0000


Репозиторий соревнования

Соревнование на CodaLab

Группа в телеграме


Основные даты

  • 21 декабря: публикация train и dev корпусов.
  • 4 февраля: публикация неразмеченного тестового корпуса.
  • 20 февраля: окончание приема результатов систем участников.
  • 25 февраля: публикация результатов оценки систем участников.
  • 25 марта 23:59 (Мск): окончание приема статей на публикацию.

Описание соревнования

Анализ аргументации (argumentation mining) – это область компьютерной лингвистики, в которой исследуются методы извлечения из текстов и классификации аргументов и связей между ними, а также построения аргументационной структуры. Аргумент должен включать утверждение (claim), содержащее позицию (stance) относительно некоторой тематики или объекта, и, по крайней мере, один довод (premise) «за» или «против» этой позиции. Часто «довод» называют «аргументом», когда из контекста ясно, о каком утверждении идет речь.

Существует большое количество работ, посвященных задаче анализа аргументации. Также проводятся соревнования, но, в основном, для английского языка. В соревновании RuArg-2022 впервые предлагается протестировать системы анализа аргументации на материале русского языка. Из множества задач, возникающих при анализе аргументации, мы выбрали две:

  • Определение позиции автора текста (Stance Detection) по отношению к заданному утверждению.
  • Классификация доводов (Premise Classification): требуется распознать, содержит ли текст доводы «за» или «против» относительно заданного утверждения на тему борьбы с COVID.

Мы сформулировали три утверждения, касающиеся пандемии COVID-19 (и в целом противоэпидемических мер):

  1. «Вакцинация полезна для общества».
  2. «Введение и соблюдение карантина полезно для общества».
  3. «Ношение масок полезно для общества».

Из социальных сетей была собрана коллекция предложений – комментариев к постам из социальных медиа. В этих предложениях могут содержаться как высказывания, определяющие авторскую позицию относительно заданных утверждений, так и высказывания с доводами «за»/«против» этих утверждений. Подобный корпус с разметкой по позиции и доводам, состоящий из комментариев к постам из соц. сетей, будет впервые представлен для русского языка.

Каждое предложение было размечено по позиции и по доводам для всех трех утверждений. Таким образом, каждое предложение имеет шесть меток.

Использовались следующие классы (метки):

  • «за»;
  • «против»;
  • «прочее» (для позиции эта метка объединяет метки «нейтрально», «непонятно» или «и за, и против») / «нет аргумента» (для довода);
  • «нерелевантно» (для данного утверждения)