Dialogue Evaluation 2023

RECEIPT-AVQA-2023

Соревнование по генерации ответов на вопросы


Соревнование и приём работ завершены. Благодарим всех за участие!


Ссылки


График проведения соревнования

  • 25 декабря — публикация обучающего и валидационного датасетов;
  • 26 февраля — публикация тестового датасета;
  • 13 марта — предоставление участниками результатов;
  • 14-15 марта — публикация оценки результатов;
  • 8 апреля — предоставление участниками статей.

Описание и задача

Участникам предлагается к выполнению задача автоматической генерации ответов на вопросы к изображению (Visual Question Answering), а также генерации ответов на вопросы с использованием текстовой информации (Question Answering).

Датасет, на основе которого необходимо выполнить задачу, представляет собой изображения товарных чеков с текстом на английском языке и вопросы и ответы к ним. Для ответа на вопросы требуется применение простейших операций агрегации к извлечённым данным (суммирование, умножение, усреднение и прочие).


Пример постановки задачи

  1. Дано изображение товарного чека;
  2. Дан вопрос к изображению на английском языке, например, «What is the total cost of tea before taxes?»;
  3. Во второй дорожке для всех датасетов дополнительно к изображению доступна вся текстовая информация с изображения для использования при поиске ответа;
  4. Требуется определить ответ на вопрос на основе текстовой информации с изображения.