Dialogue Evaluation 2023
RECEIPT-AVQA-2023
Соревнование по генерации ответов на вопросы
Описание и задача
Участникам предлагается к выполнению задача автоматической генерации ответов на вопросы к изображению (Visual Question Answering), а также генерации ответов на вопросы с использованием текстовой информации (Question Answering).
Датасет, на основе которого необходимо выполнить задачу, представляет собой изображения товарных чеков с текстом на английском языке и вопросы и ответы к ним. Для ответа на вопросы требуется применение простейших операций агрегации к извлечённым данным (суммирование, умножение, усреднение и прочие).
Пример постановки задачи
- Дано изображение товарного чека;
- Дан вопрос к изображению на английском языке, например, «What is the total cost of tea before taxes?»;
- Во второй дорожке для всех датасетов дополнительно к изображению доступна вся текстовая информация с изображения для использования при поиске ответа;
- Требуется определить ответ на вопрос на основе текстовой информации с изображения.
График проведения соревнования
- 25 декабря — публикация обучающего и валидационного датасетов;
- 18 февраля — публикация тестового датасета;
- 1 марта — предоставление участниками результатов;
- 5 марта — публикация оценки результатов;
- 1 апреля — предоставление участниками статей.