Dialogue Evaluation 2023
RECEIPT-AVQA-2023
Соревнование по генерации ответов на вопросы
Соревнование и приём работ завершены. Благодарим всех за участие!
Ссылки
График проведения соревнования
- 25 декабря — публикация обучающего и валидационного датасетов;
- 26 февраля — публикация тестового датасета;
- 13 марта — предоставление участниками результатов;
- 14-15 марта — публикация оценки результатов;
- 8 апреля — предоставление участниками статей.
Описание и задача
Участникам предлагается к выполнению задача автоматической генерации ответов на вопросы к изображению (Visual Question Answering), а также генерации ответов на вопросы с использованием текстовой информации (Question Answering).
Датасет, на основе которого необходимо выполнить задачу, представляет собой изображения товарных чеков с текстом на английском языке и вопросы и ответы к ним. Для ответа на вопросы требуется применение простейших операций агрегации к извлечённым данным (суммирование, умножение, усреднение и прочие).
Пример постановки задачи
- Дано изображение товарного чека;
- Дан вопрос к изображению на английском языке, например, «What is the total cost of tea before taxes?»;
- Во второй дорожке для всех датасетов дополнительно к изображению доступна вся текстовая информация с изображения для использования при поиске ответа;
- Требуется определить ответ на вопрос на основе текстовой информации с изображения.