Прими участие в заключительном хакатоне этого года.
Хакатон командный и состоит из двух треков:
финалисты профиля «Искусственный интеллект» НТО
школьники до 18 лет
Участвовать могут команды до двух человек.
В рамках хакатона предстоит разработать алгоритм, который генерирует текстовое описание к видео.
Задача В задаче Video Captioning (создание текстового описания к видео) модели необходимо проанализировать короткий видеофрагмент и сгенерировать наиболее подходящее текстовое описание на английском языке, которое характеризует события и/или действия, происходящие на видео.
Формат решений Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Ответы, полученные моделью Участника, должны быть сохранены в файл answer.csv, где в колонке ‘captions’ записано описание для каждого видео в порядке их записи в файле input_test.csv В течение одних суток Участник или Команда Участников может загрузить для оценки не более 5 решений. Так как решение не имеет доступ к Интернету, все дополнительные данные, например, веса обученной модели, должны быть загружены в контейнер. В качестве примера организаторы предоставляют контейнер для запуска бейзлайн-решения. Контейнер с решением запускается в следующих условиях:
Доступ к 1 GPU
40 минут
решение не имеет доступа к ресурсам интернета
максимальный размер упакованного и распакованного архива с решением: 15гб
максимальный размер используемого Docker-образа: 10гб
Метрика Для оценки решений участников будет использована метрика BLEU, которая позволяет сравнить эталонный и предсказанный текст. При этом BLEU оценивает не только соответствие отдельных слов, но и n-грамм, содержащихся в тексте. Метрика BLEU была изначально предложена для оценки качества машинного перевода, однако она может применяться в любых задачах, в которых необходимо оценить близость двух текстов (при этом, допуская вариативность текстов-кандидатов, что важно в задаче описания видео).
Baseline Вам доступно базовое решение от разработчиков задачи с использованием фреймворка PyTorch. Пример скрипта для обучения модели приведен по ссылке. Предполагаемый пайплайн работы модели включает в себя следующие этапы: вычисление для входного видео эмбеддингов, которые далее пропускаются через MLP адаптер для GPT декодера и декодер предсказывает ответ.
Команды, которые займут первые три места в каждом из треков разделят призовой фонд – 1 000 000 рублей.
1 место 250 000 рублей
2 место 150 000 рублей
3 место 100 000 рублей
Почему стоит участвовать? Став участником, ты сможешь: • Пообщаться с единомышленниками, с которыми точно будешь на одной волне • Получить бесценный опыт участия в соревнованиях, который точно пригодится в будущем • Попробовать свои силы и понять, какие пробелы стоит подтянуть к следующему хакатону • Побороться за призовой фонд 1 000 000 рублей, который разделят победители треков