Примите участие в первом DataScience-соревновании от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение
Перед тем, как участвовать в соревновании, приглашаем вас в трек “NLP in practice”, где вы сможете подробно разобрать все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике.
Задача Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.
В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией1 брендов и товаров.
Данные Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:
В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.
В неразмеченном датасете даны только сами чековые позиции.
Подробное описание файлов и полей датасета соревнования можно найти во вкладке Данные.
Метрика соревнования Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:
Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)
Recall - доля сущностей в ответах, которые выделила модель
После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)
Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по ссылке (раздел CoNLL).
Этапы соревнования 1.CSV-соревнование (вы находитесь здесь).
Сроки проведения: 2 июня 17:00 - 1 июля 23:59
Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте "Проверка решения"
В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования
2.Docker-соревнование.
Сроки проведения: 2 июля 12:00 - 15 июля 23:59
Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте "Проверка решения"
Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59 отправить в соревнование Docker-контейнер с кодом решения этапа 1. Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы.
В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования
3.Доразметка.
Сроки проведения: 16 июля 12:00 - 23 июля 23:59
Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в telegram.
Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.
4.Docker-соревнование.
Сроки проведения: 24 июля 12:00 - 6 августа 23:59
На данном этапе разрешается использовать доразметку полученную на этапе 3
Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте "Проверка решения"
Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз
Проверка решения Этап 1 Решения принимаются в виде csv-файла с тремя колонками: "id" - уникальный идентификтор, "brand" - бренды содержащиеся в данной чековой позиции, и "good" - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.
Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров можно найти во вкладке Таблица лидеров.
Этапы 2 и 4 Решения принимаются в виде zip-архива, имеющего структуру:
metadata.json
user_file_1
user_file_2
…
user_file_n
В файле metadata.json должны быть два поля:
image - публичный образ в DockerHub, например “xterrafunny/baseline-nlp-in-practice:latest”
entry_point - команда для запуска в контейнере, например “python run.py”
Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются два аргумента: первый содержит путь к тестовой выборке, второй содержит путь для сохранения предсказаний модели
Ресурсы для образа:
8 vCPU
96Gb RAM
Nvidia V100
Предсказания модели должны представлять собой csv-файл с тремя колонками: "id" - уникальный идентификтор, "brand" - бренды содержащиеся в данной чековой позиции, и "good" - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.
Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.
Использование внешней разметки Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.
Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)
Объединение в команды В соревновании разрешено объединение участников в команды до 3 человек. Возможность объединения в команды закрывается 24 июня в 23:59.
Базовые решения и полезные функции Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по ссылке.
Призовой фонд Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4
1 место – 450 000 рублей
2 место – 250 000 рублей
3 место – 100 000 рублей
Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.