Датасет — это набор данных, собранный и организованный для конкретной задачи: анализа, обучения или проверки модели.
Это может быть таблица с покупками, тысячи фотографий с подписями, архив обращений в поддержку или коллекция статей. Главное — данные собраны по единому принципу и подготовлены для работы. В машинном обучении датасет обычно делят на три части: обучающую (на ней модель учится), валидационную (по ней подбирают настройки) и тестовую (на ней один раз проверяют итоговое качество). Тестовые данные модель не должна видеть при обучении, иначе оценка будет завышена.
Для языковых моделей используют огромные наборы текстов — это часть обучающих данных. Для дообучения (Fine-tuning) собирают небольшие, но аккуратные датасеты из пар «вопрос и желаемый ответ».
Из чего состоит хороший датасет
- Достаточный объём и разнообразие примеров.
- Правильная разметка: ответы и теги проверены.
- Отсутствие дублей и мусора.
- Соответствие реальной задаче и реальным данным, с которыми модель встретится.
- Законное происхождение: права на использование, согласия, 152-ФЗ, если есть персональные данные.
Как подготовить датасет
- Сформулируйте задачу: что модель должна определять или создавать.
- Соберите данные из реальных источников.
- Уберите дубли, пустые и ошибочные записи.
- Разметьте данные и перепроверьте выборочно.
- Разделите на обучающую, валидационную и тестовую части.
- Задокументируйте, откуда данные и какие у них ограничения.
Типичные ошибки
- Утечка данных: одни и те же примеры попали и в обучение, и в тест.
- Перекос: например, почти все отзывы положительные, и модель не умеет находить плохие.
- Устаревшие данные, не отражающие сегодняшнюю реальность.
- Отсутствие согласия на использование персональных данных.
Чем отличается от базы данных
База данных предназначена для хранения и работы приложения: быстро читать и обновлять записи. Датасет — это зафиксированный срез данных для исследования или обучения. Из базы часто делают датасет, но это разные вещи.
Пример
Магазин хочет научить модель сортировать обращения по темам. Он берёт 5 000 прошлых писем, убирает персональные данные, просит сотрудников пометить тему каждого письма и делит набор на обучающую и тестовую части. Получившийся размеченный набор и есть датасет для этой задачи.
Если вы планируете делиться датасетом или публиковать его, добавьте краткое описание: откуда данные, за какой период собраны, как размечены и для чего подходят. Такой паспорт набора экономит время тем, кто будет с ним работать, и защищает от неправильного применения.
Частый вопрос
Сколько данных нужно для обучения? Зависит от задачи. Для простых моделей хватает сотен или тысяч примеров, для больших нейросетей нужны миллионы и больше. При дообучении языковой модели часто достаточно нескольких сотен или тысяч качественных примеров, а качество важнее количества.