Обучающие данные — это примеры, на которых нейросеть учится: тексты, изображения, аудио, таблицы, код и другие материалы, из которых модель извлекает закономерности.
Модель не хранит знания в готовом виде. Во время обучения она видит огромное количество примеров и подбирает свои параметры так, чтобы лучше предсказывать нужный результат. Для языковой модели примеры — это фрагменты текста, где нужно угадать следующий Токен. Для генератора изображений — картинки с подписями. Для классификатора — объекты с правильными метками.
Качество модели прямо зависит от качества обучающих данных. Если в них мало примеров на нужную тему или есть перекос, модель будет хуже работать в этой области и может повторять предвзятость. Если в данных много ошибок, она их выучит. Отсюда поговорка «мусор на входе — мусор на выходе».
Откуда берут данные
- Открытые материалы из интернета: сайты, книги, статьи, форумы, код.
- Лицензированные наборы и архивы, купленные у правообладателей.
- Данные, созданные людьми специально: разметка, примеры диалогов, оценки ответов.
- Синтетические данные, сгенерированные другими моделями.
- Данные компании для дообучения: переписки, документы, обращения.
Почему это важно для сайта
Содержание вашего сайта может попасть в обучающие данные, если его читают поисковые и AI-роботы. Управлять этим можно через robots.txt и правила для AI-краулеров. С другой стороны, присутствие в данных повышает шанс, что нейросети будут «знать» ваш бренд. Но модель знает материалы только до даты отсечки знаний, поэтому свежая информация попадает в ответы через поиск, а не через обучение.
Правовые вопросы
Использование чужих материалов для обучения вызывает споры об авторских правах, и подход различается по странам. Если вы собираете данные для обучения собственной модели, нужно проверить права на материалы и согласия по персональным данным в рамках 152-ФЗ.
Типичные ошибки
- Обучать на данных, которые не похожи на реальные задачи.
- Не очищать дубли и мусор.
- Включать в данные конфиденциальную информацию, которая потом может «просочиться» в ответы.
- Не документировать источники.
Чем отличается от датасета
Датасет — любой набор данных, не обязательно для обучения. Обучающие данные — та часть, которая реально используется для обучения модели. Проверочные данные остаются отдельно.
Как проверить качество данных
Возьмите случайные 100 примеров и просмотрите их вручную. Посчитайте долю ошибок, дублей и неподходящих материалов. Убедитесь, что есть примеры для редких случаев. Если вы видите заметный перекос или много брака, лучше почистить набор, чем наращивать его объём.
Частый вопрос
Использует ли чат-бот мои запросы для обучения? Зависит от сервиса и его настроек. Во многих сервисах есть переключатель, разрешающий или запрещающий использовать ваши диалоги для улучшения моделей. Перед отправкой конфиденциальной информации прочитайте политику конфиденциальности и настройте этот параметр.