Машинное обучение — это подход, при котором компьютер учится решать задачу на примерах из данных, а не по заранее написанным правилам.
Обычная программа работает так: разработчик описывает правила, программа применяет их. В машинном обучении наоборот: вы даёте много примеров с правильными ответами, а алгоритм сам находит закономерности и строит модель. Например, чтобы отличить спам от нормальных писем, не нужно вручную перечислять все признаки спама. Достаточно показать тысячи писем, помеченных «спам» и «не спам», и модель выведет признаки сама. Потом она применяет их к новым письмам.
Машинное обучение — часть искусственного интеллекта. А глубокое обучение — его подраздел, где используются многослойные нейросети.
Основные виды
- Обучение с учителем: у примеров есть правильные ответы. Задачи — классификация (спам или нет) и регрессия (предсказать цену).
- Обучение без учителя: ответов нет, алгоритм ищет структуру сам, например группирует клиентов по поведению.
- Обучение с подкреплением: система действует в среде и получает награду или штраф. Так учат игровых ботов и роботов.
Как проходит проект
- Формулируют задачу и метрику успеха.
- Собирают и чистят данные.
- Выбирают алгоритм и признаки.
- Обучают модель на части данных.
- Проверяют на данных, которых она не видела.
- Внедряют и следят за качеством: со временем данные меняются, и модель устаревает.
Где применяется
Скоринг и антифрод в банках, рекомендации товаров, прогноз спроса, распознавание речи, оценка недвижимости, поиск, ранжирование результатов в поисковиках.
Типичные ошибки
- Мало данных или данные не похожи на реальные.
- Переобучение: модель отлично работает на примерах из обучения и плохо на новых.
- Утечка данных: тестовые примеры попали в обучение.
- Выбор сложной модели там, где хватило бы простой.
- Нет мониторинга после запуска.
Чем отличается от обычного программирования
В обычном программировании качество зависит от того, насколько точно вы описали правила. В машинном обучении — от качества и разнообразия данных. Результат вероятностный: модель может ошибаться, и это нужно учитывать в процессах.
Пример
Интернет-магазин хочет предсказывать, какой клиент не вернётся. Он берёт данные о прошлых покупках, помечает ушедших и оставшихся и обучает модель. Новая модель каждому клиенту выдаёт вероятность ухода, и менеджеры вовремя предлагают скидку тем, у кого риск высокий.
Частый вопрос
Нужно ли знать математику, чтобы использовать машинное обучение? Для готовых сервисов и API — нет. Для создания собственных моделей понадобятся основы статистики и программирования. Многие задачи сегодня решают готовыми инструментами без собственного обучения.