Инференс — это работа уже обученной нейросети: модель получает новые данные и выдаёт ответ, предсказание или результат.
Жизнь модели делится на два этапа. Сначала идёт обучение: модель подбирает параметры на больших датасетах, это дорого и долго. Потом наступает инференс: параметры зафиксированы, и модель только применяет то, чему научилась. Когда вы пишете вопрос в чат и получаете ответ, это инференс. Когда приложение узнаёт лицо на фото или рекомендует товар, тоже инференс.
Для языковых моделей инференс — это пошаговая генерация. Модель по контексту вычисляет вероятности следующего токена, выбирает один (на выбор влияет Температура), добавляет его в текст и повторяет, пока ответ не закончится. Поэтому длинные ответы идут дольше, а текст появляется постепенно.
От чего зависит скорость и стоимость
- Размер модели: больше параметров — больше вычислений.
- Длина запроса и ответа: платят и ждут за каждый токен.
- Железо: графические процессоры и специальные ускорители.
- Оптимизации: квантизация (сжатие чисел), кэширование запросов, пакетная обработка.
- Нагрузка: при большом числе одновременных пользователей нужно больше серверов.
Где выполняется инференс
Через облако: вы обращаетесь к API провайдера и платите за использование. Локально: модель запускают на своём компьютере или сервере, например через Ollama; тогда данные не уходят во внешний сервис, но нужно своё оборудование. Это важно, когда есть требования к хранению персональных данных по 152-ФЗ.
Чем отличается от обучения
Обучение меняет модель, инференс её не меняет. Обучение делают редко и в больших центрах, инференс происходит постоянно и каждый раз, когда кто-то пользуется моделью. Большая часть расходов на ИИ-сервисы в долгосрочной перспективе приходится именно на инференс.
Типичные ошибки
- Выбирать самую большую модель для простой задачи: дорого и медленно.
- Отправлять в запрос лишний контекст и платить за лишние токены.
- Не измерять задержку, из-за чего чат кажется тормозящим.
Пример
Вы отправляете в чат вопрос из 50 слов и получаете ответ на 300 слов. Весь этот путь — один акт инференса. Для разработчика он измеряется задержкой до первого слова, скоростью выдачи токенов и стоимостью запроса, и именно эти числа он сравнивает при выборе модели.
Для небольших проектов обычно проще всего начать с облачного API и посмотреть реальные счета за месяц. Когда нагрузка вырастет, можно оценить, выгодно ли перейти на меньшую модель или запускать её на своём сервере. Решение стоит принимать по замерам, а не по ощущениям.
Частый вопрос
Меняется ли модель во время инференса? Нет. Модель не обучается на ваших запросах в момент ответа; она лишь использует то, что уже знает, и контекст разговора. Будет ли провайдер использовать ваши данные для будущего обучения, зависит от его условий.