Никита АлимпиевNikAlimp

Инференс

Inference

Инференс — это работа уже обученной нейросети: модель получает новые данные и выдаёт ответ, предсказание или результат.

Жизнь модели делится на два этапа. Сначала идёт обучение: модель подбирает параметры на больших датасетах, это дорого и долго. Потом наступает инференс: параметры зафиксированы, и модель только применяет то, чему научилась. Когда вы пишете вопрос в чат и получаете ответ, это инференс. Когда приложение узнаёт лицо на фото или рекомендует товар, тоже инференс.

Для языковых моделей инференс — это пошаговая генерация. Модель по контексту вычисляет вероятности следующего токена, выбирает один (на выбор влияет Температура), добавляет его в текст и повторяет, пока ответ не закончится. Поэтому длинные ответы идут дольше, а текст появляется постепенно.

От чего зависит скорость и стоимость

  • Размер модели: больше параметров — больше вычислений.
  • Длина запроса и ответа: платят и ждут за каждый токен.
  • Железо: графические процессоры и специальные ускорители.
  • Оптимизации: квантизация (сжатие чисел), кэширование запросов, пакетная обработка.
  • Нагрузка: при большом числе одновременных пользователей нужно больше серверов.

Где выполняется инференс

Через облако: вы обращаетесь к API провайдера и платите за использование. Локально: модель запускают на своём компьютере или сервере, например через Ollama; тогда данные не уходят во внешний сервис, но нужно своё оборудование. Это важно, когда есть требования к хранению персональных данных по 152-ФЗ.

Чем отличается от обучения

Обучение меняет модель, инференс её не меняет. Обучение делают редко и в больших центрах, инференс происходит постоянно и каждый раз, когда кто-то пользуется моделью. Большая часть расходов на ИИ-сервисы в долгосрочной перспективе приходится именно на инференс.

Типичные ошибки

  • Выбирать самую большую модель для простой задачи: дорого и медленно.
  • Отправлять в запрос лишний контекст и платить за лишние токены.
  • Не измерять задержку, из-за чего чат кажется тормозящим.

Пример

Вы отправляете в чат вопрос из 50 слов и получаете ответ на 300 слов. Весь этот путь — один акт инференса. Для разработчика он измеряется задержкой до первого слова, скоростью выдачи токенов и стоимостью запроса, и именно эти числа он сравнивает при выборе модели.

Для небольших проектов обычно проще всего начать с облачного API и посмотреть реальные счета за месяц. Когда нагрузка вырастет, можно оценить, выгодно ли перейти на меньшую модель или запускать её на своём сервере. Решение стоит принимать по замерам, а не по ощущениям.

Частый вопрос

Меняется ли модель во время инференса? Нет. Модель не обучается на ваших запросах в момент ответа; она лишь использует то, что уже знает, и контекст разговора. Будет ли провайдер использовать ваши данные для будущего обучения, зависит от его условий.

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.