Llama — это семейство больших языковых моделей компании Meta, веса которых опубликованы для скачивания, поэтому их можно запускать на своём оборудовании и дообучать под свои задачи.
Первую версию Llama Meta выпустила в феврале 2023 года для исследователей. Вскоре веса попали в открытый доступ, и вокруг модели выросло огромное сообщество: появились тысячи дообученных вариантов, инструменты для запуска на обычных компьютерах и множество проектов на её основе. С тех пор выходили новые поколения и разные размеры моделей, от компактных до очень крупных.
Важная деталь, которую часто упускают: Llama распространяется по собственной лицензии Meta, а не по классической лицензии открытого ПО. Эта лицензия разрешает широкое использование, в том числе коммерческое, но содержит условия и ограничения. Поэтому корректнее говорить об Open weights — открытых весах, чем о полностью open-source модели. Обучающие данные Meta не публикует.
Зачем нужна Llama
- Запуск у себя: модель можно поставить на сервер компании или на ноутбук через Ollama и подобные программы, и данные не покинут вашу инфраструктуру.
- Дообучение: можно настроить модель на свой стиль, терминологию и задачи с помощью Fine-tuning.
- Независимость: вы не привязаны к одному поставщику и его тарифам.
- Основа для продуктов: на Llama строят чат-боты, помощников для поддержки и внутренние сервисы.
Пример
Юридическая компания разворачивает Llama на своём сервере и подключает к базе документов через RAG. Сотрудники задают вопросы по договорам, а тексты не уходят во внешние сервисы. Это снимает часть рисков с конфиденциальностью и требованиями 152-ФЗ.
Как выбрать вариант
- Определите задачу и нужное качество ответов.
- Оцените, какое оборудование у вас есть: большие модели требуют мощных видеокарт.
- Попробуйте компактные версии: часто их качества хватает для узких задач.
- Прочитайте лицензию и убедитесь, что ваше использование разрешено.
- Сравните результаты на своих примерах, а не только по бенчмаркам.
Типичные ошибки
- Считать Llama полностью открытой и не читать лицензию.
- Брать слишком крупную модель, которой не хватит ресурсов.
- Ждать от маленькой версии качества крупных облачных моделей.
Отдельная сильная сторона Llama — экосистема. Для неё есть готовые инструменты запуска, дообучения и сжатия модели, а значит, с ней можно экспериментировать без больших вложений и быстро сравнивать разные варианты на своих данных.
Частый вопрос
Llama бесплатная? Скачать веса можно без оплаты, но запуск требует железа или аренды сервера, а использование ограничено условиями лицензии Meta. Поэтому реальные расходы зависят от оборудования и объёма работы.