Groq — облачная платформа для очень быстрого запуска открытых языковых моделей через API на собственных чипах LPU. Скорость ответа достигает сотен токенов в секунду.
Главное отличие от OpenAI API и OpenRouter: Groq не делает свои модели, а запускает открытые — GPT-OSS, Qwen, Llama, Whisper — заметно быстрее GPU-облаков. В конце 2025 года Nvidia лицензировала технологию Groq, но GroqCloud работает как отдельный сервис.
Возможности
- API, совместимый с OpenAI: достаточно сменить адрес и ключ.
- Открытые модели: GPT-OSS 20B и 120B, Qwen, Llama и другие.
- Whisper для быстрой расшифровки аудио.
- Tool use и структурированный JSON для агентов.
- Batch-обработка со скидкой для больших объёмов.
Кому подходит
Разработчикам чат-ботов, голосовых ассистентов и агентов, где важна задержка ответа, а также тем, кто прототипирует на бесплатном лимите.
Как начать
Зарегистрируйтесь в console.groq.com, создайте ключ API и замените в коде на OpenAI SDK базовый адрес на https://api.groq.com/openai/v1.
Совет
Используйте Groq для быстрых промежуточных шагов: классификации, извлечения данных, расшифровки. Сложные рассуждения отдавайте более сильным моделям через Anthropic API или OpenAI.
Ограничения
Только открытые модели, список меняется. Бесплатные лимиты подходят для тестов, а не для продакшена.