Jan — это бесплатное приложение для запуска языковых моделей прямо на компьютере: чат как в ChatGPT, но модель работает локально и без интернета.
Главное отличие — открытый код и работа офлайн. Переписка не уходит на чужие серверы, а модели скачиваются из каталога внутри приложения.
Возможности
- Локальные модели: Llama, Qwen, Gemma, DeepSeek и другие из каталога Hugging Face.
- Облачные модели через API: OpenAI, Anthropic, OpenRouter, Groq — в том же окне.
- Локальный сервер с API, совместимым с OpenAI, для своих скриптов и приложений.
- Ассистенты с собственными инструкциями под задачи.
- Подключение MCP-серверов для работы с файлами и сервисами.
Кому подходит
Разработчикам, исследователям и всем, кто работает с конфиденциальными данными и не хочет отправлять их в облако.
Как начать
Скачайте Jan для Windows, macOS или Linux, откройте каталог моделей и выберите модель под вашу видеокарту или объём памяти. Для 16 ГБ ОЗУ подойдут модели на 7–8 млрд параметров в квантовании.
Совет
Начинайте с маленькой модели и поднимайтесь выше, только если качество не устраивает. Модель, которая не влезает в видеопамять, отвечает в разы медленнее и не даёт выигрыша для простых задач.
Ограничения
Качество локальных моделей ниже флагманских облачных, особенно в коде и длинных рассуждениях. Нужен мощный компьютер. Похожее приложение с более гибкими настройками моделей — LM Studio.