Использование GGUF с LM Studio

LM Studio — это настольное приложение для экспериментов и разработки с локальными моделями ИИ прямо на вашем компьютере. LM Studio построена на базе llama.cpp и работает на Mac (Apple Silicon), Windows и Linux!

Получение моделей из Hugging Face в LM Studio

Сначала включите LM Studio в разделе Local Apps Settings в Hugging Face.

Вариант 1: используйте кнопку Use this model прямо на Hugging Face

Для любой LLM в формате GGUF или MLX нажмите на выпадающий список «Use this model» и выберите LM Studio. Если у вас уже установлен LM Studio, модель запустится в нём напрямую; в противном случае вам будет предложен вариант загрузки.

Чтобы попробовать LM Studio с популярной моделью, найдите их здесь: https://huggingface.co/models?library=gguf\&sort=trending

Вариант 2: Используйте встроенный загрузчик LM Studio

Откройте приложение LM Studio и найдите любую модель, нажав ⌘ + Shift + M на Mac или Ctrl + Shift + M на ПК (M — это Models). Вы даже можете вставить полный URL Hugging Face в строку поиска!

Для каждой модели можно раскрыть выпадающий список, чтобы увидеть несколько вариантов квантования. LM Studio выделяет рекомендуемый вариант для вашего оборудования и показывает, какие опции поддерживаются.

Вариант 3: Используйте lms, CLI для LM Studio:

Если вы предпочитаете работу в терминале, используйте lms — CLI-инструмент LM Studio.

Поиск моделей из терминала:

Поиск по ключевому слову

lms get qwen

Фильтровать поиск по результатам MLX или GGUF

lms get qwen \--mlx  # or \--gguf

Скачайте любую модель из Hugging Face:

Используйте полный URL Hugging Face

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

Выберите квантование модели

Вы можете выбрать уровень квантования модели, который обеспечивает баланс между производительностью, использованием памяти и точностью.

Это делается с помощью квалификатора @, например:

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

Вы скачали модель – что дальше?

Вы скачали модель, следуя одному из вариантов, описанных выше, теперь давайте начнём работу в LM Studio!

Начало работы с приложением LM Studio

В приложении LM Studio перейдите к загрузчику моделей, чтобы просмотреть список загруженных моделей и выбрать одну для загрузки. Вы можете настроить параметры загрузки модели, хотя по умолчанию LM Studio выбирает параметры, оптимизирующие производительность модели на вашем оборудовании.

После завершения загрузки модели (об этом свидетельствует индикатор прогресса) вы можете начать общение, используя чат-интерфейс нашего приложения!

Или используйте CLI LM Studio для взаимодействия с вашими моделями

Список команд доступен здесь. Обратите внимание, что перед использованием lms необходимо запустить LM Studio хотя бы один раз.

Следим за новейшими моделями

Подписывайтесь на страницу LM Studio Community на Hugging Face, чтобы узнавать о выходе новых и лучших локальных LLM первыми.