LM Studio에서 GGUF 사용

LM Studio는 컴퓨터에서 로컬 AI 모델을 직접 실험하고 개발하기 위한 데스크톱 애플리케이션입니다. LM Studio는 llama.cpp 기반으로 구축되었으며 Mac(Apple Silicon), Windows, Linux에서 작동합니다!

Hugging Face에서 LM Studio로 모델 가져오기

먼저 Hugging Face의 Local Apps Settings에서 LM Studio를 활성화하세요.

옵션 1: Hugging Face에서 바로 ‘이 모델 사용’ 버튼을 사용

모든 GGUF 또는 MLX LLM의 경우, “Use this model” 드롭다운을 클릭하고 LM Studio를 선택합니다. LM Studio가 이미 설치되어 있으면 해당 모델이 LM Studio에서 바로 실행되고, 설치되어 있지 않으면 다운로드 옵션이 표시됩니다.

트렌딩 모델로 LM Studio를 사용해 보려면, 여기서 찾을 수 있습니다: https://huggingface.co/models?library=gguf\&sort=trending

옵션 2: LM Studio의 앱 내 다운로더 사용

LM Studio 앱을 열고 Mac에서는 ⌘ + Shift + M, PC에서는 Ctrl + Shift + M을 눌러 원하는 모델을 검색하세요 (M은 Models를 의미합니다). Hugging Face URL 전체를 검색창에 붙여넣을 수도 있습니다!

각 모델에 대해 드롭다운을 확장하여 여러 양자화 옵션을 볼 수 있습니다. LM Studio는 하드웨어에 권장되는 선택 사항을 강조 표시하고 어떤 옵션이 지원되는지 나타냅니다.

옵션 3: lms, LM Studio의 CLI 사용:

터미널 기반 워크플로우를 선호하는 경우, LM Studio의 CLI인 lms를 사용하세요.

터미널에서 모델을 검색합니다:

키워드로 검색

lms get qwen

MLX 또는 GGUF 결과로 검색 필터링

lms get qwen \--mlx  # or \--gguf

Hugging Face에서 원하는 모델을 다운로드하세요:

참고: 모델을 모델 ID로 참조할 수 있습니다. 모델 ID는 모델의 이름입니다. 모델을 모델 ID로 참조하려면 모델의 전체 Hugging Face URL을 사용해야 합니다.

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

모델 양자화 선택

성능, 메모리 사용량, 정확도를 균형 있게 조절할 수 있는 모델 양자화 수준을 선택할 수 있습니다.

이 작업은 @ 한정자를 사용하여 수행합니다. 예를 들어:

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

모델을 다운로드했습니다 – 이제 무엇을 해야 할까요?

위 옵션 중 하나를 따라 모델을 다운로드했으니, 이제 LM Studio를 시작해 보겠습니다!

LM Studio 애플리케이션 시작하기

LM Studio 애플리케이션에서 모델 로더로 이동하여 다운로드된 모델 목록을 확인하고 로드할 모델을 선택합니다. 모델 로드 매개변수를 사용자 지정할 수 있지만, 기본적으로 LM Studio는 하드웨어에서 모델 성능을 최적화하는 로드 매개변수를 선택합니다.

모델 로딩이 완료되면(진행률 바로 확인 가능) 앱의 채팅 인터페이스를 사용하여 채팅을 시작할 수 있습니다!

또는 LM Studio의 CLI를 사용하여 모델과 상호작용할 수 있습니다

명령어 목록은 여기에서 확인하세요. lms를 사용하려면 LM Studio를 최소 한 번 실행해야 합니다.

최신 모델 동향 파악

Hugging Face의 LM Studio Community 페이지를 팔로우하여 최신 로컬 LLM이 출시되는 즉시 관련 업데이트를 받아보세요.