GPT4All에서 GGUF 사용

GPT4All은 Nomic에서 개발한 오픈소스 LLM 애플리케이션입니다. 2.7.2 버전에서는 Model Discovery라는 완전히 새로운 실험적 기능이 도입되었습니다.

Model Discovery는 Hub에서 GGUF 모델을 검색하고 다운로드할 수 있는 내장 기능을 제공합니다. 시작하려면 GPT4All을 열고 Download Models을 클릭하세요. 여기서 검색창을 사용하여 모델을 찾을 수 있습니다.

모델을 선택하고 다운로드한 후, Settings로 이동하여 GPT4All 형식(%1 및 %2 플레이스홀더)의 적절한 프롬프트 템플릿을 제공할 수 있습니다.

그 후 메인 페이지에서 설치된 모델 목록에서 모델을 선택하고 대화를 시작할 수 있습니다.

Update on GitHub