Hub

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

在 GPT4All 中使用 GGUF

GPT4All 是由 Nomic 开发的一款开源 LLM 应用程序。2.7.2 版本引入了一个全新的实验性功能，名为 Model Discovery。

Model Discovery 提供了一种内置方式，用于从 Hub 搜索并下载 GGUF 模型。要开始使用，请打开 GPT4All 并点击 Download Models。在此，你可以使用搜索栏来查找模型。

选择并下载模型后，您可以前往 Settings，并提供符合 GPT4All 格式的提示词模板（%1 和 %2 占位符）。

然后，从主页面，您可以从已安装的模型列表中选择模型并开始对话。