Usa Ollama con cualquier modelo GGUF en Hugging Face Hub

También puedes ejecutar GGUF privados desde el Hugging Face Hub.

Ollama es una aplicación basada en llama.cpp para interactuar con LLMs directamente a través de tu computadora. Puedes usar cualquier cuantización GGUF creada por la comunidad (bartowski, MaziyarPanahi y muchos más) en Hugging Face directamente con Ollama, sin crear un nuevo Modelfile. En el momento de escribir esto, hay 45K puntos de control GGUF públicos en el Hub, y puedes ejecutar cualquiera de ellos con un solo comando ollama run. También ofrecemos personalizaciones como elegir el tipo de cuantización, el system prompt y más para mejorar tu experiencia general.

Empezar es tan sencillo como:

1. Habilita ollama en tus Configuraciones de aplicaciones locales.
2. En una página de modelo, elige ollama del menú desplegable Use this model. Por ejemplo: bartowski/Llama-3.2-1B-Instruct-GGUF.

El fragmento tendría el siguiente formato:

ollama run hf.co/{username}/{repository}

Tenga en cuenta que puede usar tanto hf.co como huggingface.co como nombre de dominio.

Aquí tienes algunos modelos que puedes probar:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

Cuantización personalizada

Por defecto, se utiliza el esquema de cuantización Q4_K_M cuando está presente en el repositorio del modelo. Si no lo está, se elige por defecto un tipo de cuantización razonable que esté presente en el repositorio.

Para seleccionar un esquema diferente, simplemente:

1. Desde la pestaña Files and versions de una página de modelo, abra el visor GGUF en un archivo GGUF específico.
2. Elige ollama desde el menú desplegable Use this model.

El fragmento tendría el siguiente formato (se añadió la etiqueta de cuantización):

ollama run hf.co/{username}/{repository}:{quantization}

Por ejemplo:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

Plantilla de chat personalizada y parámetros

Por defecto, se seleccionará automáticamente una plantilla de una lista de plantillas comúnmente utilizadas. La selección se basará en los metadatos de tokenizer.chat_template integrados y almacenados dentro del archivo GGUF.

Si tu archivo GGUF no tiene una plantilla integrada o si quieres personalizar tu plantilla de chat, puedes crear un nuevo archivo llamado template en el repositorio. La plantilla debe ser una plantilla de Go, no una plantilla de Jinja. Aquí tienes un ejemplo:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

Para obtener más información sobre el formato de plantillas de Go, consulte esta documentación

Puedes configurar opcionalmente un prompt de sistema colocándolo en un nuevo archivo llamado system en el repositorio.

Para cambiar los parámetros de muestreo, cree un archivo llamado params en el repositorio. El archivo debe estar en formato JSON. Para la lista de todos los parámetros disponibles, consulte esta documentación.

Ejecuta GGUF privados desde el Hugging Face Hub

Puedes ejecutar GGUF privados desde tu cuenta personal o desde una cuenta de organización asociada en dos pasos sencillos:

1. Copia tu clave SSH de Ollama, puedes hacerlo mediante: cat ~/.ollama/id_ed25519.pub | pbcopy
2. Agrega la clave correspondiente a tu cuenta de Hugging Face yendo a la configuración de tu cuenta y haciendo clic en Add new SSH key.
3. ¡Listo! Ahora puedes ejecutar GGUF privados desde el Hugging Face Hub: ollama run hf.co/{username}/{repository}.

Referencias

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf