Dokumentasi Hugging Face Hub

Hugging Face Hub adalah platform AI referensi untuk ML terbuka. Platform ini menampung lebih dari 2 juta model, 1,5 juta dataset, dan 1,5 juta aplikasi AI (Spaces), semuanya terbuka dan tersedia secara publik. Di luar AI terbuka, Hub juga merupakan platform kolaborasi yang sangat baik untuk tim internal dan privat. Jelajahi, bereksperimen, berkolaborasi, dan bangun, semuanya di satu tempat! 🤗

Apa itu Hugging Face Hub?

Kami membantu komunitas untuk bekerja sama dalam mencapai tujuan pengembangan Machine Learning 🔥.

Tidak ada satu pun perusahaan, termasuk para Tech Titans, yang mampu “menyelesaikan AI” sendirian – satu-satunya cara kita mencapai hal ini adalah dengan berbagi pengetahuan dan sumber daya melalui pendekatan yang berpusat pada komunitas. Kami membangun koleksi open-source terbesar untuk model, dataset, dan demo di Hugging Face Hub untuk mendemokratisasi dan memajukan ML bagi semua orang 🚀.

Kami mendorong Anda untuk membaca Code of Conduct dan Content Guidelines untuk membiasakan diri dengan nilai-nilai yang kami harapkan dipatuhi oleh anggota komunitas kami 🤗.

Apa yang bisa Anda temukan di Hub?

Hugging Face Hub menyimpan repositori berbasis Git, yaitu folder yang dikontrol versi dan dapat berisi semua file Anda. Untuk penyimpanan objek yang dapat diubah tanpa kontrol versi, Hub juga menyediakan Storage Buckets.

Di sana, Anda dapat mengunggah dan menemukan…

• Model: menghosting model state-of-the-art terbaru untuk tugas LLM, teks, visi, dan audio
• Dataset: mencakup beragam data untuk berbagai domain dan modalitas
• Spaces: aplikasi interaktif untuk mendemonstrasikan model ML langsung di browser Anda

Hub menawarkan versioning, riwayat commit, diffs, branches, dan lebih dari selusin integrasi library! Semua repositori dibangun di atas Xet, teknologi baru untuk menyimpan File Besar secara efisien di dalam Git, dengan memecah file secara cerdas menjadi chunk unik serta mempercepat proses unggah dan unduh.

Anda dapat mempelajari lebih lanjut tentang fitur yang dimiliki bersama oleh semua repositori dalam dokumentasi Repositori.

Model

Anda dapat menemukan dan menggunakan puluhan ribu model ML open-source yang dibagikan oleh komunitas. Untuk mempromosikan penggunaan dan pengembangan model yang bertanggung jawab, repositori model dilengkapi dengan Model Cards untuk menginformasikan pengguna tentang keterbatasan dan bias masing-masing model. metadata tambahan tentang informasi seperti tugas, bahasa, dan hasil evaluasi dapat disertakan, bahkan grafik metrik pelatihan dapat ditambahkan jika repositori berisi TensorBoard traces. Menambahkan inference widget ke model Anda juga mudah, sehingga siapa pun dapat mencoba model tersebut langsung di browser! Untuk akses programatik, API serverless disediakan oleh Inference Providers.

Untuk mengunggah model ke Hub, atau mengunduh model dan mengintegrasikannya ke dalam pekerjaan Anda, jelajahi dokumentasi Models. Anda juga dapat memilih dari lebih dari selusin library seperti 🤗 Transformers, Asteroid, dan ESPnet yang mendukung Hub.

Dataset

Hub adalah rumah bagi lebih dari 500k dataset publik dalam lebih dari 8k bahasa yang dapat digunakan untuk berbagai tugas di bidang NLP, Computer Vision, dan Audio. Hub memudahkan Anda untuk menemukan, mengunduh, dan mengunggah dataset. Dataset disertai dengan dokumentasi yang luas dalam bentuk Dataset Cards dan Data Studio agar Anda dapat menjelajahi data langsung di browser Anda. Meskipun banyak dataset bersifat publik, organisasi dan individu dapat membuat dataset privat untuk mematuhi masalah lisensi atau privasi. Anda dapat mempelajari lebih lanjut tentang Datasets di sini pada dokumentasi Hugging Face Hub.

Perpustakaan 🤗 datasets memungkinkan Anda berinteraksi secara programatik dengan dataset, sehingga Anda dapat dengan mudah menggunakan dataset dari Hub dalam proyek Anda. Dengan satu baris kode, Anda dapat mengakses dataset; bahkan jika ukurannya sangat besar hingga tidak muat di komputer Anda, Anda dapat menggunakan streaming untuk mengakses data secara efisien.

Spaces

Spaces adalah cara sederhana untuk meng-hosting aplikasi demo ML di Hub. Spaces memungkinkan Anda membangun portofolio ML, memamerkan proyek Anda di konferensi atau kepada pemangku kepentingan, serta bekerja secara kolaboratif dengan orang lain di ekosistem ML.

Saat ini kami mendukung dua SDK Python yang luar biasa (Gradio dan Streamlit) yang memungkinkan Anda membangun aplikasi keren dalam hitungan menit. Pengguna juga dapat membuat Spaces statis, yaitu halaman HTML/CSS/JavaScript sederhana, atau menerapkan aplikasi berbasis Docker apa pun.

Jika Anda membutuhkan kekuatan GPU untuk demo Anda, coba ZeroGPU: secara dinamis menyediakan GPU NVIDIA RTX Pro 6000 Blackwell, secara real-time, hanya saat dibutuhkan.

Setelah Anda menjelajahi beberapa Spaces (lihat Space of the Week! kami), pelajari dokumentasi Spaces untuk mengetahui semua hal tentang cara membuat Space Anda sendiri. Anda juga akan dapat meningkatkan Space Anda agar berjalan di GPU atau perangkat keras berakselerasi lainnya. ⚡️

Storage Buckets

Storage Buckets menyediakan penyimpanan objek serupa S3 di Hugging Face, didukung oleh backend penyimpanan Xet. Berbeda dengan repositori (yang berbasis git dan melacak riwayat file), bucket adalah kontainer penyimpanan objek jarak jauh yang dirancang untuk file berskala besar dengan deduplikasi yang dapat diidentifikasi berdasarkan konten. Bucket dirancang untuk kasus penggunaan di mana Anda membutuhkan penyimpanan yang sederhana, cepat, dan dapat diubah, seperti menyimpan checkpoint pelatihan, log, artefak antara, atau kumpulan file besar lainnya yang tidak memerlukan kontrol versi.

Organisasi

Perusahaan, universitas, dan organisasi nirlaba merupakan bagian penting dari komunitas Hugging Face! Hub menyediakan Organizations, yang dapat digunakan untuk mengelompokkan akun serta mengelola dataset, model, dan Spaces. Pendidik juga dapat membuat organisasi kolaboratif untuk siswa menggunakan Hugging Face for Classrooms. Repositori sebuah organisasi akan ditampilkan di halaman organisasi tersebut, dan setiap anggota organisasi akan memiliki kemampuan untuk berkontribusi pada repositori. Selain dengan nyaman mengelompokkan semua karya sebuah organisasi, Hub memungkinkan admin untuk mengatur peran guna mengontrol akses ke repositori, serta mengelola metode pembayaran dan informasi penagihan organisasi mereka. Machine Learning menjadi lebih menyenangkan saat berkolaborasi! 🔥

Jelajahi organisasi yang ada, buat organisasi baru di sini, dan kemudian kunjungi dokumentasi Organizations untuk mempelajari lebih lanjut.

Keamanan

Hugging Face Hub mendukung fitur keamanan dan kontrol akses untuk memberikan ketenangan pikiran bahwa kode, model, dan data Anda aman. Kunjungi bagian Keamanan di dokumentasi ini untuk mempelajari tentang:

• Token Akses Pengguna
• Kontrol Akses untuk Organisasi
• Menandatangani commit dengan GPG
• Pemindaian malware

Update on GitHub