استخدام Sentence Transformers في Hugging Face

sentence-transformers هي مكتبة توفر طرقًا سهلة لحساب التضمينات (تمثيلات متجهات كثيفة) للجمل والفقرات والصور. يتم تضمين النصوص في فضاء متجهي بحيث تكون النصوص المتشابهة قريبة من بعضها، مما يتيح تطبيقات مثل البحث الدلالي، والتجميع، والاسترجاع.

استكشاف sentence-transformers في Hub

يمكنك العثور على أكثر من 500 نموذج sentence-transformer من خلال التصفية على يسار صفحة النماذج. تدعم معظم هذه النماذج مهام مختلفة، مثل إجراء feature-extraction لتوليد التضمين، و sentence-similarity كطريقة لتحديد مدى تشابه جملة معينة مع أخرى. كما يمكنك العثور على نظرة عامة على النماذج المُدرَّبة مسبقًا الرسمية في التوثيق الرسمي.

تأتي جميع النماذج على Hub مع ميزات:

1. بطاقة نموذج مُولَّدة تلقائيًا تتضمن وصفًا، ومقاطع أكواد أمثلة، ونظرة عامة على البنية المعمارية، والمزيد.
2. وسوم البيانات الوصفية التي تساعد في إمكانية الاكتشاف وتحتوي على معلومات مثل الترخيص.
3. مكوّن تفاعلي يمكنك استخدامه للتجربة مع النموذج مباشرةً في المتصفح.
4. مكوّن مزوّدي الاستدلال الذي يتيح إرسال طلبات الاستدلال.

استخدام نماذج موجودة

يمكن تحميل النماذج المُدرَّبة مسبقًا على Hub بسطر واحد من الكود

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('model_name')

فيما يلي مثال يرمّز الجمل ثم يحسب المسافة بينها لأداء البحث الدلالي.

from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer('multi-qa-MiniLM-L6-cos-v1')

query_embedding = model.encode('How big is London')
passage_embedding = model.encode(['London has 9,787,426 inhabitants at the 2011 census',
                                  'London is known for its financial district'])

print("Similarity:", util.dot_score(query_embedding, passage_embedding))

إذا كنت ترغب في معرفة كيفية تحميل نموذج محدد، يمكنك النقر على Use in sentence-transformers وستحصل على مقتطف برمجي جاهز للتشغيل يمكنك من خلاله تحميل النموذج!

مشاركة نماذجك

يمكنك مشاركة نماذج Sentence Transformers الخاصة بك باستخدام طريقة save_to_hub من نموذج مدرَّب.

from sentence_transformers import SentenceTransformer

# Load or train a model
model.save_to_hub("my_new_model")

ينشئ هذا الأمر مستودعًا مع بطاقة نموذج مُولَّدة تلقائيًا، ومكوّن استنتاج، ومقاطع أكواد أمثلة، والمزيد! هنا مثال.

موارد إضافية

• مكتبة Sentence Transformers.
• توثيقات Sentence Transformers.
• التكامل مع إعلان Hub.