Hugging Face'te Sentence Transformers Kullanımı

sentence-transformers, cümle, paragraf ve görseller için gömme (yoğun vektör temsilleri) hesaplama yöntemlerini kolayca sunan bir kütüphanedir. Metinler, benzer metinlerin birbirine yakın olacağı şekilde bir vektör uzayına gömülür; bu da anlamsal arama, kümeleme ve geri getirme gibi uygulamaları mümkün kılar.

Hub'da sentence-transformers'ı keşfetme

modeller sayfası sol tarafında filtreleyerek 500'den fazla sentence-transformer modeli bulabilirsiniz. Bu modellerin çoğu, gömme (embedding) üretmek için feature-extraction ve bir cümlenin diğerlerine ne kadar benzer olduğunu belirlemek için sentence-similarity gibi farklı görevleri destekler. Resmi önceden eğitilmiş modellerin genel bakışını da resmi belgelerde bulabilirsiniz.

Hub'daki tüm modeller özelliklerle birlikte gelir:

1. Açıklama, örnek kod parçacıkları, mimari özeti ve daha fazlasını içeren otomatik olarak oluşturulan bir model kartı.
2. Keşfedilebilirliği kolaylaştıran ve lisans gibi bilgileri içeren meta etiketler.
3. Modeli doğrudan tarayıcıda denemeniz için kullanabileceğiniz etkileşimli bir widget.
4. Çıkarım istekleri yapmanıza olanak tanıyan bir Inference Providers widget'ı.

Mevcut modelleri kullanma

Hub'daki önceden eğitilmiş modeller tek satır kodla yüklenebilir

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('model_name')

Aşağıdaki örnek, cümleleri kodlayıp ardından anlamsal arama yapmak için aralarındaki mesafeyi hesaplar.

from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer('multi-qa-MiniLM-L6-cos-v1')

query_embedding = model.encode('How big is London')
passage_embedding = model.encode(['London has 9,787,426 inhabitants at the 2011 census',
                                  'London is known for its financial district'])

print("Similarity:", util.dot_score(query_embedding, passage_embedding))

Belirli bir modelin nasıl yükleneceğini görmek istiyorsanız, Use in sentence-transformers öğesine tıklayabilir ve modeli yüklemek için kullanabileceğiniz çalışan bir kod parçası alabilirsiniz!

Modellerinizi paylaşma

Eğitilmiş bir modelden save_to_hub yöntemini kullanarak Sentence Transformers'ınızı paylaşabilirsiniz.

from sentence_transformers import SentenceTransformer

# Load or train a model
model.save_to_hub("my_new_model")

Bu komut, otomatik olarak oluşturulan bir model kartı, çıkarım widget'ı, örnek kod parçacıkları ve daha fazlasıyla bir depo oluşturur! İşte bir örnek.

Ek kaynaklar

• Sentence Transformers kütüphanesi.
• Sentence Transformers belgeleri.
• Hub ile entegrasyon düzenlemesi.