# Arama dizini

[FAISS](https://github.com/facebookresearch/faiss) ve [Elasticsearch](https://www.elastic.co/elasticsearch/), bir veri kümesindeki örneklerin aranmasını sağlar. Bu, NLP görevinizle ilgili belirli örnekleri bir veri kümesinden geri getirmek istediğinizde faydalı olabilir. Örneğin, Açık Alan Soru Cevaplama (Open Domain Question Answering) görevi üzerinde çalışıyorsanız, sorunuzun cevabıyla ilgili örnekleri döndürmek isteyebilirsiniz.

Bu kılavuz, verisetinizi aramanıza olanak tanıyacak bir indeks oluşturmanızı gösterir.

## FAISS

FAISS, belgelerin vektör temsillerinin benzerliğine dayanarak belgeleri alır. Bu örnekte, vektör temsillerini [DPR](https://huggingface.co/transformers/model_doc/dpr.html) modeliyle oluşturacaksınız.

1. DPR modelini 🤗 Transformers'tan indirin:

```py
>>> from transformers import DPRContextEncoder, DPRContextEncoderTokenizer
>>> import torch
>>> torch.set_grad_enabled(False)
>>> ctx_encoder = DPRContextEncoder.from_pretrained("facebook/dpr-ctx_encoder-single-nq-base")
>>> ctx_tokenizer = DPRContextEncoderTokenizer.from_pretrained("facebook/dpr-ctx_encoder-single-nq-base")
```

2. Veri setinizi yükleyin ve vektör temsillerini hesaplayın:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('community-datasets/crime_and_punish', split='train[:100]')
>>> ds_with_embeddings = ds.map(lambda example: {'embeddings': ctx_encoder(**ctx_tokenizer(example["line"], return_tensors="pt"))[0][0].numpy()})
```

3. Dizin oluşturmak için [Dataset.add_faiss_index()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.add_faiss_index) kullanın:

```py
>>> ds_with_embeddings.add_faiss_index(column='embeddings')
```

4. Artık veri setinizi `embeddings` diziniyle sorgulayabilirsiniz. DPR Question Encoder'ı yükleyin ve [Dataset.get_nearest_examples()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.get_nearest_examples) ile bir soru arayın:

```py
>>> from transformers import DPRQuestionEncoder, DPRQuestionEncoderTokenizer
>>> q_encoder = DPRQuestionEncoder.from_pretrained("facebook/dpr-question_encoder-single-nq-base")
>>> q_tokenizer = DPRQuestionEncoderTokenizer.from_pretrained("facebook/dpr-question_encoder-single-nq-base")

>>> question = "Is it serious ?"
>>> question_embedding = q_encoder(**q_tokenizer(question, return_tensors="pt"))[0][0].numpy()
>>> scores, retrieved_examples = ds_with_embeddings.get_nearest_examples('embeddings', question_embedding, k=10)
>>> retrieved_examples["line"][0]
'_that_ serious? It is not serious at all. It’s simply a fantasy to amuse\r\n'
```

5. Dizinine [Dataset.get_index()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.get_index) ile erişebilir ve onu özel işlemler için kullanabilirsiniz, örneğin `range_search` kullanarak sorgulayabilirsiniz:

```py
>>> faiss_index = ds_with_embeddings.get_index('embeddings').faiss_index
>>> limits, distances, indices = faiss_index.range_search(x=question_embedding.reshape(1, -1), thresh=0.95)
```

6. Sorgulama işlemleriniz bittiğinde, indeksi [Dataset.save_faiss_index()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.save_faiss_index) ile diske kaydedin:

```py
>>> ds_with_embeddings.save_faiss_index('embeddings', 'my_index.faiss')
```

7. Daha sonra [Dataset.load_faiss_index()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.load_faiss_index) ile yeniden yükleyin:

```py
>>> ds = load_dataset('community-datasets/crime_and_punish', split='train[:100]')
>>> ds.load_faiss_index('embeddings', 'my_index.faiss')
```

## Elasticsearch

FAISS'in aksine, Elasticsearch belgeleri tam eşleşmelere dayalı olarak alır.

Elasticsearch'i makinenizde başlatın veya daha önce kurmadıysanız [Elasticsearch kurulum kılavuzuna](https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html) bakın.

1. Dizinlemek istediğiniz veri setini yükleyin:

```py
>>> from datasets import load_dataset
>>> squad = load_dataset('rajpurkar/squad', split='validation')
```

2. [Dataset.add_elasticsearch_index()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.add_elasticsearch_index) ile indeksi oluşturun:

```py
>>> squad.add_elasticsearch_index("context", host="localhost", port="9200")
```

3. Ardından `context` dizinini [Dataset.get_nearest_examples()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.get_nearest_examples) ile sorgulayabilirsiniz:

```py
>>> query = "machine"
>>> scores, retrieved_examples = squad.get_nearest_examples("context", query, k=10)
>>> retrieved_examples["title"][0]
'Computational_complexity_theory'
```

4. Dizinyi yeniden kullanmak istiyorsanız, dizini oluştururken `es_index_name` parametresini tanımlayın:

```py
>>> from datasets import load_dataset
>>> squad = load_dataset('rajpurkar/squad', split='validation')
>>> squad.add_elasticsearch_index("context", host="localhost", port="9200", es_index_name="hf_squad_val_context")
>>> squad.get_index("context").es_index_name
hf_squad_val_context
```

5. Daha sonra [Dataset.load_elasticsearch_index()](/docs/datasets/v5.2.0/tr/package_reference/main_classes#datasets.Dataset.load_elasticsearch_index) çağrısında indeks adıyla yeniden yükleyin:

```py
>>> from datasets import load_dataset
>>> squad = load_dataset('rajpurkar/squad', split='validation')
>>> squad.load_elasticsearch_index("context", host="localhost", port="9200", es_index_name="hf_squad_val_context")
>>> query = "machine"
>>> scores, retrieved_examples = squad.get_nearest_examples("context", query, k=10)
```

Daha gelişmiş Elasticsearch kullanımı için, özel ayarlarla kendi yapılandırmanızı belirleyebilirsiniz:

```py
>>> import elasticsearch as es
>>> import elasticsearch.helpers
>>> from elasticsearch import Elasticsearch
>>> es_client = Elasticsearch([{"host": "localhost", "port": "9200"}])  # default client
>>> es_config = {
...     "settings": {
...         "number_of_shards": 1,
...         "analysis": {"analyzer": {"stop_standard": {"type": "standard", " stopwords": "_english_"}}},
...     },
...     "mappings": {"properties": {"text": {"type": "text", "analyzer": "standard", "similarity": "BM25"}}},
... }  # default config
>>> es_index_name = "hf_squad_context"  # name of the index in Elasticsearch
>>> squad.add_elasticsearch_index("context", es_client=es_client, es_config=es_config, es_index_name=es_index_name)
```

