Tworzenie własnego modelu wyszukiwania semantycznego
Stworzenie własnego modelu wyszukiwania semantycznego to świetny sposób na uzyskanie dokładnych wyników przy jednoczesnym zapewnieniu bardzo niskiego opóźnienia. Jest to jeszcze bardziej prawdziwe w przypadku wdrożenia własnego modelu wyszukiwania semantycznego na GPU.
Najpierw utwórzmy mały zbiór danych zawierający nasze dane. Utwórz 1-kolumnowy plik CSV (o nazwie "dataset.csv") zawierający następującą dokumentację techniczną dotyczącą drukarek HP (w prawdziwym scenariuszu będziesz chciał oczywiście dołączyć znacznie więcej przykładów):
"HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online."
"Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
"HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00."
Każdy wiersz może zawierać do 512 tokenów (co w przybliżeniu odpowiada 400 słowom), a w celu zmaksymalizowania dokładności zaleca się pozostawanie poniżej 128 tokenów (co w przybliżeniu odpowiada 100 słowom). Teraz, gdy mamy już nasze 3 fragmenty dokumentacji w naszym zbiorze danych, możemy zakodować dane przy użyciu naszego modelu z Transformatorami Zdań. Utwórz skrypt Pythona z następującymi poleceniami (upewnij się, że PyTorch i Sentence Transformers są zainstalowane).
from sentence_transformers import SentenceTransformer
import csv
import torch
model_name = 'paraphrase-multilingual-mpnet-base-v2'
encoded_model_path = 'semantic_search_model.pt'
dataset_path = 'dataset.csv'
bi_encoder = SentenceTransformer(model_name)
passages = []
with open(dataset_path) as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
corpus_embeddings = bi_encoder.encode(
passages, batch_size=32, convert_to_tensor=True, show_progress_bar=True)
torch.save(corpus_embeddings, encoded_model_path)
Ten skrypt pobiera i używa paraphrase-multilingual-mpnet-base-v2 jako modelu bazowego i używa go do kodowania naszych danych. Możesz wybrać spośród wielu dostępnych wstępnie wytrenowanych modeli, w zależności od wymagań (rozmiar modelu, przypadek użycia, obsługiwane języki, ...). W zależności od posiadanego sprzętu należy dostosować parametr "batch_size" w celu przyspieszenia procesu kodowania.
Po utworzeniu modelu można użyć go do wnioskowania za pomocą następującego skryptu Python:
import csv
from sentence_transformers import SentenceTransformer, util
import torch
bi_encoder = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
semantic_search_model = torch.load('semantic_search_model.pt')
passages = []
with open('app/custom_model/dataset.csv') as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
question_embedding = bi_encoder.encode(
"How long is the warranty on the HP Color LaserJet Pro?", convert_to_tensor=True)
hits = util.semantic_search(
question_embedding, semantic_search_model, top_k=3)
hits = hits[0]
result = {"search_results": [
{"score": hit['score'], "text": passages[hit['corpus_id']]} for hit in hits]}
Powyższy skrypt wnioskowania zwraca następujące wyniki:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
W naszym skrypcie wnioskowania parametr "top_k" określa, ile wyników chcemy zwrócić. W wyniku pokazujemy pasujący tekst ze zbioru danych wraz z wynikiem zaufania. Ten wynik jest ważny, ponieważ pomaga nam zdecydować, czy chcemy zaakceptować odpowiedź, czy nie.
