Erstellen Sie Ihr eigenes semantisches Suchmodell
Die Erstellung eines eigenen semantischen Suchmodells ist eine großartige Möglichkeit, um genaue Ergebnisse zu erzielen und gleichzeitig eine sehr geringe Latenzzeit zu gewährleisten. Dies gilt umso mehr, wenn Sie Ihr eigenes semantisches Suchmodell auf einer GPU einsetzen.
Lassen Sie uns zunächst einen kleinen Datensatz mit unseren Daten erstellen. Erstellen Sie eine einspaltige CSV-Datei (mit dem Namen "dataset.csv"), die die folgende technische Dokumentation über HP-Drucker enthält (in einem realen Szenario werden Sie natürlich noch viele weitere Beispiele hinzufügen wollen):
"HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online."
"Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
"HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00."
Jede Zeile kann bis zu 512 Token (entspricht etwa 400 Wörtern) enthalten, und um die Genauigkeit zu maximieren, wird empfohlen, unter 128 Token (entspricht etwa 100 Wörtern) zu bleiben. Da wir nun unsere 3 Dokumentationen in unserem Datensatz haben, können wir die Daten mit unserem Modell mit Sentence Transformers kodieren. Erstellen Sie ein Python-Skript mit folgendem Inhalt (stellen Sie sicher, dass PyTorch und Sentence Transformers installiert sind).
from sentence_transformers import SentenceTransformer
import csv
import torch
model_name = 'paraphrase-multilingual-mpnet-base-v2'
encoded_model_path = 'semantic_search_model.pt'
dataset_path = 'dataset.csv'
bi_encoder = SentenceTransformer(model_name)
passages = []
with open(dataset_path) as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
corpus_embeddings = bi_encoder.encode(
passages, batch_size=32, convert_to_tensor=True, show_progress_bar=True)
torch.save(corpus_embeddings, encoded_model_path)
Dieses Skript lädt paraphrase-multilingual-mpnet-base-v2 herunter, verwendet es als Basismodell und kodiert damit unsere Daten. Sie können je nach Ihren Anforderungen (Modellgröße, Anwendungsfall, unterstützte Sprachen, ...) unter vielen verfügbaren vortrainierten Modellen wählen. Je nach Ihrer Hardware sollten Sie den Parameter "batch_size" anpassen, um den Kodierungsprozess zu beschleunigen.
Nach der Erstellung können Sie Ihr Modell mit dem folgenden Python-Skript zur Inferenz verwenden:
import csv
from sentence_transformers import SentenceTransformer, util
import torch
bi_encoder = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
semantic_search_model = torch.load('semantic_search_model.pt')
passages = []
with open('app/custom_model/dataset.csv') as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
question_embedding = bi_encoder.encode(
"How long is the warranty on the HP Color LaserJet Pro?", convert_to_tensor=True)
hits = util.semantic_search(
question_embedding, semantic_search_model, top_k=3)
hits = hits[0]
result = {"search_results": [
{"score": hit['score'], "text": passages[hit['corpus_id']]} for hit in hits]}
Das obige Inferenzskript liefert folgende Ergebnisse:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
In unserem Inferenzskript bestimmt der Parameter "top_k", wie viele Ergebnisse wir zurückgeben wollen. Im Ergebnis zeigen wir den übereinstimmenden Text aus dem Datensatz mit einem Konfidenzwert an. Dieser Wert ist wichtig, weil er uns hilft zu entscheiden, ob wir die Antwort akzeptieren wollen oder nicht.
