Crear su propio modelo de búsqueda semántica
Crear tu propio modelo de búsqueda semántica es una excelente forma de obtener resultados precisos y, al mismo tiempo, garantizar una latencia muy baja. Esto es aún más cierto si despliegas tu propio modelo de búsqueda semántica en una GPU.
En primer lugar, vamos a crear un pequeño conjunto de datos que contenga nuestros datos. Cree un archivo CSV de 1 columna (llamado "dataset.csv") que contenga la siguiente documentación técnica sobre impresoras HP (en un escenario de la vida real querrá incluir muchos más ejemplos, por supuesto):
"HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online."
"Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
"HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00."
Cada fila puede contener hasta 512 tokens (aproximadamente el equivalente a 400 palabras) y, para maximizar la precisión, se recomienda no superar los 128 tokens (aproximadamente el equivalente a 100 palabras). Ahora que tenemos nuestras 3 piezas de documentación en nuestro conjunto de datos, podemos codificar los datos utilizando nuestro modelo con Sentence Transformers. Crea un script en Python con lo siguiente (asegúrate de que PyTorch y Sentence Transformers están instalados).
from sentence_transformers import SentenceTransformer
import csv
import torch
model_name = 'paraphrase-multilingual-mpnet-base-v2'
encoded_model_path = 'semantic_search_model.pt'
dataset_path = 'dataset.csv'
bi_encoder = SentenceTransformer(model_name)
passages = []
with open(dataset_path) as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
corpus_embeddings = bi_encoder.encode(
passages, batch_size=32, convert_to_tensor=True, show_progress_bar=True)
torch.save(corpus_embeddings, encoded_model_path)
Este script descarga y utiliza paraphrase-multilingual-mpnet-base-v2 como modelo base y lo utiliza para codificar nuestros datos. Puede elegir entre muchos modelos preentrenados disponibles, dependiendo de sus requisitos (tamaño del modelo, caso de uso, idiomas soportados, ...). Dependiendo de tu hardware, deberás adaptar el parámetro "batch_size" para acelerar el proceso de codificación.
Una vez creado, puede utilizar su modelo para la inferencia con el siguiente script de Python:
import csv
from sentence_transformers import SentenceTransformer, util
import torch
bi_encoder = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
semantic_search_model = torch.load('semantic_search_model.pt')
passages = []
with open('app/custom_model/dataset.csv') as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
question_embedding = bi_encoder.encode(
"How long is the warranty on the HP Color LaserJet Pro?", convert_to_tensor=True)
hits = util.semantic_search(
question_embedding, semantic_search_model, top_k=3)
hits = hits[0]
result = {"search_results": [
{"score": hit['score'], "text": passages[hit['corpus_id']]} for hit in hits]}
El script de inferencia anterior devuelve los siguientes resultados:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
En nuestro script de inferencia, el parámetro "top_k" determina cuántos resultados queremos obtener. En el resultado, mostramos el texto coincidente del conjunto de datos con una puntuación de confianza. Esta puntuación es importante porque nos ayuda a decidir si queremos aceptar la respuesta o no.
