Создание собственной модели семантического поиска
Создание собственной модели семантического поиска - отличный способ получить точные результаты, обеспечив при этом очень низкую задержку. Это еще более верно, если развернуть собственную модель семантического поиска на GPU.
Для начала давайте создадим небольшой набор данных, содержащий наши данные. Создайте файл CSV с одним столбцом (под названием "dataset.csv"), содержащий следующую техническую документацию о принтерах HP (в реальном сценарии вы, конечно, захотите включить гораздо больше примеров):
"HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online."
"Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
"HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00."
Каждая строка может содержать до 512 лексем (примерно эквивалентно 400 словам), но для достижения максимальной точности рекомендуется не превышать 128 лексем (примерно эквивалентно 100 словам). Теперь, когда у нас есть 3 фрагмента документации в нашем наборе данных, мы можем закодировать данные с помощью нашей модели с трансформаторами предложений. Создайте скрипт на Python, выполнив следующие действия (убедитесь, что установлены PyTorch и Sentence Transformers).
from sentence_transformers import SentenceTransformer
import csv
import torch
model_name = 'paraphrase-multilingual-mpnet-base-v2'
encoded_model_path = 'semantic_search_model.pt'
dataset_path = 'dataset.csv'
bi_encoder = SentenceTransformer(model_name)
passages = []
with open(dataset_path) as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
corpus_embeddings = bi_encoder.encode(
passages, batch_size=32, convert_to_tensor=True, show_progress_bar=True)
torch.save(corpus_embeddings, encoded_model_path)
Этот скрипт загружает и использует paraphrase-multilingual-mpnet-base-v2 в качестве базовой модели и использует ее для кодирования наших данных. Вы можете выбрать одну из многих доступных предварительно обученных моделей, в зависимости от ваших требований (размер модели, сценарий использования, поддерживаемые языки, ...). В зависимости от вашего оборудования вы можете изменить параметр "batch_size", чтобы ускорить процесс кодирования.
После создания модели вы можете использовать ее для выводов с помощью следующего сценария Python:
import csv
from sentence_transformers import SentenceTransformer, util
import torch
bi_encoder = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
semantic_search_model = torch.load('semantic_search_model.pt')
passages = []
with open('app/custom_model/dataset.csv') as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
question_embedding = bi_encoder.encode(
"How long is the warranty on the HP Color LaserJet Pro?", convert_to_tensor=True)
hits = util.semantic_search(
question_embedding, semantic_search_model, top_k=3)
hits = hits[0]
result = {"search_results": [
{"score": hit['score'], "text": passages[hit['corpus_id']]} for hit in hits]}
Приведенный выше сценарий вывода дает следующие результаты:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
В нашем сценарии вывода параметр "top_k" определяет, сколько результатов мы хотим вернуть. В результатах мы показываем совпадающий текст из набора данных с оценкой доверия. Этот показатель важен, поскольку помогает нам решить, принимать ответ или нет.
