Створення власної моделі семантичного пошуку
Створення власної моделі семантичного пошуку - чудовий спосіб отримати точні результати з дуже низькою затримкою. Це ще більш актуально, якщо ви розгортаєте власну модель семантичного пошуку на графічному процесорі.
Спочатку створимо невеликий набір даних, що містить наші дані. Створіть CSV-файл з 1 стовпчиком (під назвою "dataset.csv"), що містить наступну технічну документацію про принтери HP (у реальному житті вам, звісно, знадобиться набагато більше прикладів):
"HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online."
"Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
"HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00."
Кожен рядок може містити до 512 лексем (приблизно 400 слів), а для досягнення максимальної точності рекомендується не перевищувати 128 лексем (приблизно 100 слів). Тепер, коли в нашому наборі даних є 3 частини документації, ми можемо закодувати дані, використовуючи нашу модель за допомогою трансформаторів речень. Створіть Python-скрипт (переконайтеся, що PyTorch і Sentence Transformers встановлені).
from sentence_transformers import SentenceTransformer
import csv
import torch
model_name = 'paraphrase-multilingual-mpnet-base-v2'
encoded_model_path = 'semantic_search_model.pt'
dataset_path = 'dataset.csv'
bi_encoder = SentenceTransformer(model_name)
passages = []
with open(dataset_path) as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
corpus_embeddings = bi_encoder.encode(
passages, batch_size=32, convert_to_tensor=True, show_progress_bar=True)
torch.save(corpus_embeddings, encoded_model_path)
Цей скрипт завантажує і використовує paraphrase-multilingual-mpnet-base-v2 як базову модель і використовує її для кодування наших даних. Ви можете вибрати одну з багатьох доступних попередньо навчених моделей, залежно від ваших вимог (розмір моделі, сценарій використання, підтримувані мови, ...). Залежно від вашого апаратного забезпечення ви можете адаптувати параметр "batch_size", щоб пришвидшити процес кодування.
Після створення ви можете використовувати вашу модель для виводу за допомогою наступного скрипту на Python:
import csv
from sentence_transformers import SentenceTransformer, util
import torch
bi_encoder = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
semantic_search_model = torch.load('semantic_search_model.pt')
passages = []
with open('app/custom_model/dataset.csv') as csv_file:
csv_reader = csv.reader(csv_file)
for row in csv_reader:
passages.append(row[0])
question_embedding = bi_encoder.encode(
"How long is the warranty on the HP Color LaserJet Pro?", convert_to_tensor=True)
hits = util.semantic_search(
question_embedding, semantic_search_model, top_k=3)
hits = hits[0]
result = {"search_results": [
{"score": hit['score'], "text": passages[hit['corpus_id']]} for hit in hits]}
Наведений вище скрипт виводу повертає наступні результати:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP LaserJet comes with a one-year HP commercial warranty (or HP Limited Warranty)."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
У нашому скрипті виведення параметр "top_k" визначає, скільки результатів ми хочемо повернути. В результаті ми показуємо відповідний текст з набору даних з оцінкою достовірності. Ця оцінка важлива, тому що вона допомагає нам вирішити, чи хочемо ми прийняти відповідь чи ні.
