Ответы на вопросы, сочетающие семантический поиск и генеративный ИИ
Для ответа на вопросы, касающиеся знаний о домене, мы в NLP Cloud предпочитаем следующую стратегию: сначала делаем запрос с помощью семантического поиска, чтобы получить ресурсы, которые лучше всего отвечают на ваш вопрос, а затем используем генерацию текста, чтобы ответить на вопрос на основе этих ресурсов, как человек.
Допустим, мы являемся реселлером принтеров HP и хотим отвечать на вопросы наших клиентов на нашем сайте.
Сначала нам нужно будет вычислить вкрапления и сохранить их в векторной базе данных, либо создать собственную модель семантического поиска. Здесь она будет состоять всего из 3 примеров, но в реальной жизни вы можете включить до 1 миллиона примеров при использовании семантического поиска на NLP Cloud. Мы просто создаем CSV-файл и помещаем в него следующее:
HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online.
Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert.
HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00.
Затем мы загружаем наш набор данных CSV в NLP Cloud и нажимаем кнопку "Создать модель". Через некоторое время наша собственная модель семантического поиска, содержащая наши собственные знания о домене, будет готова, и мы получим частный URL-адрес API, чтобы использовать ее.
Давайте зададим вопрос нашей новой модели с помощью клиента NLP Cloud Python:
import nlpcloud
# We use a fake model name and a fake API key for illustration reasons.
client = nlpcloud.Client("custom-model/5d8e6s8w5", "poigre5754gaefdsf5486gdsa56", gpu=True)
client.semantic_search("How long is the warranty on the HP Color LaserJet Pro?")
Модель быстро выдает следующие данные с коротким временем отклика:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
Теперь мы извлекаем ответ, набравший наибольшее количество баллов (в идеале можно извлечь и несколько ответов): "Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."
Этот ответ правильный, но он не очень удобен для пользователя, так как для получения ответа ему нужно прочитать довольно длинный кусок текста. Поэтому теперь мы снова зададим тот же вопрос нашей конечной точке ответа на вопрос, используя модель ChatDolphin. В качестве контекста мы будем использовать ответ семантического поиска:
import nlpcloud
client = nlpcloud.Client("chatdolphin", "poigre5754gaefdsf5486gdsa56", gpu=True)
client.question(
"""How long is the warranty on the HP Color LaserJet Pro?""",
context="""Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."""
)
Он возвращает следующий ответ:
{
"answer": "The warranty lasts for three years."
}
Неплохо, правда?
