Frågesvar som blandar semantisk sökning och generativ AI
För att besvara frågor om domänkunskap är den strategi vi föredrar på NLP Cloud följande: gör först en förfrågan med semantisk sökning för att hämta de resurser som bäst svarar på din fråga, och använd sedan textgenerering för att besvara frågan baserat på dessa resurser som en människa.
Låt oss säga att vi är återförsäljare av HP-skrivare och att vi vill svara på våra kunders frågor på vår webbplats.
Först måste vi beräkna inbäddningar och lagra dem i en vektordatabas, eller skapa vår egen semantiska sökmodell. Här kommer den endast att bestå av 3 exempel, men i verkliga livet kan du inkludera upp till 1 miljon exempel när du använder semantisk sökning på NLP Cloud. Vi skapar helt enkelt en CSV-fil och lägger in följande:
HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online.
Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert.
HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00.
Vi laddar sedan upp vår CSV-datauppsättning till NLP Cloud och klickar på "Skapa modell". Efter ett tag är vår egen semantiska sökmodell som innehåller vår egen domänkunskap klar och vi får en privat API-URL för att kunna använda den.
Låt oss ställa en fråga till vår helt nya modell med hjälp av NLP Cloud Python-klienten:
import nlpcloud
# We use a fake model name and a fake API key for illustration reasons.
client = nlpcloud.Client("custom-model/5d8e6s8w5", "poigre5754gaefdsf5486gdsa56", gpu=True)
client.semantic_search("How long is the warranty on the HP Color LaserJet Pro?")
Modellen returnerar snabbt följande med kort svarstid:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
Nu hämtar vi det svar som har högst poäng (vi skulle också kunna hämta flera svar): "Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."
Detta svar är korrekt, men det är inte särskilt användarvänligt eftersom användaren måste läsa en ganska lång text för att få svaret. Så nu ställer vi samma fråga igen till vår slutpunkt för frågesvar, med hjälp av ChatDolphin-modellen. Vi kommer att använda det semantiska söksvaret som ett sammanhang:
import nlpcloud
client = nlpcloud.Client("chatdolphin", "poigre5754gaefdsf5486gdsa56", gpu=True)
client.question(
"""How long is the warranty on the HP Color LaserJet Pro?""",
context="""Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."""
)
Den returnerar följande svar:
{
"answer": "The warranty lasts for three years."
}
Ganska bra, eller hur?
