Spørsmålssvar med en blanding av semantisk søk og generativ AI
For å svare på spørsmål om domenekunnskap, foretrekker vi i NLP Cloud følgende strategi: Først sender vi en forespørsel med semantisk søk for å finne de ressursene som best svarer på spørsmålet ditt, og deretter bruker vi tekstgenerering for å svare på spørsmålet basert på disse ressursene som et menneske.
La oss si at vi er forhandler av HP-skrivere og ønsker å svare på kundenes spørsmål på nettstedet vårt.
Først må vi beregne embeddings og lagre dem i en vektordatabase, eller lage vår egen semantiske søkemodell. Her vil den bare bestå av 3 eksempler, men i virkeligheten kan du inkludere opptil 1 million eksempler når du bruker semantisk søk på NLP Cloud. Vi oppretter ganske enkelt en CSV-fil og legger inn følgende:
HP® LaserJets have unmatched printing speed, performance and reliability that you can trust. Enjoy Low Prices and Free Shipping when you buy now online.
Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert.
HP LaserJet ; Lowest cost per page on mono laser printing. · $319.99 ; Wireless options available. · $109.00 ; Essential management features. · $209.00.
Deretter laster vi opp CSV-datasettet vårt til NLP Cloud og klikker på "Create model". Etter en stund vil vår egen semantiske søkemodell med vår egen domenekunnskap være klar, og vi vil motta en privat API-URL for å kunne bruke den.
La oss stille et spørsmål til den splitter nye modellen vår ved hjelp av NLP Cloud Python-klienten:
import nlpcloud
# We use a fake model name and a fake API key for illustration reasons.
client = nlpcloud.Client("custom-model/5d8e6s8w5", "poigre5754gaefdsf5486gdsa56", gpu=True)
client.semantic_search("How long is the warranty on the HP Color LaserJet Pro?")
Modellen returnerer raskt følgende med kort responstid:
{
"search_results": [
{
"score": 0.99,
"text": "Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."
},
{
"score": 0.74,
"text": "All consumer PCs and printers come with a standard one-year warranty. Care packs provide an enhanced level of support and/or an extended period of coverage for your HP hardware. All commercial PCs and printers come with either a one-year or three-year warranty."
},
{
"score": 0.68,
"text": "In-warranty plan · Available in 2-, 3-, or 4-year extension plans · Includes remote problem diagnosis support and Next Business Day Exchange Service."
},
]
}
Nå henter vi ut det svaret som har høyest poengsum (vi kan utmerket godt hente ut flere svar også): "Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."
Dette svaret er riktig, men det er ikke særlig brukervennlig siden brukeren må lese en ganske lang tekst for å få svaret. Nå stiller vi det samme spørsmålet på nytt til endepunktet for spørsmålssvar ved hjelp av ChatDolphin-modellen. Vi bruker svaret fra det semantiske søket som kontekst:
import nlpcloud
client = nlpcloud.Client("chatdolphin", "poigre5754gaefdsf5486gdsa56", gpu=True)
client.question(
"""How long is the warranty on the HP Color LaserJet Pro?""",
context="""Every HP printer comes with at least a one-year HP commercial warranty (or HP Limited Warranty). Some models automatically benefit from a three-year warranty, which is the case of the HP Color LaserJet Plus, the HP Color LaserJet Pro, and the HP Color LaserJet Expert."""
)
Den returnerer følgende svar:
{
"answer": "The warranty lasts for three years."
}
Ganske bra, ikke sant?
