Entiteit Extractie met Few-shot Leren
Nu zullen we entiteit-extractie uitvoeren dankzij paar-schots leren.
Laten we zeggen dat u functietitels van websites wilt extraheren. Geef gewoon een paar voorbeelden van extractie van functietitels voordat u uw eigenlijke verzoek doet:
Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title:
Het resultaat zal het volgende zijn:
Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title: CTO
Zoals je hebt gemerkt, moeten we slim zijn met de manier waarop we onze voorbeelden maken. Het kan gebeuren dat er helemaal geen functietitel wordt gevonden, daarom hebben we een voorbeeld gemaakt dat "geen" teruggeeft (het vermijdt valse positieven). Misschien wil je meerdere functiebenamingen tegelijk vinden? In dat geval is het belangrijk om ook voorbeelden te maken die meerdere functietitels teruggeven (bijvoorbeeld functietitels gescheiden door komma's).
U zult nog betere resultaten krijgen door nog meer voorbeelden toe te voegen. En het is belangrijk dat je voorbeelden zo dicht mogelijk bij je eigenlijke eindvraag staan. Als u bijvoorbeeld weet dat u hele alinea's gaat analyseren in plaats van alleen maar zinnen, kunt u het beste ook voorbeelden met alinea's maken.
Als u geen toegang hebt tot een GPT-model, kunt u gewoon de NLP Cloud API gebruiken. Er zijn verschillende clients beschikbaar (Python, Go, Node.js, Ruby, PHP...). We tonen hier een voorbeeld waarbij GPT-J wordt gebruikt met de Python-client:
import nlpcloud
client = nlpcloud.Client("gpt-j", "your API token", gpu=True)
client.generation("""Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title:""",
top_p=0.1,
length_no_input=True,
remove_input=True,
end_sequence="###",
remove_end_sequence=True
)
Het resultaat zal zijn: CTO
Laat me je een korte uitleg geven over de tekstgeneratie parameters die we net gebruikten.
We stellen een zeer lage p-waarde in omdat we niet willen dat GPT-J al te originele resultaten creëert: we willen gewoon dat het zich houdt aan wat het in uw verzoek heeft gezien.
"length_no_input" betekent dat de maximale lengtewaarde geen rekening moet houden met de ingevoerde tekst.
"remove_input" betekent dat de ingevoerde tekst uit het resultaat moet worden verwijderd.
"end_sequence" betekent dat wanneer het model dit teken tegenkomt, het moet stoppen met het genereren van tekst. Aangezien we in onze voorbeelden "###" hebben toegevoegd aan het eind van elk antwoord, zal het model automatisch "###" genereren nadat het antwoord is gegenereerd en zal het daar stoppen.
"remove_end_sequence" betekent dat we "###" uit het antwoord willen verwijderen.
Meer details vindt u in de NLP Cloud documentatie: zie het hier.
Illustratie bij annotatie