Wyodrębnianie encji za pomocą uczenia w kilku ujęciach
Teraz zajmiemy się ekstrakcją encji dzięki uczeniu w kilku ujęciach.
Załóżmy, że chcesz wyodrębnić nazwy stanowisk z witryn internetowych. Wystarczy podać kilka przykładów wyodrębniania tytułów stanowisk przed zgłoszeniem konkretnego żądania:
Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title:
W rezultacie otrzymamy następujące wyniki:
Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title: CTO
Jak zauważyłeś, musimy być sprytni w tworzeniu naszych kilkustrzałowych przykładów. Może się zdarzyć, że w ogóle nie zostanie znaleziona żadna nazwa stanowiska, dlatego stworzyliśmy przykład zwracający "brak" (pozwala to uniknąć fałszywych pozytywów). Może chcesz wyodrębnić kilka nazw stanowisk jednocześnie? W takim przypadku ważne jest, aby utworzyć przykłady zwracające również kilka nazw stanowisk (na przykład rozdzielonych przecinkami).
Jeszcze lepsze wyniki można uzyskać, dodając jeszcze więcej przykładów. Ważne jest, aby przykłady były jak najbardziej zbliżone do ostatecznego wniosku. Na przykład, jeśli wiesz, że będziesz analizować całe akapity, a nie tylko zdania, najlepiej jest stworzyć przykłady również z akapitami.
Jeśli nie masz dostępu do modelu GPT, możesz po prostu skorzystać z API NLP Cloud. Dostępnych jest kilka klientów (Python, Go, Node.js, Ruby, PHP...). Pokażemy tu przykład użycia GPT-J z klientem Pythona:
import nlpcloud
client = nlpcloud.Client("gpt-j", "your API token", gpu=True)
client.generation("""Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title:""",
top_p=0.1,
length_no_input=True,
remove_input=True,
end_sequence="###",
remove_end_sequence=True
)
Wynik będzie następujący: CTO
Pozwolę sobie krótko wyjaśnić parametry generowania tekstu, których właśnie użyliśmy.
Ustawiliśmy bardzo niską górną wartość p, ponieważ nie chcemy, aby GPT-J tworzył zbyt oryginalne wyniki: chcemy, aby trzymał się tego, co widział w żądaniu użytkownika.
"length_no_input" oznacza, że maksymalna wartość długości nie powinna uwzględniać tekstu wejściowego.
"remove_input" oznacza, że tekst wejściowy powinien zostać usunięty z wyniku.
"end_sequence" oznacza, że gdy model napotka ten znak, powinien przestać generować tekst. Ponieważ w naszym kilkuzdjęciowym przykładzie dodaliśmy "###" na końcu każdej odpowiedzi, model automatycznie wygeneruje "###" po wygenerowaniu odpowiedzi i na tym poprzestanie.
Polecenie "remove_end_sequence" oznacza, że chcemy usunąć "###" z odpowiedzi.
Więcej szczegółów można znaleźć w dokumentacji chmury NLP: zobacz tutaj.
Ilustracja z adnotacjami