소수 샷 학습을 통한 엔티티 추출
이제 소수 샷 학습을 통해 엔티티 추출을 수행합니다.
웹사이트에서 직함을 추출하고 싶다고 가정해 보겠습니다. 실제 요청을 하기 전에 몇 가지 직책 추출 예시를 제시하기만 하면 됩니다:
Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title:
결과는 다음과 같습니다:
Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title: CTO
아시다시피, 몇 개의 샷으로 구성된 예제를 만드는 방식에 신중을 기해야 합니다. 직책이 전혀 발견되지 않을 수도 있기 때문에 "없음"을 반환하는 예제를 만들었습니다(오탐을 방지합니다). 여러 직책을 동시에 추출하고 싶으신가요? 이 경우 여러 직함을 반환하는 예제(예: 쉼표로 구분된 직함)도 만드는 것이 중요합니다.
더 많은 예제를 추가하면 더 나은 결과를 얻을 수 있습니다. 그리고 예제는 가능한 한 실제 최종 요청에 가깝게 작성하는 것이 중요합니다. 예를 들어, 단순한 문장이 아닌 전체 단락을 분석할 예정이라면 단락으로 예시를 만드는 것이 가장 좋습니다.
GPT 모델에 액세스할 수 없는 경우 NLP 클라우드 API를 사용하면 됩니다. 여러 클라이언트를 사용할 수 있습니다(Python, Go, Node.js, Ruby, PHP...). 여기서는 Python 클라이언트와 함께 GPT-J를 사용하는 예제를 보여드리겠습니다:
import nlpcloud
client = nlpcloud.Client("gpt-j", "your API token", gpu=True)
client.generation("""Extract job titles from the following sentences.
Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.
Job title: Linux Engineer
###
Sentence: John Doe has been working for Microsoft for 20 years and he loved it.
Job title: none
###
Sentence: Marc Simoncini | Director | Meetic
Job title: Director
###
Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.
Job title: CEO
###
Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.
Job title:""",
top_p=0.1,
length_no_input=True,
remove_input=True,
end_sequence="###",
remove_end_sequence=True
)
결과는 다음과 같습니다: CTO
방금 사용한 텍스트 생성 매개변수에 대해 간단히 설명해 드리겠습니다.
GPT-J가 너무 독창적인 결과를 생성하는 것을 원하지 않기 때문에, 요청에서 본 것에 충실하기를 원하기 때문에 매우 낮은 최고 p 값을 설정했습니다.
"LENGTH_NO_INPUT"은 최대 길이 값에 입력 텍스트를 고려하지 않아야 함을 의미합니다.
"remove_input"은 결과에서 입력 텍스트를 제거해야 함을 의미합니다.
"end_sequence"는 모델이 이 문자를 만나면 텍스트 생성을 중지해야 함을 의미합니다. 몇 가지 예제에서 각 답변 끝에 "###"을 추가한 것처럼, 모델은 응답을 생성한 후 자동으로 "###"을 생성하고 거기서 멈춥니다.
"remove_end_sequence"는 응답에서 "###"을 제거한다는 의미입니다.
자세한 내용은 NLP 클라우드 설명서에서 확인할 수 있습니다: 여기를 참조하세요.
주석 그림