제로 샷 학습이란 무엇이며, 자연어 처리에서 텍스트 분류에 제로 샷 학습을 어떻게 효과적으로 적용할 수 있을까요? 텍스트 분류에 어떻게 적용할 수 있을까요?
최근의 최첨단 트랜스포머 기반 자연어 처리 모델 덕분에 제로 샷 학습은 자연어 처리 분야에서 많은 자연어 처리 분야에서 많은 인기를 얻고 있습니다. 제로 샷 학습의 개념은 이제 모델이 일부 클래스에 대해 학습하지 않았더라도 인식할 수 있다는 것입니다.
이것은 인간이 자연스럽게 하는 일입니다. 예를 들어 자녀가 낙타가 무엇인지 알고 있다면 다음과 같이 말하면 됩니다. 낙타와 매우 비슷한 단봉 낙타라는 동물이 있는데, 등에 혹이 2개가 아닌 1개가 있다는 점을 제외하면 혹이 2개가 아니라 하나라고 말해주면 됩니다! 다음에 아이가 단봉봉의 그림을 볼 때, 그는 그것이 무엇인지 알게 될 것입니다. 처음 보는 것이니까요!
제로샷 기법은 관찰된 클래스와 관찰되지 않은 클래스를 소위 말하는 "보조" 정보를 통해 객체의 구별되는 속성을 인코딩합니다. 이는 오랫동안 컴퓨터 비전 분야에서 매우 인기 있는 오랫동안 컴퓨터 비전 분야에서 널리 사용되어 왔으며, 이제는 자연어 처리에서도 점점 더 많이 사용되고 있습니다.
제로 샷 학습은 텍스트 분류에 매우 효과적입니다. 텍스트 분류는 하나 이상의 카테고리를 텍스트에 적용하는 것입니다. 카테고리(우주, 비즈니스, 스포츠 등)를 텍스트에 적용하는 것입니다.
최근까지 텍스트 분류 모델은 미리 정의된 수의 후보 카테고리로만 텍스트를 분류할 수 있었습니다. 후보 카테고리로만 분류할 수 있었습니다. 이러한 카테고리는 훈련 중에 미리 설정해야 했습니다. 이는 고통스러운 일이었습니다. 카테고리를 추가할 때마다 더 많은 예시로 모델을 다시 훈련해야 했기 때문입니다. 예시.
훨씬 더 큰 규모의 자연어 처리 모델(대부분 Transformers를 기반으로 함)이 생성된 이후에는 특정 카테고리 목록에 대해서만 모델을 학습시킨 다음 사용자가 모델을 다시 학습시킬 필요 없이 카테고리를 즉시 생성할 수 있게 되었습니다.
예를 들어, 제로샷 텍스트 분류 모델이 3가지 카테고리만 인식하도록 학습되었다고 가정해 보겠습니다. 카테고리만 인식하도록 훈련되었다고 가정해 보겠습니다. 이 모델을 사용하여 다른 카테고리의 텍스트를 분류할 수 있습니다, 예를 들어 비즈니스, 음식 또는 과학과 같은 다른 카테고리의 텍스트를 분류하는 데 사용할 수 있습니다.
이는 뛰어난 결과를 제공하면서도 많은 유연성을 허용하는 매우 강력한 기술입니다.
허깅 페이스 트랜스포머를 기반으로 하는 우수한 오픈 소스 자연어 처리 모델이 시중에 나와 있으며, 제로 샷 텍스트 분류에 제로 샷 텍스트 분류에 정말 잘 작동합니다.
NLP Cloud에서는 다음 두 가지 모델을 다음과 같은 최고의 최첨단 모델로 선택했습니다. 제로 샷 텍스트 분류를 위해 이 두 가지 모델을 선택했습니다:
정확도가 인상적이고 지연 시간이 상당히 좋더라도 이 두 모델은 여전히 다음과 같은 단점이 있습니다. 계산 집약적인 모델이며, 분석하려는 텍스트가 너무 크거나 후보 카테고리의 수가 너무 많으면 지연 시간이 너무 크거나 후보 카테고리의 수가 너무 많으면 대기 시간이 쉽게 늘어날 수 있습니다. 정확도가 가장 중요한 문제가 아니고 더 빠르고 리소스 집약적인 모델을 선호한다면 다른 모델을 쉽게 선택할 수 있습니다. 예를 들어 예를 들어, "DistilBart"라는 Bart의 증류 버전이 존재하며, 이는 이 용도에 완벽합니다.
제로 샷 학습과 소수 샷 학습, 은 대규모 자연어 처리 모델의 탄생과 함께 등장한 최신 기술입니다. (여기에서 소수 샷 학습에 대해 자세히 알아보기). 많은 유연성을 제공하고 자연어 처리를 더욱 인상적으로 만들어줍니다!
제로 샷 분류를 사용해 보시고 마음에 드시는지 확인해 보세요. NLP 클라우드에서 쉽게 사용해 볼 수 있습니다!
François
NLP 클라우드의 풀스택 엔지니어