API rozpoznawania nazwanych jednostek (NER) z generatywną sztuczną inteligencją

Czym jest NER?

NER to skrót od Named Entity Recognition. Jest to podzadanie, które obejmuje identyfikację i klasyfikację nazwanych jednostek w tekście do predefiniowanych kategorii, takich jak nazwy osób, organizacji, lokalizacji, wyrażenia czasu, ilości, wartości pieniężnych, procentów itp.

Modele generatywne, takie jak GPT-5, GPT-OSS 120B, LLaMA 3, Yi 34B lub Mixtral 8x7B, bardzo dobrze radzą sobie z ekstrakcją encji.

NER ma kluczowe znaczenie dla wielu aplikacji NLP, takich jak odpowiadanie na pytania, streszczanie tekstu i tłumaczenie maszynowe, ponieważ dostarcza szczegółowych informacji o kluczowych elementach tekstu, umożliwiając głębsze zrozumienie i przetwarzanie. Na przykład wiedza o tym, że "Paryż" odnosi się do lokalizacji w danym tekście, może znacząco wpłynąć na interpretację tego tekstu i odpowiedź wygenerowaną przez system NLP.

Załóżmy, że masz następujące zdanie:

John Doe jest programistą w Google.

Chciałbyś automatycznie wykryć, że "John Doe" to imię i nazwisko, "web developer" to stanowisko, a "Google" to firma. I to jest dokładnie to, co NER zamierza zrobić.

Adnotacja NER

Niektóre przypadki użycia ekstrakcji jednostek

Świat jest pełen nieustrukturyzowanych danych, zwłaszcza sieć. Możliwość wyodrębnienia z nich ustrukturyzowanych informacji może zapewnić dostęp do wielu cennych informacji. Oto kilka przykładów.

Sortowanie żądań klientów

W przypadku obsługi wielu zapytań klientów (wsparcie, sprzedaż, ...) zdecydowanie pomocne jest zastosowanie NER w celu automatycznego sortowania przychodzących zapytań. Na przykład można automatycznie wyodrębnić typ produktu wymieniony w żądaniu i odpowiednio skierować go do właściwej usługi.

Wyodrębnianie danych finansowych

Wyodrębnianie i konsolidacja danych finansowych może być długa i żmudna. NER może zdecydowanie zwiększyć produktywność, pomagając wyodrębnić odpowiednie dane w ciągu sekundy.

Wstępne przetwarzanie CV/aplikacji

Służby HR mają czasami trudności z czytaniem tych wszystkich aplikacji. Interesujące może być dla nich automatyczne podświetlanie interesujących elementów, takich jak nazwy firm, umiejętności... w celu zaoszczędzenia czasu.

Wyciąganie potencjalnych klientów

Wiele leadów B2B można znaleźć na publicznych stronach internetowych lub w broszurach firmowych, ale ich ręczne wyodrębnianie może być czasami uciążliwe. Dzięki NER można automatycznie wyodrębnić osobę, jej stanowisko i firmę, jeśli istnieją.

NLP Cloud's NER API

NLP Cloud proponuje interfejs API do ekstrakcji encji, który umożliwia wykonywanie rozpoznawania nazwanych encji po wyjęciu z pudełka, w oparciu o spaCy, Ginza lub bardziej zaawansowane generatywne modele sztucznej inteligencji równoważne GPT-5 lub GPT-4, takie jak GPT-OSS 120B, LLaMA 3, Dolphin, Yi 34B, Mixtral 8x7B i inne. W przypadku zaawansowanej ekstrakcji encji na określonych dokumentach zalecamy dostrojenie własnych modeli generatywnych dla NER w NLP Cloud.

Aby uzyskać więcej informacji, zapoznaj się z naszą dokumentacją dotyczącą ekstrakcji encji tutaj. Aby uzyskać zaawansowane informacje, zobacz punkt końcowy API generowania tekstu tutaj. Łatwe testowanie ekstrakcji jednostek na naszym placu zabaw.

Lokalne testowanie NER to jedno, ale niezawodne korzystanie z niego w produkcji to zupełnie inna sprawa. Dzięki NLP Cloud możesz zrobić jedno i drugie!

Wypróbuj NER
za darmo

Często zadawane pytania

Czym jest rozpoznawanie nazwanych jednostek (NER)?

Named Entity Recognition (NER) to podzadanie ekstrakcji informacji, które identyfikuje i klasyfikuje nazwane jednostki w tekście do predefiniowanych kategorii, takich jak nazwy osób, organizacji, lokalizacji, wyrażenia czasu, ilości, wartości pieniężnych, procentów itp. Jest to podstawowa technika przetwarzania języka naturalnego (NLP) wykorzystywana do wyszukiwania informacji, systemów odpowiadania na pytania i ekstrakcji wiedzy.

Jakie są typowe kategorie używane w NER?

Powszechne kategorie używane w rozpoznawaniu jednostek nazwanych (NER) obejmują nazwy osób, organizacji, lokalizacji, dat, godzin, wartości pieniężnych, procentów i ilości. Kategorie te pomagają w identyfikacji i klasyfikacji kluczowych elementów w tekście w celu ekstrakcji i analizy informacji.

Jak nowoczesne systemy NER radzą sobie z niejednoznacznościami językowymi i złożonymi strukturami?

Nowoczesne systemy Named Entity Recognition (NER) wykorzystują zaawansowane algorytmy uczenia maszynowego, w szczególności architektury głębokiego uczenia, takie jak rekurencyjne sieci neuronowe (RNN) i transformatory, do analizy kontekstu i relacji semantycznych w tekście, umożliwiając im zarządzanie niejednoznacznościami i złożonymi strukturami językowymi. Wykorzystują one ogromne ilości adnotowanych danych szkoleniowych i wstępnie wytrenowanych modeli językowych, aby dokładnie przewidywać jednostki nawet w przypadku niejednoznacznych lub skomplikowanych konstrukcji.

Czy systemy NER mogą rozpoznawać nowe lub nieznane jednostki?

Systemy NER (Named Entity Recognition) przede wszystkim rozpoznają jednostki, na których zostały przeszkolone, ale ich zdolność do rozpoznawania nowych lub nieznanych jednostek zależy od ogólności ich danych szkoleniowych i zdolności adaptacyjnych ich algorytmów. Niektóre zaawansowane systemy, zwłaszcza te wykorzystujące głębokie uczenie się i rozumienie kontekstowe, mogą wnioskować lub generalizować w celu identyfikacji wcześniej niewidocznych podmiotów poprzez uczenie się z kontekstu, w którym się pojawiają. W NLP Cloud możesz doskonale rozpoznawać nowe lub nieznane podmioty!

Jakie języki obsługuje API AI do ekstrakcji encji?

Obsługujemy ekstrakcję encji w 100 językach

Jak szybko interfejs API AI zwraca jednostki?

Zależy to od rozmiaru tekstu i używanego modelu sztucznej inteligencji. Ogólnie czas reakcji wynosi około kilku sekund.

Jak ocenić dokładność NER?

Aby ocenić dokładność systemu rozpoznawania nazwanych jednostek (NER), zwykle używa się precyzji, przywołania i wyniku F1 opartego na wynikach prawdziwie pozytywnych, fałszywie pozytywnych i fałszywie negatywnych. Metryki te porównują wyniki systemu z ręcznie adnotowanym złotym standardem lub prawdą podstawową, aby określić, jak dobrze system identyfikuje i klasyfikuje nazwane jednostki.

Czy mogę wypróbować NER API za darmo?

Tak, podobnie jak wszystkie modele w NLP Cloud, punkt końcowy NER API można przetestować za darmo

W jaki sposób interfejs API sztucznej inteligencji obsługuje prywatność i bezpieczeństwo danych podczas procesu wyodrębniania jednostek?

NLP Cloud koncentruje się na prywatności danych: nie rejestrujemy ani nie przechowujemy treści żądań wysyłanych przez nasze API. NLP Cloud jest zgodna zarówno z HIPAA, jak i RODO.