Tokenisering och lemmatisering API, baserat på spaCy

Vad är Tokenization?

Tokenisering handlar om att dela upp en text i mindre enheter som kallas tokens. Tokens är olika saker beroende på vilken typ av tokenizer du använder. En token kan antingen vara ett ord, ett tecken eller ett underord (t.ex. i det engelska ordet "higher", Det finns 2 underordnade ord: "high" och "er"). Skiljetecken som "!", "." och ";" kan också vara symboler.

Tokenisering är ett grundläggande steg i all bearbetning av naturligt språk. Med tanke på de olika språkstrukturer som finns skiljer sig tokeniseringen åt mellan olika språk.

Vad är lemmatisering?

Lemmatisering handlar om att extrahera grundformen av ett ord (vanligtvis den typ av arbete som du kan hitta i en ordlista). Till exempel skulle lemmat för "äpple" fortfarande vara "äpple" men lemmat för "är" skulle vara "vara".

Lemmatisering är, precis som tokenisering, ett grundläggande steg i all bearbetning av naturligt språk. Med tanke på de olika språkstrukturer som finns skiljer sig lemmatiseringen åt mellan olika språk.

Tokenisering

Varför använda tokenisering och lemmatisering?

Vanligtvis använder man inte tokenisering och lemmatisering ensamma, utan som ett första steg i en pipeline för bearbetning av naturligt språk. Tokenisering är ofta en kostsam operation som kan påverka prestandan hos en modell för naturlig språkbehandling avsevärt, så valet av tokenizer är viktigt.

NLP Clouds API för tokenisering och lemmatisering

NLP Cloud erbjuder ett API för tokenisering och lemmatisering som gör att du kan utföra tokenisering och lemmatisering direkt, baserat på spaCy och GiNZA, med utmärkt prestanda. Tokenisering och lemmatisering är inte särskilt resurskrävande, så svarstiden (latensen) när de utförs från NLP Cloud API är mycket låg. Du kan göra det på 15 olika språk.

För mer information, se vår dokumentation om tokenisering och lemmatisering här.

Försök med tokenisering/lemmatisering
gratis

Vanliga frågor och svar

Vad är tokenisering och varför är det viktigt vid textanalys?

Tokenisering är processen att dela upp text i mindre enheter, t.ex. ord, fraser eller symboler, så kallade tokens. Det är avgörande vid textanalys för att strukturera data, möjliggöra mer exakt parsing och underlätta uppgifter som sentimentanalys och ämnesmodellering.

Hur skiljer sig lemmatisering från stemming, och varför skulle jag välja det ena framför det andra?

Lemmatisering innebär att ett ord reduceras till sin grundform eller ordboksform, med hänsyn till dess betydelse och talspråk, medan stemming helt enkelt tar bort prefix och suffix utan att ta hänsyn till sammanhanget. Du kan välja lemmatisering för uppgifter som kräver hög språklig noggrannhet, som sentimentanalys, och stemming för snabbare bearbetning i applikationer där perfekt noggrannhet är mindre viktigt.

Vad är spaCy?

spaCy är ett programvarubibliotek med öppen källkod för avancerad bearbetning av naturligt språk (NLP), särskilt utformat för produktionsanvändning. Det erbjuder förutbildade statistiska modeller och ordvektorer, och stöder tokenisering, named entity recognition, part of speech tagging och dependency parsing bland andra NLP-funktioner.

Vad är GiNZA?

GiNZA är ett NLP-bibliotek (Natural Language Processing) med öppen källkod för japanska, byggt på spaCy. Det innehåller avancerade NLP-funktioner som tokenisering, lemmatisering och igenkänning av namngivna enheter som skräddarsytts specifikt för det japanska språket.

Vilka språk eller språkgrupper stöds för detta API för tokenisering/lemmatisering?

Vårt API för tokenisering/lemmatisering baserat på spaCy och GiNZA stöder 15 språk

Kan jag prova API:et för tokenisering/lemmatisering gratis?

Ja, som alla API-slutpunkter på NLP Cloud kan tokenization / lemmatization API testas gratis.

Hur hanterar ert AI API datasekretess och datasäkerhet under tokeniserings/lemmatiseringsprocessen?

NLP Cloud fokuserar på dataintegritet genom design: vi loggar eller lagrar inte innehållet i de förfrågningar du gör på vårt API. NLP Cloud är både HIPAA- och GDPR-kompatibel.