Tokenisierung und Lemmatisierung API, basierend auf spaCy

Was ist Tokenisierung?

Bei der Tokenisierung geht es darum, einen Text in kleinere Einheiten, so genannte Token, zu zerlegen. Token sind unterschiedliche Dinge, je nachdem, welche Art von Tokenizer Sie verwenden. Ein Token kann entweder ein Wort, ein Zeichen oder ein Unterwort sein (zum Beispiel im englischen Wort "higher", gibt es 2 Unterbegriffe: "high" und "er"). Satzzeichen wie "!", "." und ";" können ebenfalls Token sein.

Die Tokenisierung ist ein grundlegender Schritt in jedem Vorgang der Verarbeitung natürlicher Sprache. Angesichts der verschiedenen Sprachstrukturen ist die Tokenisierung in jeder Sprache anders.

Was ist Lemmatisierung?

Bei der Lemmatisierung geht es darum, die Grundform eines Wortes zu extrahieren (typischerweise die Art von Arbeit, die Sie in einem Wörterbuch finden). Zum Beispiel wäre das Lemma von "Apfel" immer noch "Apfel", aber das Lemma von "ist" wäre "sein".

Die Lemmatisierung ist ebenso wie die Tokenisierung ein grundlegender Schritt in jedem Vorgang der Verarbeitung natürlicher Sprache. Angesichts der verschiedenen Sprachstrukturen ist die Lemmatisierung in jeder Sprache anders.

Tokenisierung

Warum Tokenisierung und Lemmatisierung?

In der Regel werden Tokenisierung und Lemmatisierung nicht allein verwendet, sondern als erster Schritt in einer Pipeline zur Verarbeitung natürlicher Sprache. Die Tokenisierung ist oft ein kostspieliger Vorgang, der sich erheblich auf die Leistung eines Modells zur Verarbeitung natürlicher Sprache auswirken kann, daher ist die Wahl des Tokenizers wichtig.

NLP Cloud's Tokenisierung und Lemmatisierung API

NLP Cloud bietet eine Tokenisierungs- und Lemmatisierungs-API, mit der Sie Tokenisierung und Lemmatisierung auf der Grundlage von spaCy und GiNZA mit hervorragender Leistung sofort durchführen können. Tokenisierung und Lemmatisierung sind nicht sehr ressourcenintensiv, so dass die Antwortzeit (Latenz) bei der Durchführung über die NLP Cloud API sehr gering ist. Sie können dies in 15 verschiedenen Sprachen tun.

Weitere Einzelheiten finden Sie in unserer Dokumentation über Tokenisierung und Lemmatisierung hier.

Versuchen Sie Tokenisierung/Lemmatisierung
umsonst

Häufig gestellte Fragen

Was ist Tokenisierung und warum ist sie in der Textanalyse wichtig?

Unter Tokenisierung versteht man die Zerlegung von Text in kleinere Einheiten wie Wörter, Phrasen oder Symbole, die als Token bezeichnet werden. Sie ist in der Textanalyse von entscheidender Bedeutung, um Daten zu strukturieren, eine genauere Analyse zu ermöglichen und Aufgaben wie Stimmungsanalyse und Themenmodellierung zu erleichtern.

Wie unterscheidet sich die Lemmatisierung vom Stemming, und warum sollte ich das eine dem anderen vorziehen?

Bei der Lemmatisierung wird ein Wort unter Berücksichtigung seiner Bedeutung und Wortart auf seine Grund- oder Wörterbuchform reduziert, während beim Stemming einfach Präfixe und Suffixe ohne Berücksichtigung des Kontexts entfernt werden. Sie können die Lemmatisierung für Aufgaben wählen, die eine hohe linguistische Genauigkeit erfordern, wie z. B. die Stimmungsanalyse, und das Stemming für eine schnellere Verarbeitung in Anwendungen, bei denen perfekte Genauigkeit weniger wichtig ist.

Was ist SpaCy?

spaCy ist eine Open-Source-Softwarebibliothek für fortgeschrittene natürliche Sprachverarbeitung (NLP), die speziell für den Einsatz in der Produktion entwickelt wurde. Sie bietet vorab trainierte statistische Modelle und Wortvektoren und unterstützt neben anderen NLP-Funktionen auch Tokenisierung, Named Entity Recognition, Part of Speech Tagging und Dependency Parsing.

Was ist GiNZA?

GiNZA ist eine Open-Source-NLP-Bibliothek (Natural Language Processing) für Japanisch, die auf spaCy aufbaut. Sie bietet erweiterte NLP-Funktionen wie Tokenisierung, Lemmatisierung und Named Entity Recognition, die speziell auf die japanische Sprache zugeschnitten sind.

Welche Sprachen oder Gebietsschemata werden für diese Tokenisierungs-/Lemmatisierungs-API unterstützt?

Unsere auf spaCy und GiNZA basierende Tokenisierungs-/Lemmatisierungs-API unterstützt 15 Sprachen

Kann ich die Tokenisierungs-/Lemmatisierungs-API kostenlos testen?

Ja, wie alle API-Endpunkte der NLP Cloud kann auch die Tokenisierungs-/Lemmatisierungs-API kostenlos getestet werden.

Wie behandelt Ihre KI-API den Datenschutz und die Sicherheit während des Tokenisierungs-/Lemmatisierungsprozesses?

NLP Cloud konzentriert sich auf den Datenschutz: wir protokollieren oder speichern den Inhalt der Anfragen, die Sie an unsere API stellen, nicht. NLP Cloud ist sowohl mit dem HIPAA als auch mit der GDPR konform.