API семантического поиска для дополненной генерации (RAG)

Что такое семантический поиск?

Семантический поиск - это поиск контента с помощью естественного языка, точно так же, как это делает Google. При использовании семантического поиска вам не нужно искать точные ключевые слова (также известный как поиск по ключевым словам), поскольку искусственный интеллект способен понять ваш запрос и интерпретировать его.

Допустим, вы являетесь реселлером принтеров HP и у вас есть тысячи документов, таких как технические описания принтеров, цены, условия обслуживания... Может быть, вы хотите упростить поиск по этим документам на своем сайте интернет-магазина? Посмотрите, например, эти 3 коротких документа:

Теперь представьте, что один из ваших клиентов задает следующий вопрос на вашем сайте интернет-магазина:

ИИ-модель семантического поиска в мгновение ока выдаст следующее:

Может быть, ваш клиент задал не совсем корректный вопрос? Не беда, такой запрос тоже подойдет:

Как видите, семантический поиск гораздо более совершенен, чем традиционный поиск по ключевым словам, поскольку вы можете задавать вопросы на естественном языке, как это сделал бы человек. Кроме того, ИИ для семантического поиска очень хорошо справляется с функцией дизамбигуации (понимания значения слова благодаря его контексту).

Семантический поиск - очень хорошее решение, когда речь идет о поиске и ответах на вопросы в ваших собственных данных, поскольку он является одновременно и молниеносным, и точным.

Если вам нужно отвечать на вопросы по большому корпусу внутренних знаний о домене, вам может понадобиться система Retrieval Augmented Generation (RAG). В этом случае прочтите нашу специальную статью о RAG: читайте здесь.

Семантический поиск может быть осуществлен путем наполнения векторной базы данных вкраплениями - именно такой подход используют поставщики векторных баз данных, такие как Pinecone или Milvus. Но для достижения максимального времени отклика вы захотите создать собственную модель семантического поиска и развернуть ее на GPU, что мы и делаем в NLP Cloud.

API семантического поиска NLP Cloud

NLP Cloud предлагает API для семантического поиска, который позволяет создать собственную систему семантического поиска на основе ваших бизнес-данных, а затем осуществлять семантический поиск на основе лучших моделей Sentence Transformers.
Время отклика (latency) очень хорошее для этих моделей!

Более подробную информацию можно найти в нашей документации о семантическом поиске здесь.

Одно дело - тестировать семантический поиск локально, а другое - надежно использовать его в производстве. С NLP Cloud вы можете сделать и то, и другое!