Многоязычные вкрапления Voyage AI повышают эффективность Cortex AI от Snowflake для улучшения корпоративного RAG

Именно модель встраивания, по сути, переводит различные типы контента в векторы, где они могут быть поняты и использованы подходами AI и RAG. В свое время OpenAI доминировал в области встраивания со своей моделью ada embeddings, но некоторые предприятия со временем поняли, что она недостаточно специфична для их конкретных случаев использования. Именно здесь Voyage AI вписывается в рынок.Сегодня стартап объявил о привлечении финансирования в размере 20 миллионов долларов в рамках серии А, чтобы продвинуть разработку своих моделей встраивания и извлечения информации для корпоративных приложений RAG AI. Среди спонсоров компании - поставщик облачных данных Snowflake, который также намерен интегрировать модели Voyage AI в свой сервис Cortex AI. В частности, ИИ Voyage приземлится в поисковом сервисе Cortex AI, который основан на технологии, полученной в результате приобретения Snowflake поставщика ИИ-поиска Neeva.

Миссия Voyage AI заключается в том, чтобы сделать корпоративный RAG лучше. У компании есть многоязычная модель встраивания, которая поддерживает 27 языков с высокой степенью точности.

«По сути, мы делаем RAG лучше, улучшая качество поиска», - рассказал VentureBeat Тенгю Ма, основатель и генеральный директор Voyage AI. «Когда у вас есть больше релевантных документов, ответ становится лучше, потому что если у вас нет релевантных документов, то большая языковая модель будет галлюцинировать».Модели встраивания не являются чем-то новым и представляют собой основополагающий элемент обучения больших языковых моделей (LLM) и развертывания RAG.

Ма пояснил, что Voyage AI занимается созданием моделей встраивания и реранкинга для улучшения качества поиска. По словам Ма, когда речь идет о RAG, где требуется конкретная информация о домене или предприятии, существующих подходов, в частности подхода OpenAI, недостаточно.

«Я думаю, люди понимают, что сейчас ada от OpenAI недостаточно хороша, потому что когда вы предъявляете все более высокие требования к точности, она становится недостаточно точной», - сказал Ма. «Поэтому мы делаем вставки с большей точностью и пониманием сложных концепций».

Он пояснил, что для повышения точности Voyage AI использует ряд передовых технологий. Voyage AI оптимизирует каждую часть конвейера обучения. Это включает в себя сбор и фильтрацию данных. Ма также отметил, что его компания обучает свои модели для различных специфических областей, таких как кодирование, финансы и юридические случаи.

«Это позволяет нам добиться еще более высокой производительности для конкретной области», - сказал он.Обучение часто представляет собой особенно сложную проблему, поскольку большинство данных не имеют меток.

Чтобы извлечь пользу из неразмеченных данных для предприятия, Voyage AI использует для обучения своих моделей технику, называемую контрастным обучением. Ма объяснил, что контрастное обучение отличается от типичного подхода «предсказания следующего слова», который используется для некоторых операций обучения. При подходе «предсказание следующего слова» модель предсказывает, какое слово или слова должны следовать за другим словом или фразой, основываясь на закономерностях. Контрастивное обучение идет по другому пути.

«Вы создаете так называемые контрастные пары из немаркированных данных и используете их для обучения модели», - говорит Ма.Для Snowflake поддержка Voyage AI и интеграция его в свои сервисы Cortex AI - это все, чтобы сделать AI более полезным для корпоративных пользователей.

«Каждый поставщик пытается создать какую-то систему RAG, и мы придерживаемся такой точки зрения: вы указываете нам на данные, вы можете разговаривать с ними, и независимо от того, структурированные они или неструктурированные, они будут просто работать», - сказал Вивек Рагхунатан, SVP по инженерным вопросам в Snowflake, в интервью VentureBeat.

Рагхунатан добавил, что в Snowflake рады моделям Voyage AI, поскольку они предоставляют клиентам Snowflake улучшенные и расширенные возможности, в том числе многоязычные. Он также отметил, что Voyage AI предоставляет более длинные контекстные окна, что также поможет улучшить корпоративные сценарии использования.

У Snowflake уже есть своя модель встраивания в Арктику, которая в настоящее время часто используется по умолчанию. Модели Voyage AI станут дополнительной альтернативой для пользователей.

«Подумайте о границе Парето между эффективностью и качеством. Наши модели, как правило, ориентированы на определенный размер», - говорит Рагхунатан. «Модели Voyage AI гораздо более высокого качества для действительно сложных случаев использования».