Поставщик векторной базы данных с открытым исходным кодом сокращает расходы на корпоративный ИИ с помощью облачного обновления

Время особенно актуально, учитывая взрывной рост внедрения векторных баз данных с конца 2022 года, когда ChatGPT от OpenAI стимулировал широкий интерес к приложениям ИИ. Новые функции специально нацелены на предприятия, которые борются с растущими размерами развертывания и сложностью управления векторными базами данных в производственных средах. Всего за два года масштабы развертывания выросли с миллионов до миллиардов векторов. Самая крупная реализация Zilliz теперь управляет 100 миллиардами векторов. Теперь технология развернута в различных вариантах использования, включая мультимодальные приложения, системы рекомендаций, автономное вождение, обнаружение наркотиков, обнаружение мошенничества и кибербезопасность.

«За последние два года мы определенно увидели, что векторные базы данных переходят от передовой технологии к более распространенной технологии», — сказал VentureBeat Чарльз Кси, основатель и генеральный директор Zilliz.

Дифференциация корпоративных векторных баз данных ИИ на переполненном рынке

В 2024 году технология векторных баз данных стала ставкой на стол для развертывания корпоративного ИИ. Почти у каждого поставщика баз данных есть какая-то форма векторной реализации, включая Oracle, Microsoft, Google, DataStax и MongoDB среди прочих.

Однако Milvus немного отличается тем, что это специально созданная векторная база данных. В этой категории конкуренцию составляют такие поставщики, как Pinecone. Хотя, безусловно, есть и другие технологии векторных баз данных с открытым исходным кодом, Milvus имеет несколько уникальное отличие, будучи единственным, кто является частью усилий Linux Foundation LF AI & DATA.

Размещение Milvus в рамках Linux Foundation AI & Data Foundation позволило ему получать вклады от широкой экосистемы участвующих учреждений и организаций. Се отметил, что среди организаций, которые внесли код в проект Milvus с открытым исходным кодом, есть IBM, Nvidia, Apple, Salesforce и Intel.

По словам Се, сочетание наличия основы с открытым исходным кодом, собственной направленности на векторную базу данных и, что наиболее важно, наличия специализированных функций помогает выделить технологию его компании на переполненном рынке. Xie утверждает, что сосредоточенность исключительно на технологии векторных баз данных позволяет ей предоставлять более комплексные и оптимизированные решения, чем поставщикам, которые включают вектор как просто еще один тип данных.

Эта специализация позволила Zilliz разрабатывать функции, специально адаптированные к потребностям корпоративного векторного поиска, включая возможности соответствия, безопасности и высокой доступности, которые требуются в производственных средах.

Как Zilliz улучшает свою векторную базу данных для производственных нужд корпоративного ИИ

Предложение Zilliz Cloud создано на основе базы данных Milvus с открытым исходным кодом. Предложение предоставляет управляющую службу для базы данных, что упрощает ее использование организациями.

В рамках последнего обновления Zilliz Cloud компания добавила автоматизированную систему индексации, которая устраняет необходимость ручной настройки параметров. Новая функция автоматически выбирает оптимальные алгоритмы индексации для обеспечения наилучшей производительности, без необходимости ручной настройки индексов пользователем.

«Вы получаете наилучшую производительность прямо из коробки», — сказал Xie.

Функция автоматической индексации является частью усилий Zilix Cloud по предоставлению «автономного режима вождения» для векторных баз данных с использованием алгоритмов машинного обучения для оптимизации производительности за кулисами. Это помогает снизить общую стоимость владения для клиентов, поскольку им не нужно тратить время и ресурсы на ручную настройку индекса.

Оптимизация алгоритмов помогает улучшить определенные варианты использования Enterprise AI

Двигаясь на шаг дальше, Zilliz теперь также интегрирует оптимизатор алгоритмов.

Оптимизация работает с IVF (инвертированным файлом), а также с алгоритмами поиска векторов на основе графов. Распределение памяти, а также производительность вычислений также оптимизированы для быстрого выполнения, что, по утверждениям компании, обеспечивает до 3-кратного ускорения по сравнению с неоптимизированными реализациями

Оптимизатор алгоритмов работает в различных вариантах использования, независимо от того, использует ли организация систему поиска документов, рекомендательную систему, систему обнаружения мошенничества или любое другое приложение на основе векторов.

Инновации в области гибридного поиска и хранения помогают снизить стоимость искусственного интеллекта предприятия

В новой версии также представлена ​​функциональность гибридного поиска, объединяющая поиск по сходству векторов с традиционным поиском по ключевым словам в одной системе.

Интеграция позволяет компаниям консолидировать свою инфраструктуру поиска и снизить сложность эксплуатации. Сье объяснил, что компонент поиска по ключевым словам использует стандартный алгоритм BM25, а также разреженный индекс.

Чтобы справиться с растущими расходами на хранение, Zilliz внедрила иерархическую систему хранения, которая делает ее обслуживание более экономичным, чем традиционные векторные базы данных в памяти. Многоуровневая иерархия хранения позволяет хранить большинство данных на локальных дисках и в объектном хранилище, что делает его дешевле, чем чистое решение в памяти, по словам Сье.