Обновление Snorkel Flow упрощает использование корпоративных данных с помощью Llama 3, Gemini AI

Snorkel Flow был запущен в марте 2022 года с целью радикально улучшить процесс разработки и внедрения индивидуальных ИИ-решений, позволяя брать данные - структурированные или неструктурированные документы - и автоматически маркировать, аннотировать и организовывать их, чтобы сделать полезными в качестве источника истины и информации для своих ИИ-приложений и сервисов.«Предприятия упираются в стену в том, чего они могут достичь с помощью готовых LLM, которые были обучены в публичном интернете для общего использования», - сказал Алекс Ратнер, соучредитель и генеральный директор Snorkel AI, в интервью VentureBeat по видеосвязи, состоявшемся вчера в преддверии анонса. «Они не были адаптированы для использования [предприятиями], их наборов данных, их настроек. Вот тут-то мы и приходим с нашей платформой Snorkel Flow для маркировки данных и их разработки, причем делаем это радикально эффективнее».

Например, если ваша компания хочет создать чат-бот для сотрудников, отвечающий на их вопросы о внутренней политике и праздниках компании, Snorkel Flow может обеспечить соответствующую маркировку этих документов, чтобы чат-бот мог найти их и извлечь нужную информацию, когда его спросят. Или, если вы хотите создать чат-бот для обслуживания клиентов, который понимает, когда клиент упоминает конкретное название продукта, Snorkel Flow поможет вам настроить модель так, чтобы она понимала, что это название относится к конкретному SKU.По словам Ратнера, специализация компании - «разработка данных для ИИ», которая включает в себя «не только маркировку, но и кураторство, выбор правильных данных, фильтрацию высококачественных данных, выбор правильного сочетания данных, возможно, дополнение их синтетическими данными - все эти действия по разработке данных, которые позволяют получить тонкий набор данных для настройки моделей [ИИ]».

«Все поставщики платформ, облачных решений анонсируют API для настройки моделей, но они не помогают вам подготовить данные для загрузки в API, что является самой сложной частью», - добавил Ратнер.

На момент запуска Snorkel Flow включала такие функции, как программная маркировка данных и совместная разработка ИИ, которые были приняты на вооружение такими крупными предприятиями, как Memorial Sloan Kettering Cancer Center и Chubb, чтобы повысить точность моделей ИИ и эффективность разработки в 10-100 раз, по данным Snorkel. Семь из 10 крупнейших американских банков являются клиентами компании, и, по словам Ратнера, они смогли помочь некоторым из них автоматически маркировать данные для соответствия нормативным требованиям, сократив время, затрачиваемое на ручную маркировку, с «шести месяцев до 24 часов».

«По мере распространения базовых LLM, включая мощные варианты с открытым исходным кодом, такие как Llama 3, скорость и точность, с которой данные постоянно маркируются и курируются для тонкой настройки и выравнивания LLM, становится ключевым отличительным фактором», - добавил Ратнер в пресс-релизе, присланном в VentureBeat.