Stardog's Karaoke предлагает локальное решение LLM с нулевым уровнем галлюцинаций для предприятий

На сегодняшний день компания привлекла 40 миллионов долларов финансирования, а среди ее клиентов числятся государственные учреждения США, включая НАСА и Министерство обороны, а также крупные предприятия Raytheon и Bosch. С наступлением эры генеративного ИИ услуги Stardog становятся все более востребованными.

Теперь компания запускает «Караоке» - инновационный локальный сервер, разработанный совместно с партнерами Nvidia и Supermicro, на котором размещается платформа Voicebox Large Language Model (LLM) от Stardog. Этот вариант Llama 2 корпоративного уровня, публично представленный в октябре 2023 года, позволяет пользователям без какой-либо технической подготовки вводить в Stardog Cloud на своих компьютерах запросы на естественном языке и получать ответы на свои вопросы, используя структурированные данные своей компании.

«Мы говорим о крупных банках, производителях, фармацевтических компаниях, деятельность которых регулируется и которые поэтому не могут легко, а может быть, и никогда не смогут перенести все свои данные в облако», - сказал Кларк в голосовом интервью VentureBeat. Все эти компании нуждаются в искусственном интеллекте, но большинство из них работают в облаке». Karaoke призван заполнить этот пробел и эффективно перенести облако к вам, разместить его рядом с вашими данными, а затем предоставить вам преимущества демократизированного, самостоятельного доступа к данным».Присоединяйтесь к нам, чтобы разобраться в сложностях ответственной интеграции искусственного интеллекта в бизнес на следующей остановке тура VB's AI Impact Tour в Сан-Франциско. Не упустите шанс получить информацию от экспертов отрасли, пообщаться с единомышленниками-новаторами и исследовать будущее GenAI в работе с клиентами и оптимизации бизнес-процессов.Karaoke доступен в различных размерах и конфигурациях - от Micro (один сервер размером с коробку для пиццы) до Enterprise (2304 процессорных ядра), а также в различных промежуточных вариантах. Самый маленький сервер может поддерживать 500 одновременных пользователей, а самая большая модель - 20 000.Слой Voicebox LLM призван эффективно работать в качестве переводчика, принимая вопрос пользователя - скажем, в случае с правительственным агентством «какие торговые операции с евро в прошлом квартале нарушили санкции» - и переводя его на язык науки о данных и программирования, соответствующий запрос JavaScript, Python или SQL, получая информацию из Stardog Knowledge Graph компании.Кроме того, благодаря использованию расширенного графа знаний Stardog и недавно разработанного шаблона проектирования Safety RAG (Rapid Accuracy Guarantee), Voicebox обещает 100% отсутствие галлюцинаций. Кларк рассказал VentureBeat, что благодаря этой реализации корпоративным клиентам больше не придется идти на компромисс с точностью в угоду передовым технологиям.

«Создать систему искусственного интеллекта без галлюцинаций довольно просто», - сказал он. «Нужно только сделать одну вещь: никогда не показывать пользователю ничего, что исходит исключительно от большой языковой модели. Мы никогда не показываем конечному пользователю факт, полученный из большой языковой модели. Мы показываем им только те факты, которые получены из их данных в данный момент».Вместо того чтобы полагаться на LLM для получения данных компании и их обобщения или даже извлечения, LLM-слой Voicebox просто преобразует запросы пользователя на естественном языке в более программные, которые мог бы построить обученный специалист по изучению данных.

Полученный пользователем «ответ» не является ответом LLM (предсказанием токена). Вместо этого это просто то, что появляется, когда переведенная, программная версия запроса обращается к базе данных компании. Если уровень LLM не понимает, какой запрос задает пользователь или какие данные могут помочь ответить на него, он просто говорит ему: «Я не знаю, как ответить на ваш вопрос».

Кроме того, Voicebox предоставляет пользователю цифровой след того, откуда он извлек информацию, с цитатами и ссылками.

Как объяснил Кларк, он показывает «ответ на ваш вопрос, ссылку, по которой вы можете перейти, чтобы открыть источник». Наша платформа имеет возможность отслеживания и отслеживания истории, так что вы можете сами проверить, что это за ответы, чтобы исключить даже возможность сомнения или недоверия к данным».