Patronus AI запускает первый в мире API с самообслуживанием, чтобы остановить галлюцинации ИИ

Медицинский бот дает опасные медицинские советы. Эти галлюцинации ИИ, которые когда-то считались забавными причудами, стали проблемами на миллионы долларов для компаний, спешащих внедрить искусственный интеллект.

Сегодня Patronus AI, стартап из Сан-Франциско, который недавно получил 17 миллионов долларов в рамках финансирования серии A, запустил то, что он называет первой платформой самообслуживания для обнаружения и предотвращения сбоев ИИ в режиме реального времени. Представьте себе это как сложную проверку орфографии для систем ИИ, которая выявляет ошибки до того, как они дойдут до пользователей.Внутри защитной сети ИИ: как это работает

«Многие компании борются со сбоями ИИ в производстве, сталкиваясь с такими проблемами, как галлюцинации, уязвимости безопасности и непредсказуемое поведение», — сказал Ананд Каннаппан, генеральный директор Patronus AI, в интервью VentureBeat. Ставки высоки: недавние исследования компании показали, что ведущие модели ИИ, такие как GPT-4, воспроизводят защищенный авторским правом контент в 44% случаев по запросу, в то время как даже продвинутые модели генерируют небезопасные ответы в более чем 20% базовых тестов безопасности.

Время не может быть более важным. Поскольку компании спешат внедрить генеративные возможности ИИ — от чат-ботов обслуживания клиентов до систем генерации контента — они обнаруживают, что существующие меры безопасности не оправдывают ожиданий. Текущие инструменты оценки, такие как LlamaGuard от Meta, показывают точность ниже 50%, что делает их ненамного лучше подбрасывания монеты.

Решение Patronus AI представляет несколько инноваций, которые могут изменить то, как компании внедряют ИИ. Возможно, наиболее значимой является функция «судейских оценщиков», которая позволяет компаниям создавать собственные правила на простом английском языке.

«Вы можете настроить оценку, чтобы она точно соответствовала потребностям вашего продукта», — сказал VentureBeat Варун Джоши, руководитель отдела продуктов Patronus AI. «Мы позволяем клиентам писать на английском языке то, что они хотят оценить и проверить». Компания, предоставляющая финансовые услуги, может указать правила соответствия нормативным требованиям, в то время как поставщик медицинских услуг может сосредоточиться на конфиденциальности пациентов и медицинской точности.

От обнаружения к профилактике: технический прорыв

Краеугольным камнем системы является Lynx, прорывная модель обнаружения галлюцинаций, которая превосходит GPT-4 на 8,3% в обнаружении медицинских неточностей. Платформа работает на двух скоростях: версия с быстрым откликом для мониторинга в реальном времени и более полная версия для более глубокого анализа. «Маленькие версии можно использовать для ограждений в реальном времени, а большие могут больше подходить для офлайн-анализа», — сказал VentureBeat Джоши.

Помимо традиционной проверки на ошибки, компания разработала специализированные инструменты, такие как CopyrightCatcher, который определяет, когда системы ИИ воспроизводят защищенный контент, и FinanceBench, первый в отрасли бенчмарк для оценки производительности ИИ в финансовых вопросах. Эти инструменты работают совместно с Lynx, обеспечивая комплексное покрытие сбоев ИИ.