Microsoft развивает GitHub Copilot: от автодополнения к асинхронному тестированию кода

Теперь, помимо помощи в написании кода, система позволяет настраивать асинхронное тестирование. Это шаг навстречу бизнесу, который всё активнее внедряет генеративный ИИ в приложения и сервисы. Однако остаётся ключевой вопрос: как оценить эффективность таких решений в реальных условиях?

Согласно исследованию McKinsey, только 27% из 830 опрошенных компаний проверяют все выходные данные своих ИИ-систем перед релизом. Без обратной связи от пользователей сложно понять, работает ли ИИ корректно.

Raindrop: «сторож» для ИИ в реальном времени
Стартап Raindrop (ранее Dawn AI) предлагает решение — первую платформу мониторинга, специально разработанную для отслеживания работы генеративного ИИ в продакшене. Система выявляет ошибки, объясняет их причины и помогает преодолеть проблему «чёрного ящика», характерную для нейросетей.

«Обычное ПО генерирует исключения, а ИИ-продукты ломаются молча», — отмечает сооснователь Raindrop Бен Хайлак. Платформа анализирует взаимодействия пользователей и выводы моделей, обрабатывая сотни миллионов событий ежедневно с шифрованием уровня SOC-2. Raindrop отслеживает сигналы вроде негативных оценок, исправлений или сбоев деплоя, чтобы выявить проблемы.

Технологическая кухня
Raindrop сочетает мощь больших языковых моделей (LLM) для первичной обработки данных с компактными классификаторами для работы в масштабе. Это позволяет адаптировать систему под любые ИИ-продукты — от помощников для программистов до чат-ботов.

«Для каждого приложения мы строим динамическую “карту” ошибок, которая эволюционирует со временем», — поясняет Хайлак. Например, платформа может обнаружить, что ИИ-спутник внезапно начал выдавать себя за человека или генерирует неподходящий контент.

Безопасность и гибкость
Для регулируемых отраслей Raindrop предлагает решение Notify — локальную версию платформы с повышенными стандартами приватности. Данные обрабатываются внутри инфраструктуры заказчика, а уведомления интегрируются в Slack или Teams.

От идеи к продукту
Команда Raindrop (экс-сотрудники Apple, SpaceX) изначально разрабатывала ИИ-инструменты, но столкнулась с нехваткой средств отладки для нейросетей. Это и привело к созданию платформы. Серед первых клиентов — стартапы в области генерации кода и интерактивного сторителлинга.

Тарифы и конкуренция
Стартовый план Raindrop стоит 65вмесяц,Pro−версия—от65вмесяц,Pro−версия—от350. В отличие от классических систем мониторинга, Raindrop фокусируется на особенностях ИИ, что и стало её ключевым преимуществом.