Самое большое препятствие для ИИ? Надежность данных. Новая платформа астронома решает эту проблему

Новая платформа призвана помочь организациям более эффективно контролировать и устранять неполадки в рабочих процессах данных, объединяя возможности оркестровки и наблюдения в одном решении. Такое объединение может значительно снизить сложность, с которой сталкиваются многие компании при управлении своей инфраструктурой данных.

Почему частные вычисления должны быть частью вашей стратегии ИИ - AI Impact Tour 2024Почему частные вычисления должны быть частью вашей стратегии ИИ - AI Impact Tour 2024

«Раньше нашим клиентам приходилось обращаться к нам за конвейерами данных оркестровки, и им приходилось искать другого поставщика наблюдаемости данных и наблюдаемости воздушного потока», - сказал Джулиан ЛаНеве, технический директор Astronomer, в интервью VentureBeat. «Мы пытаемся значительно упростить это для наших клиентов и предоставить им все на одной платформе».

Прогностическая аналитика на основе ИИ направлена ​​на предотвращение сбоев конвейеров

Ключевым отличием Astro Observe является его способность предсказывать потенциальные сбои конвейеров до того, как они повлияют на бизнес-операции. Платформа включает в себя «движок аналитики» на основе ИИ, который анализирует закономерности в сотнях развертываний клиентов, чтобы предоставлять проактивные рекомендации по оптимизации.

«Мы фактически скажем людям за два часа до того, как SLA будет выполнено, что они, скорее всего, пропустят его, потому что была некоторая задержка далеко вверх по течению», — объяснил ЛаНеве. «Это переводит людей из этого очень реактивного мира в гораздо более проактивный [подход], где вы можете начать решать проблемы до того, как об этом узнают заинтересованные стороны ниже по течению».

Время особенно важно, поскольку организации борются с операционализацией моделей ИИ. Хотя много внимания уделяется разработке моделей, проблема поддержания надежных конвейеров данных для подачи этих моделей становится все более важной.

«В конечном счете, чтобы перевести эти варианты использования ИИ от прототипа к производству, в конце дня это становится проблемой инженерии данных», — отметил ЛаНеве. «Как эффективно снабжать этих LLM правильными данными вовремя каждый раз? Это то, чем инженеры данных занимаются уже много лет».

Astronomer переходит от успеха с открытым исходным кодом к управлению корпоративными данными

Платформа основана на глубоком опыте Astronomer в работе с Apache Airflow, платформой управления рабочими процессами с открытым исходным кодом, которую ежемесячно загружали более 30 миллионов раз. Это представляет собой значительный рост по сравнению с четырьмя годами ранее, когда Airflow 2.0 было загружено менее миллиона раз.

Одной из примечательных особенностей является «глобальный график цепочки поставок», который обеспечивает наглядность как происхождения данных, так и операционных зависимостей. Это помогает командам понимать сложные взаимосвязи между различными активами данных и рабочими процессами, что имеет решающее значение для поддержания надежности в крупномасштабных развертываниях.

Платформа также представляет концепцию «продукта данных», позволяя командам группировать связанные активы данных и назначать соглашения об уровне обслуживания (SLA). Такой подход помогает сократить разрыв между техническими группами и заинтересованными сторонами бизнеса, предоставляя четкие показатели надежности и доставки данных.

Конкуренция на рынке усиливается по мере консолидации корпоративных инструментов

Первопроходец GumGum, компания контекстной аналитики, уже увидела преимущества платформы. «Добавление возможности наблюдения за данными вместе с оркестровкой позволяет нам предвосхищать проблемы до того, как они повлияют на пользователей и нижестоящие системы», — сказал Брендан Фрик, старший инженер-менеджер GumGum.

Расширение Astronomer происходит в то время, когда предприятия все чаще стремятся консолидировать свои инструменты для работы с данными. Поскольку организации обычно жонглируют восемью или более инструментами от разных поставщиков, переход к унифицированным платформам может означать более масштабный сдвиг в ландшафте управления корпоративными данными.

Задача Astronomer будет заключаться в конкуренции с устоявшимися игроками в области наблюдения, сохраняя при этом лидерство в области оркестровки. Однако его глубокая интеграция с Airflow и фокус на проактивном управлении могут дать ему преимущество на быстро развивающемся рынке инструментов инфраструктуры ИИ.