Как начать работу с агентами ИИ (и сделать это правильно)

Но когда компании спешат создать и развернуть, они часто сталкиваются со всеми типичными проблемами, которые возникают при внедрении других технологий. ИИ сложен и требует специальных знаний, а это означает, что некоторые организации быстро лезут из кожи вон.

Фактически, Forrester прогнозирует, что почти три четверти организаций, которые пытаются создать агентов ИИ внутри компании, потерпят неудачу.«Проблема в том, что эти архитектуры запутаны, требуют нескольких моделей, расширенных стеков RAG (поисковая дополненная генерация), расширенных архитектур данных и специализированных знаний», — пишут аналитики Forrester Джайеш Чаурасия и Судха Махешвари.

Так как же предприятия могут выбирать, когда внедрять сторонние модели, инструменты с открытым исходным кодом или создавать собственные, доработанные модели? Эксперты высказывают свое мнение.

Архитектура ИИ гораздо сложнее, чем думают предприятия

Организации, которые пытаются создавать агентов самостоятельно, часто испытывают трудности с поисковой дополненной генерацией (RAG) и векторными базами данных, сказал VentureBeat старший аналитик Forrester Роуэн Карран. Может быть сложно получить точные результаты в ожидаемые сроки, и организации не всегда понимают процесс — или важность — повторного ранжирования, которое помогает гарантировать, что модель работает с данными самого высокого качества.

Например, пользователь может ввести 10 000 документов, а модель может вернуть 100 наиболее релевантных для поставленной задачи, отметил Керран. Но короткие контекстные окна ограничивают то, что можно ввести для повторного ранжирования. Так, например, пользователю-человеку может потребоваться принять решение и выбрать 10 документов, что снизит точность модели.

Керран отметил, что для создания и оптимизации систем RAG может потребоваться от 6 до 8 недель. Например, первая итерация может иметь точность 55% до любой настройки; вторая версия может иметь 70%, а окончательное развертывание в идеале приблизится к 100%.

Разработчики должны иметь понимание доступности данных (и качества) и того, как повторно ранжировать, итерировать, оценивать и обосновывать модель (то есть сопоставлять выходные данные модели с соответствующими, проверяемыми источниками). Кроме того, повышение или понижение температуры определяет, насколько креативной будет модель, но некоторые организации «действительно ограничены» в плане креативности, что ограничивает возможности, сказал Керран.

«Существовало мнение, что есть простая кнопка для всего этого», — отметил он. «На самом деле ее просто нет».

Для создания систем ИИ требуется много человеческих усилий, сказал Курран, подчеркнув важность тестирования, проверки и постоянной поддержки. Все это требует выделенных ресурсов.

«Успешное развертывание агента ИИ может быть сложным», — согласился Навин Рао, вице-президент по ИИ в Databricks, основатель и бывший генеральный директор MosaicAI. Предприятиям нужен доступ к различным большим языковым моделям (LLM), а также возможность управлять и контролировать не только агенты и модели, но и базовые данные и инструменты. «Это непростая проблема, и со временем будет все более пристальное внимание к тому, к каким данным и как обращаются системы ИИ».

Факторы, которые следует учитывать при изучении агентов ИИ

При рассмотрении вариантов развертывания агентов ИИ — сторонних, с открытым исходным кодом или пользовательских — предприятиям следует придерживаться контролируемого тактического подхода, советуют эксперты.

Начните с рассмотрения нескольких важных вопросов и факторов, рекомендует Андреас Уэлш, основатель и главный стратег ИИ в консалтинговой компании Intelligence Briefing. К ним относятся:

Где ваша команда проводит большую часть своего времени?

Какие задачи или этапы этого процесса занимают больше всего времени?

Насколько сложны эти задачи? Они связаны с ИТ-системами и доступными данными?

Что позволит вашему предприятию сделать более быстрым или более экономичным? И можете ли вы (и как) измерить контрольные показатели?

Также важно учитывать существующие лицензии и подписки, отметил Уэлш. Поговорите с представителями по продажам программного обеспечения, чтобы понять, есть ли у вашего предприятия уже доступ к возможностям агента, и если да, что потребуется для их использования (например, надстройки или подписки более высокого уровня).

Отсюда ищите возможности в одной бизнес-функции. Например: «Где ваша команда тратит время на несколько ручных этапов, которые нельзя описать в коде?» Позже, при изучении агентов, узнайте об их потенциале и «отсортируйте» любые пробелы.

Кроме того, обязательно дайте возможность и обучите команды, показав им, как агенты могут помочь в их работе. «И не бойтесь также упоминать об ограничениях агентов», — сказал Уэлш. «Это поможет вам управлять ожиданиями».

Разрабатывайте стратегию, используйте кросс-функциональный подход

При разработке стратегии корпоративного ИИ важно использовать кросс-функциональный подход, подчеркнул Карран. Успешные организации вовлекают в этот процесс несколько отделов, включая руководство бизнеса, команды по разработке программного обеспечения и науке о данных, менеджеров по пользовательскому опыту и других.

Создайте дорожную карту на основе основных принципов и задач бизнеса, посоветовал он. «Каковы наши цели как организации и как ИИ позволит нам достичь этих целей?»

Это может быть сложно, без сомнения, потому что технологии развиваются очень быстро, признал Карран. «Не существует набора передовых практик, фреймворков», — сказал он. Немногие разработчики имеют опыт интеграции после релиза и DevOps, когда дело касается агентов ИИ. «Навыки создания этих вещей на самом деле не были разработаны и количественно оценены в широком смысле».