Проблема интеграции инструментов, которая сдерживает развитие корпоративного ИИ (и как CoTools ее решает)

CoTools стремится обеспечить более эффективный и гибкий подход по сравнению с существующими методами. Это позволит LLM использовать обширные наборы инструментов непосредственно в процессе рассуждений, включая те, которым они явно не обучались.

Для предприятий, желающих создавать сложные агенты ИИ, эта возможность может открыть более мощные и адаптируемые приложения без типичных недостатков современных методов интеграции инструментов. Проблема оснащения LLM инструментами

Хотя современные LLM преуспевают в создании текста, понимании и даже сложных рассуждениях, им необходимо взаимодействовать с внешними ресурсами и инструментами, такими как базы данных или приложения, для решения многих задач. Оснащение LLM внешними инструментами — по сути, API или функциями, которые они могут вызывать, — имеет решающее значение для расширения их возможностей в практические приложения реального мира.

Однако современные методы обеспечения использования инструментов сталкиваются со значительными компромиссами. Один из распространенных подходов включает тонкую настройку LLM на примерах использования инструментов. Хотя это может сделать модель эффективной в вызове конкретных инструментов, увиденных во время обучения, это часто ограничивает модель только этими инструментами. Более того, сам процесс тонкой настройки иногда может негативно влиять на общие способности рассуждения LLM, такие как Chain-of-Thought (CoT), потенциально уменьшая основные сильные стороны базовой модели.

Альтернативный подход основан на обучении в контексте (ICL), где LLM предоставляется с описаниями доступных инструментов и примерами того, как их использовать непосредственно в подсказке. Этот метод обеспечивает гибкость, позволяя модели потенциально использовать инструменты, которые она раньше не видела. Однако построение этих сложных подсказок может быть громоздким, а эффективность модели значительно снижается по мере роста количества доступных инструментов, что делает ее менее практичной для сценариев с большими, динамическими наборами инструментов.

Как отмечают исследователи в статье, представляющей Chain-of-Tools, агент LLM «должен уметь эффективно управлять большим количеством инструментов и полностью использовать невидимые во время рассуждений CoT, поскольку в реальных сценариях применения ежедневно может появляться множество новых инструментов».

Знакомство с Chain-of-Tools (CoTools)

CoTools предлагает убедительную альтернативу существующим методам, умело сочетая аспекты тонкой настройки и семантического понимания, при этом, что особенно важно, сохраняя ядро ​​LLM «замороженным» — то есть его исходные веса и мощные возможности рассуждения остаются нетронутыми. Вместо тонкой настройки всей модели CoTools обучает легкие специализированные модули, которые работают вместе с LLM во время процесса ее генерации.

«Основная идея CoTools заключается в использовании возможностей семантического представления замороженных базовых моделей для определения того, где вызывать инструменты и какие инструменты вызывать», — пишут исследователи.

По сути, CoTools использует богатые знания, заложенные во внутренних представлениях LLM, часто называемых «скрытыми состояниями», которые вычисляются по мере того, как модель обрабатывает текст и генерирует токены ответов.