Больше не всегда значит лучше: изучение бизнес-кейса для многомиллионных токенов LLM

Пока предприятия взвешивают затраты на масштабирование инфраструктуры с потенциальными выгодами в производительности и точности, остается вопрос: открываем ли мы новые горизонты в рассуждениях ИИ или просто расширяем границы памяти токенов без существенных улучшений? В этой статье рассматриваются технические и экономические компромиссы, проблемы сравнительного анализа и развивающиеся корпоративные рабочие процессы, формирующие будущее LLM с большим контекстом.

Рост моделей больших контекстных окон: шумиха или реальная ценность?

Почему компании ИИ спешат увеличить длину контекста

Лидеры ИИ, такие как OpenAI, Google DeepMind и MiniMax, находятся в гонке вооружений, чтобы увеличить длину контекста, которая равна объему текста, который модель ИИ может обработать за один раз. Обещание? более глубокое понимание, меньше галлюцинаций и более бесшовное взаимодействие.

Для предприятий это означает ИИ, который может анализировать целые контракты, отлаживать большие кодовые базы или обобщать длинные отчеты, не нарушая контекста. Есть надежда, что устранение обходных путей, таких как фрагментация или генерация дополненной извлечения (RAG), может сделать рабочие процессы ИИ более плавными и эффективными.

Решение проблемы «иголки в стоге сена»

Проблема «иголки в стоге сена» относится к трудностям ИИ в выявлении критически важной информации (иголки), скрытой в огромных наборах данных (стоге сена). LLM часто упускают ключевые детали, что приводит к неэффективности в:

Поиске и извлечении знаний: помощники ИИ с трудом извлекают наиболее релевантные факты из обширных хранилищ документов.

Юридические вопросы и соответствие требованиям: юристам необходимо отслеживать зависимости положений в длинных контрактах.

Аналитика предприятия: финансовые аналитики рискуют упустить важные идеи, скрытые в отчетах.

Большие контекстные окна помогают моделям сохранять больше информации и потенциально уменьшают галлюцинации. Они помогают повысить точность, а также позволяют:

Проверки соответствия между документами: один запрос на 256 тыс. токенов может проанализировать все руководство по политике на предмет соответствия новому законодательству.

Обобщение медицинской литературы: исследователи используют окна с 128 тыс. токенов и более для сравнения результатов испытаний лекарственных препаратов за десятилетия исследований.

Разработка программного обеспечения: отладка улучшается, когда ИИ может сканировать миллионы строк кода, не теряя зависимости.

Финансовые исследования: аналитики могут анализировать полные отчеты о доходах и рыночные данные в одном запросе.

Поддержка клиентов: чат-боты с большей памятью обеспечивают более контекстно-зависимые взаимодействия.

Увеличение контекстного окна также помогает модели лучше ссылаться на соответствующие детали и снижает вероятность генерации неверной или сфабрикованной информации. Исследование Стэнфорда 2024 года показало, что модели с 128 тыс. токенов снижают частоту галлюцинаций на 18% по сравнению с системами RAG при анализе соглашений о слиянии.

Однако ранние последователи сообщили о некоторых проблемах: исследование JPMorgan Chase показывает, что модели плохо работают примерно на 75% своего контекста, а производительность сложных финансовых задач падает почти до нуля за пределами 32 тыс. токенов. Модели по-прежнему в целом испытывают трудности с долгосрочным воспроизведением, часто отдавая приоритет недавним данным, а не более глубоким знаниям.

Это поднимает вопросы: действительно ли окно в 4 млн токенов улучшает рассуждения или это просто дорогостоящее расширение памяти? Какую часть этих огромных входных данных фактически использует модель? И перевешивают ли преимущества растущие вычислительные затраты?

Стоимость против производительности: RAG против больших подсказок: какой вариант выигрывает?

Экономические компромиссы использования RAG

RAG сочетает в себе мощь LLM с системой поиска для извлечения соответствующей информации из внешней базы данных или хранилища документов. Это позволяет модели генерировать ответы на основе как уже существующих знаний, так и динамически извлекаемых данных.

Поскольку компании внедряют ИИ для сложных задач, им приходится принимать ключевое решение: использовать массивные подсказки с большими контекстными окнами или полагаться на RAG для динамического извлечения релевантной информации.

Большие подсказки: модели с большими окнами токенов обрабатывают все за один проход и снижают необходимость в обслуживании внешних систем поиска и захвате междокументной информации. Однако этот подход является вычислительно затратным, с более высокими затратами на вывод и требованиями к памяти.

RAG: вместо того, чтобы обрабатывать весь документ сразу, RAG извлекает только наиболее релевантные части перед генерацией ответа. Это снижает использование и затраты токенов, делая его более масштабируемым для реальных приложений.

Сравнение затрат на вывод ИИ: многошаговое извлечение против больших одиночных подсказок

Хотя большие подсказки упрощают рабочие процессы, они требуют больше мощности графического процессора и памяти, что делает их затратными при масштабировании. Подходы на основе RAG, несмотря на то, что требуют нескольких этапов извлечения, часто сокращают общее потребление токенов, что приводит к снижению затрат на вывод без ущерба для точности.