Что внутри LLM? Ai2 OLMoTrace «отследит» источник

Новая работа с открытым исходным кодом, запущенная на этой неделе Институтом Аллена по искусственному интеллекту (Ai2), направлена ​​на решение этой проблемы путем отслеживания выходных данных LLM к учебным входным данным. Инструмент OLMoTrace позволяет пользователям отслеживать выходные данные языковой модели непосредственно к исходным учебным данным, устраняя одно из самых существенных препятствий для внедрения корпоративного ИИ: отсутствие прозрачности в том, как системы ИИ принимают решения. OLMo — это аббревиатура от Open Language Model, которая также является названием семейства открытых исходных LLM Ai2. На сайте компании Ai2 Playground пользователи могут опробовать OLMoTrace с недавно выпущенной моделью OLMo 2 32B. Открытый исходный код также доступен на GitHub и доступен для бесплатного использования любым желающим.

В отличие от существующих подходов, фокусирующихся на оценках уверенности или генерации дополненного поиска, OLMoTrace предлагает прямое окно в связь между выходными данными модели и многомиллиардными наборами данных обучения, которые их сформировали.

«Наша цель — помочь пользователям понять, почему языковые модели генерируют те ответы, которые они генерируют», — сказал VentureBeat Цзячэн Лю, исследователь из Ai2.

Как работает OLMoTrace: больше, чем просто цитаты

LLM с функциями веб-поиска, такими как Perplexity или ChatGPT Search, могут предоставлять ссылки на источники. Однако эти ссылки принципиально отличаются от того, что делает OLMoTrace.

Лю объяснил, что Perplexity и ChatGPT Search используют генерацию дополненного поиска (RAG). Цель RAG — улучшить качество генерации модели, предоставив больше источников, чем те, на которых обучалась модель. OLMoTrace отличается тем, что отслеживает выходные данные самой модели без RAG или внешних источников документов.

Технология определяет длинные уникальные текстовые последовательности в выходных данных модели и сопоставляет их с определенными документами из обучающего корпуса. Когда совпадение найдено, OLMoTrace выделяет соответствующий текст и предоставляет ссылки на исходный материал, позволяя пользователям точно видеть, где и как модель узнала информацию, которую она использует.

Помимо оценок уверенности: ощутимые доказательства принятия решений ИИ

По замыслу LLM генерируют выходные данные на основе весов модели, которые помогают обеспечить оценку уверенности. Основная идея заключается в том, что чем выше оценка уверенности, тем точнее выходные данные.

По мнению Лю, оценки уверенности в корне ошибочны.

«Модели могут быть слишком уверены в том, что они генерируют, и если вы просите их генерировать оценку, она обычно завышена», — сказал Лю. «Это то, что ученые называют ошибкой калибровки — уверенность, которую выдают модели, не всегда отражает, насколько точны их ответы на самом деле».

Вместо еще одной потенциально вводящей в заблуждение оценки OLMoTrace предоставляет прямые доказательства источника обучения модели, позволяя пользователям делать собственные обоснованные суждения.

«OLMoTrace показывает вам совпадения между выходными данными модели и учебными документами», — объяснил Лю. «Через интерфейс вы можете напрямую увидеть, где находятся точки совпадения и как выходные данные модели совпадают с учебными документами».

Как OLMoTrace сравнивается с другими подходами к прозрачности

Ai2 не одинок в стремлении лучше понять, как LLM генерируют выходные данные. Anthropic недавно опубликовала собственное исследование по этой проблеме. Это исследование было сосредоточено на внутренних операциях модели, а не на понимании данных.

«Мы используем другой подход, чем они», — сказал Лю. «Мы напрямую прослеживаем поведение модели, ее тренировочные данные, а не прослеживаем вещи в нейронах модели, внутренних цепях и тому подобном».

Такой подход делает OLMoTrace более полезным для корпоративных приложений, поскольку для интерпретации результатов не требуются глубокие познания в архитектуре нейронных сетей.

Корпоративные приложения ИИ: от соответствия нормативным требованиям до отладки моделей

Для предприятий, внедряющих ИИ в регулируемых отраслях, таких как здравоохранение, финансы или юридические услуги, OLMoTrace предлагает значительные преимущества по сравнению с существующими системами «черного ящика».

«Мы считаем, что OLMoTrace поможет корпоративным и бизнес-пользователям лучше понять, что используется при обучении моделей, чтобы они могли быть более уверенными, когда захотят строить на их основе», — сказал Лю. «Это может помочь повысить прозрачность и доверие между ними к их моделям, а также для клиентов к поведению их моделей».

Технология обеспечивает несколько критически важных возможностей для корпоративных команд ИИ:

Проверка фактов выходных данных модели по исходным источникам

Понимание происхождения галлюцинаций

Улучшение отладки модели путем выявления проблемных закономерностей

Улучшение соответствия нормативным требованиям за счет прослеживаемости данных

Укрепление доверия заинтересованных сторон за счет повышения прозрачности

Команда Ai2 уже использовала OLMoTrace для выявления и исправления проблем своих моделей.