Исследователи DeepMind обнаружили впечатляющие возможности обучения в длинноконтекстных LLM

За несколько лет большие языковые модели (LLM) прошли путь от обработки нескольких сотен слов на входе до одновременной обработки содержимого нескольких книг. Эти расширенные возможности ввода, также называемые «контекстным окном», позволяют создавать новые приложения и сценарии использования, которые ранее были невозможны без значительных инженерных усилий.

В новом исследовании, проведенном учеными из Google DeepMind, изучаются возможности контекстного обучения (ICL) LLM с очень длинными контекстными окнами. Полученные результаты показывают, что, используя сотни или даже тысячи обучающих примеров в подсказке, можно улучшить возможности модели так, как раньше требовалась тонкая настройка.Long-shot ICL может стать важным инструментом для предприятий, которые хотят быстро создать и итерационно проверить прототипы LLM-приложений, прежде чем оптимизировать их для масштабирования.

Несколько выстрелов против многих выстрелов ICL

ICL позволяет LLM обучаться новым задачам на примерах, предоставляемых во время вывода. LLM получает подсказку, содержащую несколько решенных примеров желаемой задачи, а также проблему, которую он должен решить. Контекстное обучение иногда называют «обучением несколькими выстрелами». В отличие от тонкой настройки под конкретную задачу, ICL не требует изменения параметров модели, что делает ее более простой в использовании и доступной для большего числа пользователей. Однако ICL ограничена контекстным окном модели. Например, в модели GPT-3 контекстное окно составляло около 2 000 лексем, что ограничивало количество примеров, которые можно было вставить в подсказку.

Современные же модели поддерживают более 100 000 лексем, а в случае Gemini 1.5 Pro - более миллиона. В каждую подсказку можно поместить сотни или тысячи примеров ICL.

В своем исследовании ученые DeepMind изучили, как многострелочный ICL влияет на производительность LLM в последующих задачах. Они экспериментировали с несколькими проблемными областями, включая решение математических задач, ответы на вопросы, моделирование вознаграждения за результат, перевод на языки с низким содержанием ресурсов, планирование и анализ настроений.

В некоторых случаях они включали до 8 192 примеров ICL в одну подсказку. Результаты показали, что производительность модели улучшается по мере добавления в подсказку большего количества примеров. В задачах перевода многозадачная ICL на Gemini Pro показала новый уровень производительности на курдском и тамильском языках, которые не требуют больших ресурсов. В задачах обобщения многозадачная ICL вывела Gemini Pro на один уровень с моделями обобщения с точной настройкой. Во всех задачах производительность модели достигала максимума только при увеличении количества контекстных примеров до сотен тысяч лексем.Основным ограничением многострелочного ICL является необходимость создания большого объема высококачественных примеров, генерируемых человеком, что еще больше усугубляется в задачах рассуждения. Исследователи предлагают две техники, позволяющие снизить зависимость многострелочного обучения от данных, генерируемых человеком.

Первая техника, «усиленная ICL», заменяет примеры, созданные человеком, на обоснования, сгенерированные моделью. ЛЛМ дается обучающая задача и несколько или ноль выстрелов цепочки мыслей для выборки нескольких обоснований. Затем, предполагая наличие механизма проверки окончательного ответа, отбираются ответы с правильным ответом для создания набора данных ICL пар «задача/рациональное обоснование».

Вторая техника, «неконтролируемая ICL», использует внутренние знания LLM о проблеме. При неконтролируемой ICL подсказка состоит из списка нерешенных проблем, а также нулевой или немногочисленной подсказки для целевой проблемы. Это избавляет от необходимости подбирать ответы с помощью человека. Исследователи предполагают, что когда LLM уже обладает необходимыми знаниями для решения задачи, добавление релевантной информации к подсказке может помочь модели лучше сфокусироваться на внутренних концепциях, которые могут решить проблему.

«Мы обнаружили, что либо использование генерируемых моделью обоснований, либо только проблем может уменьшить зависимость многострелочного обучения от генерируемых человеком данных», - пишут исследователи.