Исследователи из Калифорнийского университета в Сан-Диего и Университета Цинхуа только что заставили искусственный интеллект гораздо лучше понимать, когда следует обратиться за помощью
Группа ученых-компьютерщиков разработала метод, который помогает искусственному интеллекту понять, когда следует использовать инструменты, а когда полагаться на встроенные знания, имитируя то, как эксперты-люди решают сложные проблемы.
Как ученые научили ИИ принимать более обоснованные решения
«Хотя интеграция LLM с инструментами может повысить надежность, этот подход обычно приводит к чрезмерной зависимости от инструментов, что снижает способность модели решать простые задачи с помощью базовых рассуждений», — пишут исследователи в своей статье. «В отличие от этого, эксперты-люди сначала оценивают сложность проблемы, используя знания предметной области, прежде чем выбрать подходящий подход к решению».
Новый метод, называемый «Адаптация во время обучения», использует двухэтапный процесс для обучения систем ИИ. Сначала модель учится непосредственно на решениях, созданных с помощью внешних инструментов, что помогает ей усваивать знания предметной области. Затем она учится классифицировать проблемы как «легкие» или «сложные» и решает, использовать ли инструменты соответствующим образом.Малая модель ИИ превосходит более крупные системы в сложных задачах
Что делает эту разработку значимой, так это ее подход, ориентированный на эффективность. Используя языковую модель всего с 8 миллиардами параметров — намного меньше, чем у таких отраслевых гигантов, как GPT-4, — исследователи достигли 28,18% улучшения точности ответов и 13,89% повышения точности использования инструментов в своих тестовых наборах данных. Модель продемонстрировала особую силу в специализированных научных задачах, превзойдя более крупные модели в определенных областях.
Этот успех бросает вызов фундаментальному предположению в разработке ИИ: что более крупные модели обязательно дают лучшие результаты. Вместо этого исследование предполагает, что обучение ИИ тому, когда использовать инструменты, а не полагаться на внутренние знания — во многом похоже на обучение молодого ученого тому, когда доверять своим расчетам, а когда обращаться к специализированному оборудованию — может быть важнее чистой вычислительной мощности.
0 комментариев