Inflection AI помогает решить проблемы единообразия RLHF с помощью уникальных моделей для корпоративного и агентского ИИ
Недавний обмен мнениями на сайте X (бывший Twitter) между профессором Уортона Итаном Молликом и Андреем Карпати, бывшим директором по ИИ в Tesla и соучредителем OpenAI, затрагивает интересную и фундаментальную тему: многие из лучших современных моделей генеративного ИИ - включая модели OpenAI, Anthropic и Google - демонстрируют поразительное сходство в тоне, что заставляет задуматься: почему большие языковые модели (LLM) сходятся не только в техническом мастерстве, но и в индивидуальности?
В последующих комментариях была отмечена общая особенность, которая может быть причиной тенденции к сближению результатов: Reinforcement Learning with Human Feedback (RLHF) - метод, в котором модели ИИ настраиваются на основе оценок, предоставляемых людьми-наставниками. В развитие этой дискуссии о роли RLHF в сходстве результатов недавние анонсы Inflection AI о выпуске Inflection 3.0 и коммерческого API могут стать перспективным направлением для решения этих проблем. Компания представила новый подход к RLHF, направленный на то, чтобы сделать генеративные модели не только последовательными, но и обладающими особым сочувствием.
Выйдя в корпоративное пространство, создатели коллекции моделей Pi используют RLHF более тонко, начиная с целенаправленных усилий по улучшению моделей тонкой настройки и заканчивая собственной платформой, которая учитывает отзывы сотрудников, чтобы адаптировать результаты работы искусственного интеллекта к культуре организации. Эта стратегия направлена на то, чтобы сделать модели Inflection AI настоящими культурными союзниками, а не просто типовыми чат-ботами, предоставляя предприятиям более человечные и согласованные системы ИИ, которые выделяются из толпы.RLHF стал центральным элементом разработки генетического ИИ, в основном потому, что он позволяет компаниям формировать ответы таким образом, чтобы они были более полезными, последовательными и менее подверженными опасным ошибкам. Использование RLHF в OpenAI стало основой для того, чтобы сделать такие инструменты, как ChatGPT, интересными и заслуживающими доверия пользователей. RLHF помогает согласовать поведение модели с ожиданиями человека, делая его более увлекательным и уменьшая количество нежелательных результатов.
Однако RLHF не лишена недостатков. RLHF был быстро предложен в качестве причины, способствующей сближению результатов моделирования, что потенциально может привести к потере уникальных характеристик и сделать модели все более похожими. Казалось бы, выравнивание обеспечивает согласованность, но оно также создает проблемы для дифференциации.
Ранее Карпати сам указал на некоторые ограничения, присущие RLHF. Он сравнил ее с игрой в виброконтроль и подчеркнул, что она не обеспечивает «реальное вознаграждение», как соревновательные игры вроде AlphaGo. Вместо этого RLHF оптимизируется для получения эмоционального резонанса, который в конечном итоге субъективен и может не подойти для решения практических или сложных задач.
0 комментариев