Сотрудники NIST бунтуют против ожидаемого назначения "эффективного альтруиста", исследователя ИИ, в Институт безопасности ИИ США

Национальный институт стандартов и технологий (NIST) переживает внутренний кризис, поскольку сотрудники и ученые угрожают уволиться в связи с ожидаемым назначением Пола Кристиано на важнейшую, хотя и неполитическую должность в недавно созданном Институте безопасности искусственного интеллекта США (AISI), сообщают по крайней мере два источника, непосредственно знакомые с ситуацией и попросившие остаться неизвестными.NIST - агентство Министерства торговли США, чья миссия заключается в "продвижении инноваций и промышленной конкурентоспособности США путем развития науки об измерениях, стандартов и технологий таким образом, чтобы укрепить экономическую безопасность и улучшить качество жизни". Согласно веб-сайту агентства, его основными компетенциями являются "наука об измерениях", "строгая прослеживаемость" и "разработка и использование стандартов". NIST также разрабатывает стандарты, руководства и лучшие практики в области кибербезопасности, а в январе 2023 года выпустит концепцию безопасности ИИ.По словам одного из источников, Кристиано, известный своими связями с движением эффективного альтруизма (ЭА) и его ответвлением - долгосрочным альтруизмом (взгляды, в которых приоритетом является долгосрочное будущее человечества, популяризованные философом Уильямом Макаскиллом), якобы был поспешно принят на работу, и никто об этом не знал до сегодняшнего дня.

Назначение Кристиано, которое, как утверждается, исходило непосредственно от министра торговли Джины Раймондо, вызвало возмущение среди сотрудников NIST, которые опасаются, что связь Кристиано с EA и долгосрочной перспективой может поставить под угрозу объективность и целостность института.Однако Дивьянш Каушик, помощник директора по новым технологиям и национальной безопасности Федерации американских ученых, сообщил VentureBeat, что в указе президента Байдена об искусственном интеллекте, введенном в ноябре 2023 года, содержится конкретная просьба к NIST и AISI сосредоточиться на определенных задачах - включая CBRN (химические, биологические, радиологические и ядерные материалы), - для решения которых Пол Кристиано "чрезвычайно квалифицирован".

Многие говорят, что EA - определяемая Центром эффективного альтруизма как "интеллектуальный проект, использующий доказательства и разум, чтобы выяснить, как принести максимальную пользу другим" - превратилась в культовую группу очень влиятельных и богатых адептов (прославленную основателем FTX и тюремщиком Сэмом Бэнкманом-Фридом), чья главная забота заключается в предотвращении будущей ИИ-катастрофы от уничтожения человечества. Критики EA, сосредоточенные на этом экзистенциальном риске, или "х-риске", говорят, что он происходит в ущерб необходимому вниманию к текущим, измеримым рискам ИИ, включая предвзятость, дезинформацию, высокорискованные приложения и традиционную кибербезопасность.