Фабрики ИИ — это фабрики: преодоление промышленных проблем для превращения ИИ в товар

Если бы вы отправились на 60 лет назад в Стивенсон, штат Алабама, вы бы нашли завод по производству ископаемых Widows Creek, электростанцию ​​мощностью 1,6 гигаватт с одной из самых высоких труб в мире. Сегодня на месте завода Widows Creek находится центр обработки данных Google. Вместо того чтобы работать на угле, линии электропередач старого объекта обеспечивают возобновляемую энергию для питания онлайн-сервисов компании.

Почему частные вычисления должны быть частью вашей стратегии ИИ - AI Impact Tour 2024Почему частные вычисления должны быть частью вашей стратегии ИИ - AI Impact Tour 2024

Эта метаморфоза от предприятия по сжиганию углерода до цифровой фабрики символизирует глобальный переход к цифровой инфраструктуре. И мы скоро увидим, как производство интеллекта выйдет на новый уровень благодаря фабрикам ИИ.

Эти центры обработки данных являются двигателями принятия решений, которые поглощают вычислительные, сетевые и ресурсы хранения, преобразуя информацию в идеи. Плотно упакованные центры обработки данных возникают в рекордные сроки, чтобы удовлетворить ненасытный спрос на искусственный интеллект.

Инфраструктура для поддержки ИИ наследует многие из тех же проблем, которые определяли промышленные заводы, от мощности до масштабируемости и надежности, требуя современных решений для вековых проблем.

Новая рабочая сила: вычислительная мощность

В эпоху пара и стали рабочая сила означала тысячи рабочих, круглосуточно управляющих машинами. На современных заводах ИИ производительность определяется вычислительной мощностью. Обучение больших моделей ИИ требует огромных вычислительных ресурсов. По словам Апарны Рамани, вице-президента по инжинирингу в Meta, рост обучения этих моделей составляет примерно четыре раза в год по всей отрасли.

Такой уровень масштабирования ведет к созданию некоторых из тех же узких мест, которые существовали в промышленном мире. Для начала, существуют ограничения цепочки поставок. Графические процессоры — двигатели революции ИИ — поставляются несколькими производителями. Они невероятно сложны. Они пользуются большим спросом. Поэтому неудивительно, что они подвержены волатильности цен.

В попытке обойти некоторые из этих ограничений поставок такие крупные имена, как AWS, Google, IBM, Intel и Meta, разрабатывают собственные специализированные кремниевые чипы. Эти чипы оптимизированы по мощности, производительности и стоимости, что делает их специалистами с уникальными функциями для соответствующих рабочих нагрузок.

Однако этот сдвиг касается не только оборудования. Существует также обеспокоенность тем, как технологии ИИ повлияют на рынок труда. Исследование, опубликованное Columbia Business School, изучало отрасль управления инвестициями и обнаружило, что внедрение ИИ приводит к снижению доли труда в доходе на 5%, что отражает сдвиги, наблюдавшиеся во время промышленной революции.

«ИИ, вероятно, станет преобразующим для многих, возможно, всех, секторов экономики», — говорит профессор Лора Велдкамп, один из авторов статьи. «Я довольно оптимистично настроена, что мы найдем полезную работу для многих людей. Но будут издержки перехода».

Где мы найдем энергию для масштабирования?

Помимо стоимости и доступности, графические процессоры, которые служат рабочей силой фабрики ИИ, как известно, прожорливы. Когда команда xAI запустила свой суперкомпьютерный кластер Colossus в сентябре 2024 года, как сообщается, у него был доступ к где-то от семи до восьми мегаватт от Tennessee Valley Authority. Но 100 000 графических процессоров H100 кластера нужно гораздо больше. Поэтому xAI задействовала мобильные генераторы VoltaGrid, чтобы временно компенсировать разницу. В начале ноября Memphis Light, Gas & Water достигла более постоянного соглашения с TVA о поставке xAI дополнительных 150 мегаватт мощности. Но критики возражают, что потребление на объекте нагружает городскую сеть и способствует плохому качеству воздуха. А у Илона Маска уже есть планы разместить еще 100 000 графических процессоров H100/H200 под одной крышей.

По данным McKinsey, ожидается, что к концу десятилетия потребности центров обработки данных в электроэнергии возрастут примерно в три раза по сравнению с текущей мощностью. В то же время скорость, с которой процессоры удваивают свою производительность, замедляется. Это означает, что производительность на ватт все еще улучшается, но замедляющимися темпами и, безусловно, недостаточно быстро, чтобы поспевать за спросом на вычислительную мощность.

Итак, что же потребуется, чтобы соответствовать лихорадочному принятию технологий ИИ? Отчет Goldman Sachs предполагает, что коммунальным службам США необходимо инвестировать около 50 миллиардов долларов в новые производственные мощности только для поддержки центров обработки данных. Аналитики также ожидают, что потребление энергии центрами обработки данных приведет к новому спросу на природный газ примерно в 3,3 миллиарда кубических футов в день к 2030 году.

Масштабирование становится сложнее по мере того, как фабрики ИИ становятся больше

Обучение моделей, которые делают фабрики ИИ точными и эффективными, может занять десятки тысяч графических процессоров, работающих параллельно, месяцами. Если во время обучения графический процессор выходит из строя, запуск необходимо остановить, восстановить до последней контрольной точки и возобновить. Однако по мере увеличения сложности фабрик ИИ растет и вероятность сбоя.