Эпоха кастомных чипов

ИИ вот-вот столкнется с серьезными трудностями роста.

Спрос на услуги ИИ стремительно растет во всем мире. К сожалению, растет и проблема предоставления этих услуг экономичным и устойчивым образом. Прогнозируется, что спрос на электроэнергию ИИ будет расти на 44,7% в год, что удвоит потребление электроэнергии центрами обработки данных до 857 тераватт-часов в 2028 году: сегодня это сделало бы центры обработки данных шестым по величине потребителем электроэнергии, сразу после Японии. Это дисбаланс, который угрожает мантре «меньше, дешевле, быстрее», которая двигала все основные тенденции в технологиях за последние 50 лет.

Это также не обязательно должно произойти. Кастомный кремний — уникальный кремний, оптимизированный для конкретных случаев использования — уже демонстрирует, как мы можем продолжать повышать производительность, сокращая энергопотребление, даже когда закон Мура уходит в прошлое. Кастомные могут составлять 25% ускорителей ИИ (XPU) к 2028 году (оценка Marvell), и это только одна категория чипов, которые становятся кастомными.

Центр обработки данных как фабрика

Видение Дженсена Хуанга относительно фабрик ИИ вполне уместно. Эти будущие центры обработки данных ИИ будут работать в неумолимом темпе, 24/7. И, как и в случае с производственными предприятиями, их окончательный успех или неудача для поставщиков услуг будут определяться операционным совершенством, фразой из двух слов, которая управляет производством. Потребляем ли мы больше или меньше энергии на токен, чем наши конкуренты? Почему растет среднее время до отказа? Какова текущая эффективность операционного оборудования (OEE)? В нефтяной и химической промышленности конечные продукты, продаваемые клиентам, являются неотличимыми товарами. Они отличаются в проектировании процессов, поскольку они используют различные комбинации технологий для получения предельной выгоды.

То же самое произойдет и в ИИ. В будущем будет править разнообразие, и операторы с наименьшими затратами, наименьшим временем простоя и способностью развертывать новые дифференцированные услуги и приложения станут фаворитами предприятий и потребителей.

Короче говоря, победит лучшая инфраструктура.

Концепция пользовательского чипа

Одним из главных способов дифференциации станет использование пользовательского кремния, реализованного с помощью пользовательских полупроводников, то есть чипов, содержащих уникальный IP или функции, которые обеспечивают скачок производительности для приложения. Это спектр от ускорителей ИИ, построенных на основе уникального, уникального дизайна, до коммерческого чипа, содержащего дополнительный пользовательский IP, ядра и прошивку для оптимизации его для конкретной программной среды. Хотя сейчас основное внимание уделяется более дорогим чипам, таким как ускорители ИИ, каждый чип будет настраиваться: например, Meta недавно представила пользовательский контроллер сетевого интерфейса (NIC), относительно малоизвестный чип, который подключает серверы к сетям, чтобы уменьшить влияние простоев.

Один стек памяти с высокой пропускной способностью (HBM) может потребовать интерфейса с 2048 контактами для передачи данных или более 8000 на XPU. Настройка может значительно снизить энергопотребление, количество контактов и увеличить емкость памяти. XPU с пользовательским HBM ожидаются через один-два года.

Настройка будет включать переосмысление каждого аспекта дизайна полупроводников. Некоторые, например, ищут способы оптимизации базового чипа и интерфейсов для управления гигабайтами памяти с высокой пропускной способностью (HBM), используемой в качестве кэша в высокопроизводительных ускорителях ИИ. Оптимизация может потенциально увеличить объем памяти внутри корпуса чипа до 33%, снизить мощность интерфейса на 70% и увеличить доступное кремниевое пространство для логических функций почти на 25% (оценка Marvell).

Категория пользовательских также включает новые, появляющиеся классы микросхем межсоединений, направленных на масштабирование размера и возможностей вычислительных систем. Сегодня серверы обычно содержат восемь или меньше XPU и/или CPU, и все компоненты размещаются в алюминиевом корпусе, который вставляется в стойку. В будущем системы ИИ будут содержать сотни ускорителей вместе с хранилищем и памятью, распределенными по нескольким стойкам, соединенными с портфелем оптических движков, адаптированных к спецификациям XPU, контроллеров CXL, ретаймеров PCIe, оптических цифровых сигнальных процессоров приема-передачи (DSP) и других устройств.

Многие из этих устройств даже не существовали несколько лет назад, но, как ожидается, будут быстро расти: по данным The 650 Group, 75% серверов искусственного интеллекта и облачных вычислений могут содержать PCIe-ретаймеры в течение двух лет. Хотя эти устройства и серверы будут основаны на технологических стандартах, архитектура и дизайн будут сильно различаться от облака к облаку.

Периодическая таблица для полупроводников

Но как можно изготавливать индивидуальные полупроводники — где проектирование платформы для производства 3-нм или 2-нм чипов может стоить более 500 миллионов долларов? На рынке, где большие языковые модели (LLM) меняются каждые несколько месяцев? И как эти технологии будут работать с новыми идеями, такими как холодная пластина или иммерсивное охлаждение?

Как бы просто это ни звучало, все начинается с элементарных ингредиентов. Схемы сериализатора-десериализатора (SerDes) — это учебник «самой важной технологии в мире», о которой вы никогда не слышали.