Получение полностью оптического ИИ для обработки нелинейной математики

Стандартная цифровая камера, используемая в автомобиле для таких вещей, как экстренное торможение, имеет перцептивную задержку чуть больше 20 миллисекунд. Это как раз то время, которое необходимо камере для преобразования фотонов, попадающих в ее апертуру, в электрические заряды с помощью датчиков CMOS или CCD. Она не учитывает дополнительные миллисекунды, необходимые для отправки этой информации на бортовой компьютер или ее обработки там.

Группа исследователей из Массачусетского технологического института пришла к выводу, что если у вас есть чип, который может обрабатывать фотоны напрямую, вы можете пропустить весь этап оцифровки и выполнять вычисления с самими фотонами, что может быть невероятно быстрым.

«Мы сосредоточены на очень конкретной метрике, а именно на задержке. Мы нацелены на приложения, где самое важное — насколько быстро вы можете получить решение. Вот почему мы заинтересованы в системах, в которых мы можем выполнять все вычисления оптически», — говорит Саумил Бандйопадхай, исследователь из Массачусетского технологического института. Команда реализовала полную глубокую нейронную сеть на фотонном чипе, достигнув задержки в 410 пикосекунд. Для сравнения, чип Бандйопадхайя мог обработать всю нейронную сеть, имеющуюся на борту, примерно 58 раз за один такт 4 ГГц на стандартном процессоре.

Матрицы и нелинейность

Нейронные сети работают с несколькими слоями вычислительных единиц, которые функционируют как нейроны. «Каждый нейрон может принимать входные данные, и эти входные данные могут быть, скажем, числами», — говорит Бандйопадхай. Затем эти числа умножаются либо на константу, называемую весом, либо на параметр, когда они передаются на следующий слой нейронов. Каждый слой берет взвешенную сумму предыдущих слоев и отправляет ее дальше.

Это эквивалент линейной алгебры — выполнение умножения матриц. Однако модели ИИ часто используются для поиска сложных закономерностей в данных, где выходные данные не всегда пропорциональны входным данным. Для этого вам также понадобятся нелинейные пороговые функции, которые регулируют веса между слоями нейронов. «Глубокие нейронные сети настолько эффективны, что мы можем отображать очень сложные взаимосвязи в данных, многократно каскадируя как эти линейные операции, так и нелинейные пороговые функции между слоями», — говорит Бандйопадхай.

Проблема в том, что это каскадирование требует массивных параллельных вычислений, которые при выполнении на стандартных компьютерах отнимают массу энергии и времени. Команда Бандйопадхай считает, что эту проблему можно решить, выполняя эквивалентные операции с использованием фотонов, а не электронов. В фотонных чипах информация может быть закодирована в оптических свойствах, таких как поляризация, фаза, величина, частота и волновой вектор. Хотя это было бы чрезвычайно быстро и энергоэффективно, создание таких чипов — непростая задача.

Перекачка света

«Удобно, что фотоника оказалась особенно хороша в линейных матричных операциях», — утверждает Бандйопадхай. Группа в Массачусетском технологическом институте под руководством Дирка Энглунда, профессора, который является соавтором исследования Бандиопадхайя, продемонстрировала фотонный чип, выполняющий умножение матриц исключительно с помощью света в 2017 году. Однако эта область боролась с реализацией нелинейных функций в фотонике.

До сих пор обычное решение основывалось на обходе проблемы путем выполнения линейной алгебры на фотонных чипах и выгрузки нелинейных операций на внешнюю электронику. Однако это увеличивало задержку, поскольку информацию приходилось преобразовывать из света в электрические сигналы, обрабатывать на внешнем процессоре и преобразовывать обратно в свет. «И снижение задержки является основной причиной, по которой мы хотим строить нейронные сети в фотонике», — говорит Бандиопадхай.

Чтобы решить эту проблему, Бандиопадхай и его коллеги спроектировали и построили, вероятно, первый в мире чип, который может вычислить всю глубокую нейронную сеть, включая как линейные, так и нелинейные операции, используя фотоны. «Процесс начинается с внешнего лазера с модулятором, который подает свет в чип через оптоволокно. Таким образом мы преобразуем электрические входы в свет», — объясняет Бандйопадхай.

Затем свет распределяется по шести каналам и подается в слой из шести нейронов, которые выполняют линейное матричное умножение с помощью массива устройств, называемых интерферометрами Маха-Цендера. «По сути, это программируемые светоделители, которые берут два оптических поля и смешивают их когерентно для получения двух выходных оптических полей. Подавая напряжение, вы можете контролировать, насколько смешиваются два входа», — говорит Бандйопадхай.

То, что делает один интерферометр Маха-Цендера в этом контексте, — это матричная операция два на два, выполняемая над парой оптических сигналов. С прямоугольным массивом этих интерферометров команда могла бы реализовать больший набор матричных операций по всем шести оптическим каналам.

После того, как матричное умножение выполнено в первом слое, информация переходит на другой слой через блок, который отвечает за нелинейное пороговое значение. «Мы добились этого путем совместной интеграции электроники и оптики», — сказал Бандйопадхай.