Вычислительная техника находится в точке перегиба. Закон Мура, который предсказывает, что количество транзисторов на электронном чипе будет удваиваться примерно каждые два года, замедляется из-за физических ограничений установки большего количества транзисторов на доступные по цене микрочипы. Рост вычислительной мощности замедляется по мере роста спроса на высокопроизводительные компьютеры, способные поддерживать все более сложные модели искусственного интеллекта.
Это неудобство побудило инженеров изучить новые методы расширения вычислительных возможностей своих машин, но решение остается неясным.
Фотонные вычисления — одно из потенциальных средств удовлетворения растущих вычислительных потребностей моделей машинного обучения. Вместо использования транзисторов и проводов эти системы используют фотоны (микроскопические частицы света) для выполнения вычислительных операций в аналоговой области.
Лазеры производят эти маленькие сгустки энергии, которые движутся со скоростью света, как космический корабль, летящий со скоростью деформации в научно-фантастическом фильме. Когда фотонные вычислительные ядра добавляются к программируемым ускорителям, таким как сетевая интерфейсная плата (NIC и ее дополненный аналог SmartNICs), полученное оборудование может быть подключено для турбонаддува стандартного компьютера.
Исследователи Массачусетского технологического института теперь использовали потенциал фотоники для ускорения современных вычислений, продемонстрировав ее возможности в области машинного обучения.
Получивший название «Lightning», их фотонно-электронный реконфигурируемый SmartNIC помогает глубоким нейронным сетям — моделям машинного обучения, которые имитируют, как мозг обрабатывает информацию, — выполнять задачи логического вывода, такие как распознавание изображений и генерация языка в чат—ботах, таких как ChatGPT. Новый дизайн прототипа обеспечивает впечатляющую скорость, создавая первую фотонную вычислительную систему для обработки запросов машинного обучения в режиме реального времени.
Группа представит свои выводы в Специальной группе по обмену данными Ассоциации вычислительной техники (SIGCOMM) в этом месяце. Тезисы были опубликованы в сборнике материалов конференции ACM SIGCOMM 2023.
Несмотря на свой потенциал, основная проблема при внедрении фотонных вычислительных устройств заключается в том, что они пассивны, а это означает, что им не хватает памяти или инструкций для управления потоками данных, в отличие от их электронных аналогов. Предыдущие фотонные вычислительные системы сталкивались с этим узким местом, но Lightning устраняет это препятствие, обеспечивая бесперебойную передачу данных между электронными и фотонными компонентами.
«Фотонные вычисления показали значительные преимущества в ускорении громоздких задач линейных вычислений, таких как умножение матриц, в то время как для всего остального требуется электроника: доступа к памяти, нелинейных вычислений и условной логики. Это создает значительный объем данных, которыми необходимо обмениваться между фотоникой и электроникой для выполнения вычислительных задач реального мира, таких как запрос на вывод с помощью машинного обучения», — говорит Чжижэнь Чжун, постдок в группе доцента Массачусетского технологического института Маньи Гобади в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL).
«Управление этим потоком данных между фотоникой и электроникой было ахиллесовой пятой прошлых разработок в области фотонных вычислений. Даже если у вас сверхбыстрый фотонный компьютер, вам нужно достаточно данных, чтобы питать его без сбоев. В противном случае у вас есть суперкомпьютер, который просто работает вхолостую, не производя никаких разумных вычислений».
Гобади, доцент кафедры электротехники и компьютерных наук Массачусетского технологического института (EECS) и член CSAIL, и ее коллеги по группе первыми выявили и решили эту проблему. Чтобы достичь этого, они объединили скорость фотоники и возможности управления потоком данных электронных компьютеров.
До появления Lightning фотонные и электронные вычислительные схемы работали независимо, говоря на разных языках. Гибридная система команды отслеживает необходимые вычислительные операции на пути передачи данных, используя реконфигурируемую абстракцию подсчета действий, которая соединяет фотонику с электронными компонентами компьютера.
Эта программная абстракция функционирует как единый язык между ними, контролируя доступ к проходящим через них потокам данных. Информация, переносимая электронами, преобразуется в свет в виде фотонов, которые работают со скоростью света, помогая выполнить задачу логического вывода. Затем фотоны преобразуются обратно в электроны для передачи информации в компьютер.
Благодаря бесшовному соединению фотоники с электроникой, новая абстракция count-action делает возможной быструю вычислительную частоту Lightning в режиме реального времени. В предыдущих попытках использовался подход «остановись и иди», означающий, что обработке данных препятствовало бы гораздо более медленное управляющее программное обеспечение, которое принимало все решения о его перемещениях.
«Создание фотонной вычислительной системы без абстракции программирования count-action похоже на попытку управлять Lamborghini, не зная, как водить машину», — говорит Гобади, который является старшим автором статьи.
«Что бы ты сделал? Вероятно, у вас в одной руке руководство по вождению, затем нажмите на сцепление, затем проверьте руководство, затем отпустите тормоз, затем проверьте руководство и так далее. Это операция «стоп-энд-гоу», потому что для принятия каждого решения вы должны проконсультироваться с какой-либо организацией более высокого уровня, которая скажет вам, что делать».
«Но это не то, как мы водим машину; мы учимся водить машину, а затем используем мышечную память, не проверяя руководство или правила вождения за рулем. Наша абстракция программирования количества действий действует как мышечная память в Lightning. Он плавно управляет электронами и фотонами в системе во время выполнения».
Экологически чистое решение
Сервисы машинного обучения, выполняющие задачи на основе логического вывода, такие как ChatGPT и BERT, в настоящее время требуют больших вычислительных ресурсов. Они не только дороги — по некоторым оценкам, для запуска ChatGPT требуется 3 миллиона долларов в месяц, — но и наносят ущерб окружающей среде, потенциально выделяя более чем в два раза больше углекислого газа, чем в среднем потребляет человек. Молния использует фотоны, которые движутся быстрее, чем электроны в проводах, при этом выделяя меньше тепла, что позволяет ей выполнять вычисления на более высокой частоте и при этом быть более энергоэффективной.
Чтобы измерить это, Ghobadi group сравнила свое устройство со стандартными графическими процессорами, блоками обработки данных, SmartNICs и другими ускорителями, синтезировав чип Lightning. Команда заметила, что Lightning был более энергоэффективен при выполнении запросов на логический вывод.
«Наши исследования синтеза и моделирования показывают, что Lightning снижает энергопотребление для машинного обучения на порядки по сравнению с современными ускорителями», — говорит Мингран Янг, аспирант лаборатории Гобади и соавтор статьи. Являясь более экономичным и быстрым вариантом, Lightning представляет собой потенциальное обновление для центров обработки данных, позволяющее сократить углеродный след их модели машинного обучения при одновременном ускорении времени реакции пользователей на логические выводы.
