Революционная идея Кармака
Создатель Doom и основатель ИИ-стартапа Keen Technologies Джон Кармак предложил необычную альтернативу DRAM для инференса нейросетей. Вместо хранения весов модели в микросхемах памяти, он предлагает использовать оптоволоконную петлю, где данные циркулируют в виде световых импульсов.
Скорость и эффективность
По расчётам Кармака, уже продемонстрированные скорости передачи в 256 Тб/с на расстоянии 200 км по одномодовому волокну дают 32 ГБ данных «в полёте» с пропускной способностью 32 ТБ/с. Это может стать прорывом в области ИИ, где скорость и эффективность играют решающую роль.
Ключевое наблюдение
При инференсе паттерны обращения к весам полностью детерминированы — известно заранее, какие данные понадобятся и когда. Это значит, что веса можно непрерывно подавать из оптоволоконного кольца прямо в кэш L2 процессора, полностью убрав DRAM из системы.
Современный аналог ртутных линий задержки
Сам Кармак называет идею «современным аналогом ртутных линий задержки» — одной из первых технологий компьютерной памяти 1940-х, где данные хранились как акустические импульсы, циркулирующие в трубках с ртутью.
Практическая реализация
Для современных моделей с триллионом параметров потребовалось бы множество таких петель. Однако Кармак отмечает, что пропускная способность оптоволокна растёт быстрее, чем у DRAM, — а значит, со временем подход может стать жизнеспособным.
Альтернативные решения
В качестве более практичной альтернативы он предлагает объединить множество дешёвых чипов флеш-памяти: при постраничном чтении и конвейеризации они уже сейчас могли бы обеспечить нужную пропускную способность для инференса — если бы производители флеша и ускорителей договорились о высокоскоростном интерфейсе.
Актуальность и перспективы
На фоне дефицита и роста цен на HBM-память, которая используется в ИИ-ускорителях NVIDIA, поиск альтернативных архитектур памяти становится всё более актуальной темой — пусть пока и на уровне мысленных экспериментов.
Заключение
Идея Кармака может стать прорывом в области ИИ, но её практическая реализация пока остаётся под вопросом. Однако уже сейчас можно сказать, что поиск альтернативных архитектур памяти является важным шагом на пути к развитию ИИ.
RU 
EN