Groq готовит ИИ-чипы с 3D-памятью вместо SRAM: больше емкости в обмен на скорость

При работе с растущими ИИ-моделями даже сверхбыстрая память может стать узким местом, если ее просто не хватает. По данным южнокорейского издания ZDNet Korea, Groq, недавно вошедшая в орбиту NVIDIA, планирует изменить подход к памяти в своих следующих ускорителях и перейти от SRAM к трехмерной компоновке DRAM.

Нынешние Groq LPU делают ставку на скорость: каждый чип оснащен 500 МБ SRAM с пропускной способностью до 150 ТБ/с. В стойке из 256 ускорителей суммарный объем такой памяти достигает 128 ГБ, а пропускная способность масштабируется до 640 ТБ/с. Однако SRAM занимает много места и обходится дорого, поэтому наращивать ее объем по мере роста ИИ-моделей становится все сложнее.

Источник: GoHa.ru. Полная версия материала — на сайте издания: читать в источнике ↗