（原标题：模拟内存经营，还好吗？）

要是您但愿不错常常碰面，迎接标星保藏哦~

开头：内容来自semiengineering，谢谢。

内存经营 (In-memory computing，IMC) 的发展之路险阻，最引东说念主详实的贸易化尝试以失败告终。尽管一些公司依然转向数字化，而另一些公司则都备废弃了这项本领，但开发东说念主员仍在尽力让模拟 IMC 取获获胜。

对于 IMC（也称为内存经营，或 CIM）的公正存在不合。有东说念主说，这一切都是为了减少数据迁徙，而数据迁徙是 AI 能耗的重要构成部分。“把 MAC（乘法/累加电路）放下来很容易，” Synopsys ARC AI 处理器居品司理 Gordon Cooper 说。“为它们提供数据并确保数据高效地流过它们要艰辛得多。”

其他公司则专注于经营才智，每家公司都信赖我方开发的居品不错处理这两个问题中最重要的一个，致使两个问题。关联词，既能减少数据迁徙，又能实施低功耗 AI 经营，同期兼顾老本和可制造性的优化电路仍然难以终了。

Rambus的了得发明家 Steven Woo 暗意：“数据迁徙是纰谬问题，不管是对于性能照旧功耗而言都是如斯。寰宇上并不阑珊数据，尤其是对于这些大型 AI 模子而言，磨真金不怕火集相配纷乱。”

当今尚不判辨哪种方法才是处理这一问题的最好阶梯，但 IMC 是一种可能的采纳。对于那些不知说念正在进行的奥妙创业职责的东说念主来说，这个话题似乎依然了债到计划实验室，那边正在进行多半职责。“我以为咱们还莫得都备走出计划阶段，” Cadence居品营销集团总监 Frank Ferro 说。

事实上，IMC 致使不在大多数联想师的和蔼范围内。“咱们在客户的网站上莫得看到它，” Quadric勾通创举东说念主兼首席本领官 Nigel Drego 说。

关联词，新的居品和方法正在尝试篡改这一近况。

不啻一种含义

“内存经营”一词过火变体对不同的公司有不同的含义。当其方针是将数据迁徙保合手在最低限定时，它与“内存”或“近内存”经营的办法密切有关。在这些情况下，它波及经营发生位置隔邻的小块 SRAM。使用这种内存仍然需要数据迁徙，但与保存到 DRAM 比较，距离较短。

“内存中”的办法将这一办法进一步发展，并绝对颠覆了这一办法。先前的方法是将内存放在经营隔邻。IMC 则更多地是将经营放在内存所在的地点。不同 IMC 之间的一个主要区别是，经营是在内存阵列里面但在内存单位除外进行，照旧这些单位我方实施经营。

另一个区别是经营的性质——数字或模拟。数字 IMC 常常是那种在通盘阵列中散布着几个数字门的类型。“你将存储单位与实施乘法的经营元件和实施累加的经营元件交错在全部，并在所有这些周围抛弃多半其他数字逻辑来实施所有其他操作，”Axelera 首席实施官 Fabrizio del Maffeo 暗意。

数字 IMC 背后的理念并不复杂——它仅仅将数字算术电路从一个地点迁徙到另一个地点。但这并不料味着它很容易。构建高效的电路和器具仍需要多半职责。仅仅它不像模拟那样弥留。

模拟经营平淡通过将存储单位视为具有可变内容来实施，这些内容不错通过感测流过存储单位的电流来测量。字线接收实值。在最驰名的终了类型中，字线和位线交叉处的每个单位内容上将输入电压乘以单位电导率，该电导率由存储的单位值诞生。通过允很多个字线同期处于行径状况，每个相乘电流的总数将成为乘积的闭幕总数。位线上的所有单位都不错并行实施乘法。

Sagence 计策与业务开发副总裁 Richard Terrill 暗意：“（闪存 IMC 处理有计划）基于将数亿个闪存单位抛弃在一个芯片上，以便咱们能够在现场完成所有职责。”

图 1：经典的基于闪存的 IMC 架构。数字输入革新为字线上的模拟电压。与内存不同，多个字线不错同期处于行径状况。位线上的所有单位提供输入电压乘以闪存单位电导率的乘积，该乘积由存储的权重详情。位线上的每个单位阐明单位电流孝顺电流，感测放大器将所有这些电流相加以提供积蓄。然后必须将闭幕数字化并通过其他电路（举例激活函数）发送，然后将其路由回另一层或手脚完整解泄气送出去。开头：Bryon Moyer/Semiconductor Engineering

该本领的一个放手是它需要整数数据。这对于视觉来说很天然，但基于提神力的收罗（举例大型话语模子 (LLM)）更平淡使用浮点数据，这使得此类应用要津超出了该架构的范围。

咱们要处理什么问题？

IMC 所要处理的问题尚未明确界说或达成一致。天然所有东说念主都痛快缩小功耗是最终计划，但存在争议的是主要问题是迁徙数据的老本照旧经营的老本。

数字方法常常侧重于迁徙数据的老本，因为不管数字电路是在内存阵列里面照旧外部，经营才智都大体调换。这试图处理内存带宽问题。Cadence 的 Ferro 暗意：“咱们每天都被超大规模经营需要更多带宽的问题搞得头疼。”

Expedera首席科学家兼勾通创举东说念主 Sharad Chole对此暗意痛快。“瓶颈不再是经营或内存，而是经营和内存之间的带宽，”他说。

使用数字 IMC，经营面孔不会发生首要变化。“你领有的基本本领仍然与数字加快器调换，”Encharge AI 首席实施官 Naveen Verma 暗意。“通过在内存中插入 加法器，你内容上所作念的便是扩大内存，何况所浪费的能量与你在内存外部实施时所浪费的能量调换。与圭臬数字经营比较，其公正是渐进的。”

也可能莫得一个正确的谜底。违反，它可能取决于正在实施的模子的性质，尤其是 LLM。Expedera 的 Chole 解释说：“要是你的高下文长度很小，比如 256 个 token，那么权重就占主导地位。然则要是你生成了 32,000 个 token，那么激活就启动成为重要的部分。要是你的激行径作东导了力量，那么将权重存储在模拟域中的公正将无法对消这少许。”

争论的另一个方面是，将所需的所有权重全部填充到内存中是否可行，这样就无需进一步迁徙。基于闪存的方法宣称具有非易失性的上风，因此权重即使在电源轮回后仍会保留在原位。但这意味着开发必须得当最大的模子。另一方面，容量跨越必要会浪费硅，尽管该分析假定联想中唯有一个模子。“咱们内容上最终存储了多个模子，”Sagence 的 Terrill 说。

其他东说念主则认为，将通盘模子都存储起来是不切内容致使不可取的，而是采纳在处理流程中更新权重的要津。“IMC 计划依然庸碌标明，权重不可耐久存储在内存中，”Verma 指出。“原因是不同位的数据波及的操作数目相配不同，要是每个位都分拨一个内存单位，那么一些内存单位将实施多半操作，而另一些则大部分时刻处于舒畅状况，从而导致硬件运用率低。”

要是这种不雅点是正确的，那么 IMC 就无法像东说念主们但愿的那样处理分量迁徙问题。它还使非易失性存储器变得不切内容，因为编程时刻比重写 SRAM 所需的时刻大要长三个数目级。但 SRAM 是一个大而耗电的单位，这进一步加重了量度的复杂性。

直到推出这些芯片的各家公司有契机在现场诠释我方之前，这场争论都不会收尾。当今，还莫得一个明确的正确谜底。

模拟的挑战

模拟 IMC 并非簇新事物。Mythic 曾试图将基于闪存的模拟 IMC 推理引擎推向市集，但最终失败，因此受到密切和蔼。由于使用闪存进行权重存储，它承诺缩小经营才智并减少数据迁徙。当今尚不判辨 Mythic 名堂失败的具体原因，但该本领带来了一些首要挑战。而模拟需要费事的量度。“模拟是功率、速率照旧准确性，”Drego 说。“二选一。”

在经典终了中，每个闪存单位都保存通盘权重。INT8 是视觉和卷积神经收罗 (CNN) 中较为流行的数据口头之一，但在单个闪存单位中保存 8 位值是一项艰巨的任务。而且有用精度仍然会受到影响。“我还莫得传说过有任何东西能跨越 4 位有用精度，”Drego 补充说念。“但在一些小众应用中，这些东西不错相配相配高效。”

图 2：松开多位单位的读取窗口。单位包含的位越多，区别越细腻，读取机制必须越智慧。开头：Bryon Moyer/Semiconductor Engineering

商用闪存单位存储三位数据依然存在多年。四位单位现已成为实际，五位单位正在兴起。但莫得东说念主领有八位单位。这需要极其防卫，尤其是要是要跨多个单位、芯片、晶圆和批次以及所有环境要求和老化后职责。实际情况是，东说念主们可能不得不袭取较低的精度，从而放手该本领的实用性。

老化问题是潜在客户一直和蔼的问题。Expedera 营销副总裁 Paul Karazuba 暗意：“当我向潜在客户磋议模拟居品时，老化是他们不祥情怎么处理的问题之一，这常常会吓跑他们。”

令东说念主担忧的是，跟着细胞老化，它们的运作面孔将发生变化，从而导致潜在的幻觉，咱们简略不错称之为“硅老化”。事实上，这种老化的芯片不太可能产生幻觉，即给出可能合理但诞妄的谜底。东说念主们更有可能得到信口胡言，但这仍然是不可袭取的。

除了老化除外，还必须以某种面孔摈弃制造和环境变化，以便所有芯片都能正常职责。事实诠释，这极具挑战性，而且这个问题可能是影响往日尽力的纰谬问题。即使莫得变化，模拟从界说上来说也没罕有字那样的噪声裕度。“模拟的问题一直是噪声，”Verma 说说念。

另一个挑战是模拟经营仅仅加快器操作的一部分。其他函数，如softmax或非线性激活函数，必须在数字域中发生。这意味着在每一层以模拟面孔经营其矩阵乘积后，必须将闭幕革新为数字以生成激活，然后必须将其革新回模拟以供下一层使用。Quadric 首席营销官 Steve Roddy 指出：“最终，激活走动流动，最终会变得一团糟。”

在所有这些革新流程中保合手精度需要精准的 DAC 和 ADC，而这些电路会浪费多半能量，从而对消该架构的主要上风之一。

终末一个挑战可能是老本，尽管这还有待不雅察，何况取决于所实施的内存本领。“要是你正在构建一个带有闪存或 DDR 变体的孤苦芯片，你的老本将媲好意思光、海力士和三星高得多，而这些公司的产量高达数以亿计，”Drego 说。

尽管存在这些问题，一家名为 Sagence（隐身模拟推理）的新创业公司照旧推出了一款新的模拟 IMC 居品——从外不雅上看，它与 Mythic 的作念法惊东说念主地相似。另一家尚未雅致推出的新公司是 EnCharge AI，它领有独到的传感本领。

再说一次，要是你仔细不雅察 Sagence 的本领，你会说它与 Mythic 所作念的雷同。闪存阵列？对。校准以处理变化？对。多位闪存单位？对。在感测放大器中进行乞降？对。当今尚不判辨 Mythic 接收了哪种闪存单位，但 Sagence 暗意它使用的是已获取 NOR 建树许可的圭臬闪存单位。所有使闪存阵列顺应推理的电路都位于阵列外部，因此单位面积效率为4F2。

与之前终了的主要区别在于，该公司在深亚阈值状况下运行闪存阵列。这不错省俭几个数目级的功率，电流以纳安的几分之一来测量。但这也带来了一个挑战，因为数学不再是线性的，因此图 1 所示的欧姆定律方法不再适用。

Sagence 通过对数存储权重来处理这个问题。这意味着闪存单位中的不同级别并不是均匀散播的。数据值越高，它们就越接近。底部部分可能比线性版块更容易检测，但顶部部分将更难区分。更艰辛的是，在深亚阈值下操作时，合座读取窗口更小。

图 3：线性和对数“间距”之间的各异。左侧，线性方法创建终点的间距。右侧，跟着值变高，间距变窄。（对数区别不准确。）开头：Bryon Moyer/半导体工程

Sagence 也认为数字和模拟之间的革新必须精准，而且这些革新需要耗能。“要是咱们莫得阿谁 ADC，咱们每次操作的电流浪费将比非 IMC 终了低三到四个数目级，”Sagence 创举东说念主、总裁兼首席实施官 Vishal Sarin 暗意。“但由于咱们使用精密 ADC，因此赔本了一个数目级。”

关联词，有些应用要津不错以较低的精度职责。“每个单位存储的位数 取决于收罗的要求，”Terrill 解释说念。“咱们不错将存储位数进步到 8。平淡更少，因为咱们详情了所需的精度，然后以该量化面孔存储。”

另一个令东说念主骇怪的方面是，乘法略有立时性。Sagence 暗意，它尽其所能摈弃系统谬误，但即使它完整地作念到了这少许，小的立时谬误仍会存在。立时性内容上使值之间的界限变得腌臜，而在尖端，部分相配狭小，一些可能会有用崩溃。

Sagence 暗意，这种方法之是以有用，是因为内容版块将罕有百致使数千个单位沿着每条位线。接洽到这些大数字，这样多单位上正负几个百分点的谬误将平均达到耗费的精度。“要是你思要准确地纪录某东说念主的银行账户，你就不会作念这种乘法和加法，”Sarin 说。“但对于深度学习来说，这是一个完整的采纳。”

不外，对于任何 AI 处理有计划来说，器具都是必不可少的，这样用户就不会被复杂性所困扰。Sagence 的编译器在联想时就接洽到了对数性质，静态地为单位分拨权重。

“对于硬件资源识别，一切都是在编译时完成的，这意味着您不消进行任何运行时和洽，”Sagence 居品营销高档总监 Suhas Nayak 解释说念。“模拟量化器进行硬件感知磨真金不怕火、噪声感知磨真金不怕火，并在运行时需要时生成信息以供进一步校准。”这种静态和洽的公正是延伸固定且可展望。

该公司有多种方法来处理变化、漂移和老化问题。校准处理制造变化，但 Sagence 还监控单位，要是漂移太大，不错采纳从头加载权重。“有一种计量电路不错不雅察闪存单位随时刻的变化，要是它们达到咱们无法通过底层电路缓解的进度，咱们不错阐明需要从头加载它们，”Terrill 指出。

阐明架构，这似乎是一个仅使用整数的处理有计划，这会将其铲除在基于提神力的收罗除外，但该公司还有其他经营。“咱们经营使用专有方法在咱们的 Gen AI 处理有计划中终了提神力，”Sarin 说。“这是咱们处理有计划的重要构成部分。”

一些探索

EnCharge 在三个主要领域接收了都备不同的方法——存储单位的类型、每个单位存储的位数以及感测闭幕的面孔。后者是一项首要冲破，因为所有之前的电流感测有计划都因制造和环境要求而有很大各异。在从普林斯顿大学分离出来之前，该公司发现电容器不错存储电荷手脚感测机制，而不受任何依赖。

“这种电容器最重要的少许是它不受温度影响，”Verma 解释说念。“它不受材料参数影响。它是都备线性的。它只取决于导线之间的空间。它不错推广到首先进的节点，因为它们不错让你更好地适度几何时事。”

该公司已详情，累加需要比乘法更高的精度，而这恰是电容器所提供的。该阵列由 SRAM 单位构成，每个单位存储一位权重。由于 EnCharge 尚未雅致推出其本领，因此仍有很多细节未暴露。要点是 SRAM 单位提供乘法，每个闭幕适度一个将电荷置于电容器上的开关。

电容器物理上位于 SRAM 单位上方，位于两层金属之间，因此易于构建且不占用特殊空间。单个 MAC 的电容器无间在并吞块板上。然后，违反的电容器板会平均所有这些电荷，从而有用地提供加法。它是一个模拟值，因此需要 ADC 革新为数字时事。无需 DAC。

EnCharge 的阵列需要从头加载数据，因为内存是易失性的，而且阵列不够大，无法容纳通盘模子。“为了最大限定地缩小支出，咱们使用了雷同于编造内存的编造化架构，”Verma 说。

尽管这种传感方法似乎很新颖，但该公司暗意，它已在 ADC 等高精度电路中得到考据。Verma 指出：“它的可靠性、可推广性、准确性和可制造性已通过这些其他超高精度模拟电路得到考据。”

DRAM 或将加入游戏

在终末一个新思法中，初创公司 Neo Semiconductor 提倡了使用其 3D DRAM 的 IMC 有计划。“咱们不错在 3D DRAM 阵列中实施多半经营，而无需将其发送到 SRAM，”Neo 首席实施官兼勾通创举东说念主 Andy Hsu 暗意。

Neo 的主要开发重心是使用浮体电荷存储而不是电容器的堆叠 3D DRAM。与 EnCharge 相同，每个 DRAM 单位都包含一个权重位。这标明乘法本领与 EnCharge 雷同，但 Neo 尚未涌现其怎么处理多位乘法。

关联词，传感面孔有所不同。垂直位线承载着经过测量和数字化的模拟电流。它还有一个 ADC，但莫得 DAC。该方法只需使用得当数目的 DRAM 位（平淡对于 INT8 为 8 位）即可径直用于整数数据。该公司暗意，浮点单位对于基于提神力的收罗是必不可少的，但尚未涌现其职责旨趣。

Neo 的计划是将 HBM 分为两个阶段。领先，它不错用 3D DRAM 版块替换 HBM 堆栈中的内存芯片，这不错将容量进步两个数目级。第二阶段将 HBM 基片上的感测放大器电路替换为神经电路。“对于 AI，底部芯片将被替换为 不错 实施激活功能的芯片，”Hsu 说。

这种本领的一个可能问题是热量。在 DRAM 中，典型的位线将反应单个单位的值。使用 AI，您不错测量多个单位的电流。HBM 依然濒临热挑战。要是不采用进一步的缓解门径，进一步增多电流量似乎是值得怀疑的。

Neo 暗意，由于其 DRAM 本领如胶投漆，其读取电流约为圭臬 DRAM 典型值的 10%，因此其肇端电流较小。它一次处理 8 位，因此电流应低于圭臬 DRAM 电流。8 位并未几，但该公司将合座数据分红 8 位组并按限定处理。这种方法可能会影响延伸，但当今尚无具体数字。

这个提议需要更多的考据才能成为实际。Neo 当今的主要重心是其 3D DRAM。东说念主工智能游戏是该公司的另一个思法，本年刚刚暴露。但当今它仍处于办法阶段。

模拟 IMC 又活了一天

东说念主们依然蹙迫期待了多年，很多东说念主彰着认为它还未准备好接待黄金时段。这是一个闇练的大学计划课题，很多不知说念行将推出的东说念主依然笃信，要让它发达作用，需要进行一些首要篡改。

Sagence 的本领试图效用依然走过的说念路，同期幸免先前的罗网。EnCharge AI 专注于用于感测积蓄的电容器。Neo 的 DRAM 思法太新，无法详情它是否能取得贸易获胜。来岁应该有契机望望前两者是否能取得进展。要是莫得，就回到计划实验室。

关联词，要是其中一种或两种方法都能收效，那么将为推理建设一个新的低功耗圭臬。西门子 EDA 高档详尽部门名堂总监 Russ Klein 暗意：“无需迁徙所罕有据和IMC承诺的并行性所带来的节能后果将不仅对东说念主工智能产生巨大影响，而且对任安在大型数据阵列上进行的经营也会产生巨大影响。”

咱们还将提供硬数据来自大对于数据迁徙才智与经营才智的哪种表面是正确的。

https://semiengineering.com/is-in-memory-compute-still-alive/

半导体宏构公众号保举

专注半导体领域更多原创内容

和蔼寰球半导体产业动向与趋势

*免责声明：本文由作家原创。著作内容系作家个东说念主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或复旧，要是有任何异议，迎接干系半导体行业不雅察。

今天是《半导体行业不雅察》为您共享的第3976期内容，迎接和蔼。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID：icbank

心爱咱们的内容就点“在看”共享给小伙伴哦