LPDDR5X-PIM：内部带宽 8 倍于普通 LPDDR5X，解码只快 3 倍

2026 年 8 月的 Hot Chips 大会上，三星公布了一颗被官方称作「业界首颗带 processing-in-memory 技术的 LPDDR 内存」的芯片：LPDDR5X-PIM。它的宣传材料里有两个数字放在一起很有意思：芯片内部可用的数据路径，从普通 LPDDR5X 的外部接口 76.8 GB/s，拓宽到 614 GB/s，正好 8 倍；可它自家跑 Llama 3.1 8B 的测试里，生成吞吐从每秒 27.0 个 token 涨到 81.3 个，只有 3 倍出头。带宽翻 8 倍，解码只快 3 倍，多出来的带宽去哪了？

这篇专题要追的，就是这个落差。追下去你会发现，答案不在芯片本身，而在我们对「LLM 解码的瓶颈到底是什么」的理解上。真正卡住推理的不是算力，是权重搬运。三星把计算挪进内存，绕开了这道搬运的墙，但也因此把这场游戏的胜负手，从硬件移交给了软件。

瓶颈真的是算力不够吗？——解码每出一个 token，就要重读一遍全部权重

1.1 三十年前就被命名的墙

「内存墙」（memory wall）这个说法，出自 Wulf 与 McKee 1995 年发表在 ACM SIGARCH 上的一篇五页短文《Hitting the Memory Wall》（命中内存墙）。两位作者当时在弗吉尼亚大学给出的论证，今天看依然成立，而且只需要三个数字：处理器性能每年大约提升 80%，DRAM 的访问时间每年大约只改善 7%。两条指数曲线起点相近，但底数不同，差距本身就按指数放大。

他们用一个公式把这件事说死。平均访存时间

$$t_{avg} = p \cdot t_c + (1-p) \cdot t_m$$

其中 $t_c$ 是命中缓存的代价，$t_m$ 是落到 DRAM 的代价，$p$ 是命中率。关键的一步在于「给对手最好的假设」：假设缓存与处理器同速，假设没有冲突缺失、没有容量缺失，只剩第一次访问数据时不可避免的强制缺失。即便如此，$(1-p)$ 也是一个大于零的常数，而 $t_m$ 以处理器周期数来计时，数值不断变大，第二项早晚主导一切。按作者估算，当 20% 的指令要访问内存时，平均访存时间超过 5 个 CPU 周期，系统整体就变为内存受限。缓存加大、预取、换替换策略，全都不管用，因为这套论证根本不给你那些把柄，它已经假设了完美的缓存。

图注：两条增速不同的指数曲线必然发散：处理器每年快 80%，DRAM 每年只快 7%，差距本身按指数放大。当平均访存时间越过 5 个 CPU 周期这条线，系统性能整体由内存决定，处理器再快也只是在等数据。

作者在文末诚实地承认，他们对具体年份的预言大概是错的，然后把话锋转向一个开放式收尾：正确的解法，可能是我们还没想到的东西。这句话要到三十一年后、在这颗 LPDDR5X-PIM 上兑现。不过先把墙立起来：这篇论文的价值不在预言，而在指出一个结构事实，1995 年如此，2026 年也如此，只要程序反复搬数据，算力再多也是摆设。Wulf & McKee

1.2 解码：把「搬数据」写进骨子里的循环

LLM 的自回归（autoregressive）解码，是 memory wall 在今天的标准形态。生成阶段的每一步只产生一个 token，且要基于全部已生成的上下文重新计算一遍。每一层的核心运算都是同一种形态，GEMV（矩阵向量乘，把一个矩阵乘到一个向量上），但被乘的矩阵来自两股性质完全不同的数据流，必须分开看。第一股是全连接层（FC）的权重矩阵：QKV 投影、输出投影、前馈网络，层层叠叠、大小固定，每出一个 token 就要把这一整块权重从内存里重新读出来乘一遍。第二股是 attention（注意力）里的 K、V 序列矩阵：它们不是权重，而是由前缀里每个 token 现算出来的键值，激活向量 Q 只有一行，被乘的 K、V 却是整个序列长度的矩阵，随上下文逐 token 累积。序列一长，读进来的数据远远多于算出来的结果。

Park 等人在 ASPLOS 2024 的 AttAcc 论文里，把 attention 这股「读多算少」的程度量化了。对 GPT-3 175B（d_emb=12288、N_head=96），序列长度 L > 2048 时，attention GEMV 的外部与内部数据搬运比约为 1/128：每在内存里读进约 128 字节的 K、V，与它相关的输入输出加起来才约 1 字节。算术强度（arithmetic intensity，每读一字节数据能做的浮点运算）低到这种程度，再多的计算单元也只是空转：他们在 NVIDIA DGX A100 上测得 attention 的 compute unit 利用率不足 1%。batch 加大也救不了这一股，因为每个请求的 KV 矩阵相互独立，无法跨请求复用，KV 总量随上下文线性膨胀，AttAcc 指出长上下文下所有请求的 KV 合计甚至可能超过整个模型的权重。

那第一股，全连接层的权重呢？还是 AttAcc 的测量给出了对比证据：同一个 batch size 256 下，FC 层 GEMM（把一批激活向量乘上同一份权重）能跑到 71% 的 compute unit 利用率，attention 层却依然趴在低位。差别就在复用：FC 层的权重对每个请求都是同一份，batch 越大越能摊薄；attention 的 KV 每个请求各写各的，摊不薄。把这个机制反过来读，就是 decode 的默认处境：单请求解码（batch=1）时权重没有任何复用机会，每一个 token 都要把每一层全连接的权重完整重读一遍。这就是「权重搬运」的含义，也是 PIM 后来要就地消化掉的那笔账。

于是「算力不够，所以需要更多算力」的直觉被拆穿了：小批量解码的瓶颈不在浮点运算，而在数据搬运，两股都在搬，搬法不同。权重这股尤其致命，它大小固定，每个 token 全量重读，是每步必付的固定成本；KV 这股随上下文增长，长上下文下同样可观。数据在外部总线上排队，MAC（乘加）单元闲置。这正是 Wulf 与 McKee 描述的那道墙在 LLM 上的新形态，它不是某种偶然的忙等待，而是算术强度这个结构参数决定的必然。AttAcc

理解了这一点，后面的每一章其实都在回答同一个问题：怎么绕过这道墙？以及，绕过去之后还剩什么？

如果瓶颈是那道门，就别出门：16 个 bank 各自邻接 MAC

2.1 官方只说了两句话

三星官方对自己这颗芯片的定位相当克制。新闻稿里只有两句：这是「业界首颗带 PIM 技术的 LPDDR 内存」，它「在内存内部完成部分 AI 计算，以减少数据搬运」。注意两个限定词：「部分 AI 计算」和「减少数据搬运」。官方既没有声称内存变成主加速器的替代品，也没有给任何带宽或算力数字。76.8 GB/s、614 GB/s、2.4 TOPS，这些数字都不出现在官方新闻稿里，它们来自 Hot Chips 2026 演示的第三方转述与第三方推算。这个「官方口径 vs 第三方解读」的边界，我们后面会一直用到。Samsung Newsroom

三星在 FMS 2026 展台上摆了一块概念对照展板，把官方想讲的叙事画了出来：

图注：展台概念对照：上方为常规 LPDDR5X，下方为 LPDDR5X-PIM，xPU 与内存之间以发光带相连，PIM 版本在 bank 区域高亮，示意计算在内存内部就地发生。这是官方展示的概念示意，不承载任何带宽或能效数字。Samsung Newsroom

这颗芯片也不是凭空冒出来的。三星的 PIM 路线已经走了五年：

图注：三星 PIM 技术的三阶段演进：2021 年 HBM-PIM 概念验证，2023 年 HBM-PIM Cluster Validation 并概念化 LPDDR5X-PIM，2026 年正式产品化。图中各节点的芯片实物只作时间线示意，不能从中推断任何阶段的性能数字。Chips and Cheese

2.2 一栋楼，16 个房间，每个房间都有自己的计算员

为什么内部路径能到 614 GB/s？答案藏在三级放大图里。先看最左侧的整颗芯片：它有 16 个 bank（DRAM 内部的并行存储块），每个 bank 下方都挂着一个 PIM block。普通 LPDDR5X 里，任何计算都要把数据从 bank 搬到芯片外的处理器去算，唯一的出入口是外部接口，峰值 76.8 GB/s，所有数据都在这道门排队。PIM 的做法是给每个房间配一个计算员：16 个 PIM block 各自就地读取自己挂靠的 bank，各自算，只有必须出芯片的中间结果才走大门。16 份内部通路同时干活，聚合出 614 GB/s。8 倍来自 16 个房间的并行，不是大门被加宽了。顺带说清这个倍数的口径：常规模式的 76.8 GB/s，只对应控制器少量打开 bank 的数据路径；PIM 模式把 16 个 PIM block 全部并行激活，614 GB/s 是从 16 条路径同时工作的意义上聚合出来的，芯片的外部接口本身没有变宽。

图注：从芯片到 bank 再到 PIM block 的三级放大：最左侧一颗芯片上 Bank 0 到 Bank 15 共 16 个 bank，每个下方标着 PIM，这是 8 倍内部带宽的直接视觉来源；中间是单个 bank 与 PIM block 的寄存器组与 MAC 树；右侧是 ALU 内部 FP 与 INT 两条数据路径。Chips and Cheese

用一栋楼打比方：把一颗 LPDDR5X-PIM 想象成有 16 个房间的楼，每个房间是一个 bank，存放着权重的一部分。过去，任何计算都要把材料搬出大门、送到楼外处理，大门吞吐就是 76.8 GB/s，谁都在这里排队。PIM 给每个房间配了一个计算员，各自在房间里就地处理自己的那份权重，只有真正要送出去的成品才走大门。于是同样一座楼，同时有 16 份活路在跑，聚合吞吐 614 GB/s。

PIM block 内部长什么样？看下一张图。它不是一个完整的处理器，而是一组专门为「在本地算权重」设计的部件：

图注：单个 PIM block 的内部构成：1024-bit 指令寄存器文件（最多 64 条 16 位指令）、4 kbit 源寄存器文件存放激活向量、2 kbit 缩放寄存器文件存放缩放因子；权重从挂靠的 bank 就地读取，与激活向量一起送入 ALU（每 data clock 4 次 INT8 MAC），累加结果写回向量寄存器文件。全程不穿外部总线。Chips and Cheese

这段「本地供给」是 PIM 能成立的核心机制：算一个 GEMV 需要的所有输入，指令、激活向量、缩放因子、权重，都在 bank 内部凑齐了，剩下唯一要穿门的是最终结果。

2.3 2.4 TOPS 是怎么回事

既然提到了算力，就把它一次说清。2.4 TOPS（万亿次运算每秒）不是三星官方公布的数字，而是 Chips and Cheese 基于演示文稿里「每个 PIM block 每 data clock 4 次 INT8 MAC」这一口径反推出来的：16 个 block、每个周期折算 8 次、4800 MHz 时钟，得到约 2.4 TOPS INT8。Tom's Hardware 转述的粗略口径是「约 2 TOPS」。两个数字并列，标注为第三方推算与转述的口径分歧。

更重要的是定位：这颗芯片的算力是「为就地消化权重」这个设计顺手带出来的副产品，不是卖点。2.4 TOPS 和任何端侧 NPU 都不在一个量级，它从来不打算拿来对标算力。但要留意一个限定：614 GB/s 是 16 条内部路径聚合的可用上限，是路径宽度，不是任何应用能持续跑到的速率。这个限定，是下一章量落差的前提。Chips and Cheese

Llama 3.1 8B 硅片实测：3.01 倍从哪来，为什么不是 8 倍

3.1 不是模拟器，是造出来的硅片

三星在 Hot Chips 2026 上公布的是真芯片的结果，不是模拟器：自家的 edge AI accelerator SoC（型号未公开）接 LPDDR5X-PIM，跑 Llama 3.1 8B，INT8 激活、INT4 权重、输出 320 个 token。四个数字带完整条件列出来，就是标题里那个落差的精确口径：

测试条件：Llama 3.1 8B / INT8 激活 / INT4 权重 / 320-token 输出 / 三星自家 edge AI accelerator SoC（型号未公开）。这是三星在会议上自报的 preliminary benchmark（初步基准），这两个倍率被多家第三方转述，口径一致。

回到第二章那张三级放大图的最左侧：16 个 bank 各挂一个 PIM block，这是 8 倍带宽的硬件来源。可现在实测只换来了 3.01× 吞吐、2.28× 运行时间。奇怪的地方正在这里：如果瓶颈果真是权重搬运，而 PIM 已经把搬运就地消化了大半，为什么收益没有接近 8 倍？Chips and Cheese

3.2 三类限制：解释得了落差，各自占比却没披露

三星自报的只有端到端数字，没有任何环节级的分解。所以对 3.01×，我们能说的是「有哪些机制可以解释它」，而不是「它精确由哪几笔构成」。以下三类限制在公开资料里都有实据，方向上都在给带宽收益打折，但各自在实测里占了多少比例，三星没有披露。

第一类限制：614 GB/s 是路径上限，不是持续速率。即便计算发生在 bank 内，host（主机）仍要在计算前准备数据、下发命令，算完再回收结果。这三步都要穿越外部接口，也就是那道 76.8 GB/s 的门。PIM 省掉的是「权重反复搬运」，没省掉「控制与结果搬运」。

第二类限制：模式切换（mode switch）。每通道有一对预定义行作为模式控制地址，激活其中一行是普通模式，激活另一行是 PIM 模式。切换之后，读写命令的含义都会改变：PIM 模式下「读」触发的是 MAC 计算并把结果累加进向量寄存器，而不是把数据取出来。也就是说，只要芯片处在 PIM 模式，host 上任何一个线程发起的常规读，都会被解释成 PIM 副作用。端到端跑一个模型，PIM 段和常规访存段无法共存，切换本身也占时间。

第三类限制：PIM 覆盖不到的算子。attention、softmax、跨 bank 归约这类运算，无法整个留在单一 bank 里，它们要跨 bank 协作，而这些协作通信 PIM 做不了。这类算子上的开销，在下一章要引用的 CompAir 那份通用长上下文 DRAM-PIM 研究里是最重的，但那是针对 DRAM-PIM 这一类架构的通用诊断，不是三星这颗芯片实测的因果拆分。

三类限制加在一起，结论是一个判断：带宽翻 8 倍，不等于应用快 8 倍。614 GB/s 是给「恰好能留在 bank 内的计算」准备的天花板，而一次真实的解码里，有大量时间花在了天花板之外的地方。具体是哪几类算子、各占多少，三星没有公布；下一章借通用研究看的，是这类架构在哪类算子上普遍吃亏。

2.4 TOPS 替代不了主加速器——哪些算子留不在单一 bank？

4.1 DRAM-PIM 擅长什么，不擅长什么

bank 级 PIM 的本质是「就地消化权重重读」：它最擅长的是权重规则、可分片、每个 bank 内部自洽的矩阵向量乘。它的计算单元是 SIMD 风格的矢量运算，多个 bank 对同一份广播来的激活向量、各自用自己的权重做乘加。这套打法有一个前提：数据得留在本地 bank。计算要跨 bank 协作的那一刻，优势就没了。

先看 DRAM-PIM 与另一条路线 SRAM-PIM 的边界。Li 等人的 CompAir 论文（arXiv:2509.13710，MICRO 2025 投稿稿）对此做了量化对比：

图注：三种方案在解码场景下的对比：纯 SRAM-PIM 把所有全连接层都放在静态随机存储器里算，所需的宏单元数量与功耗不可接受；SRAM-PIM 叠在 DRAM 上的优势只出现在 batch=32 的 Q/K/V 投影层；到了依赖序列长度的 attention 侧，它反被纯 DRAM-PIM 反超。没有哪种 PIM 通吃一切。CompAir

这条对比说明：PIM 的电路不是放得越多越好。DRAM-PIM 有矢量并行但不擅长跨 bank 通信，SRAM-PIM 延迟低但容量和面积受限。对三星这颗芯片来说，它走的是 DRAM-PIM，天然继承「本地强、跨 bank 弱」这个性格。CompAir

4.2 非线性算子：被低估的 20% 到 25%

attention 为什么留不在单一 bank？因为它的核心步骤 QK^T 和 SV 依赖运行时才知道的 KV 矩阵，softmax 的 max 与 sum 都需要跨 bank 归约，每一步都把数据搬来搬去。CompAir 把这条路线的通信开销量化成了四张面板：

图注：非线性算子的开销拆解：(A) 所有 channel 共享一个集中式非线性单元，导致大量来回数据搬运；(B) 在每个 channel 里内置本地非线性单元，则要付面积代价；(C) 在 4K token 序列下，softmax、RoPE、RMSNorm、SiLU 这类非线性操作约占 transformer block 执行时间的 20%；(D) 长上下文场景下，非线性算子所需的跨 bank reduction 与 broadcast 通信可占 DRAM-PIM 总推理时间超过 25%。CompAir

注意 25% 的限定：它描述的是长上下文场景的边界值，不是任意推理下的固定比例。它还揭示了一个更隐蔽的问题：既有 DRAM-PIM 为了躲开跨 bank 通信，习惯把输出分片（output-split）方式限制死，即每个 bank 只负责输出矩阵的固定几列。CompAir 指出这种限制本身是次优的，因为 output-split 要求对同一输入做大量广播。为了躲开一堵墙，你给自己砌了另一堵。

再补一个容量侧的约束，一句话带过。AQPIM（HPCA 2026）指出：长上下文的 KV cache（键值缓存）可以膨胀到数百 GB，经常超过 PIM 因面积代价而有限的容量；而稀疏注意力这类常规 KV 减负手段，又因为散乱访问与 PIM 要求的数据局部性直接冲突，救不了场。AQPIM

到这里，2.4 TOPS 的定位彻底落定：把它翻几倍也解决不了非局部算子的问题，因为问题不在每个 bank 能算多快，而在于数据留不在本地。PIM 赢在权重重读这半边，输在需要跨 bank 协作的那半边。于是接下来只剩最后一个问题：既然硬件决定了「哪些计算天生进不了 PIM」，那在「能进 PIM」的这半边里，计算能不能进去、什么时候进去，由谁决定？答案不是硬件，是软件。

「换一颗内存就能用」只降了硬件门槛，软件才是胜负手

5.1 两种布局，天然互斥

「把权重切到 bank 里」听起来像是把数据倒进 16 个房间就行，但 Yang 等人的 DCC 论文（arXiv:2511.15503）把这件事的物理现实摆了出来：host 处理器需要连续元素跨 bank 分布，这样缓存行读可以同时摊到多个 bank、吃到并行带宽；而 PIM core 需要连续元素留在自己本地 bank 内，否则没法做 SIMD 式的本地流式读取。同一个张量，两种视图，天然冲突。

矛盾落到执行上就是三步：每次 kernel 都要先做输入重排（input rearrangement），把元素按 PIM 的要求归拢进各 bank；算完再做输出重排（output rearrangement），把部分结果合并回 host 视图。两步都穿越 host 内存总线：

图注：近 bank PIM 的布局冲突与 kernel 执行流程：host 在顶部，下方每个 PIM device 内含多个 PIM group，每个 group 的 PIM core 紧贴本地 bank。编号箭头标出三步，输入重排、计算执行、输出重排，前两步都经由 host 内存总线进出，这是软件代价的物理位置。DCC

重排不是可以顺手优化的边角料。DCC 的模拟统计显示，数据重排平均占 kernel 时间的 64.68%，而且它必须与计算代码联合调优：一个看起来更快的计算调度，一旦把重排账单算进去，可能整体更慢。单独优化任何一边都是错的。DCC

5.2 编译器把冲突接过去，但决策是持续性的

DCC 证明布局冲突有系统化的软件解：它用 system、PIM group、PIM core 三层抽象描述任意近 bank PIM 后端，把「哪种布局乘哪种计算调度」变成一次搜索与预测，生成候选、用耦合性能预测器打分、选出最优调度，最后落到各后端的 PIM 指令。

图注：DCC 编译流水线的五个组件：多层抽象让调度生成器枚举数据分片，PIM 特定代码优化器产出候选 IR，耦合性能预测器打分选优，最终降级为后端相关 PIM 指令。注意这是编译器的流水线，不是硬件结构。DCC

但这只解决了「静态」的一半。Zhao 等人的 Dual-View Memory 论文（arXiv:2608.06989，MICRO 2026）观察到另一半：这个最优解本身是时变的。Qwen1.5-MoE-A2.7B 的某一路 expert（MoE 混合专家模型里的一位专家），算术强度在相邻两个解码步骤之间从 78 翻转到 6 FLOPs/byte，前一拍它算力敏感、后一拍它带宽敏感，最优执行设备随之切换。静态设备偏向映射在这种翻转下直接损失带宽。注意这个 78 到 6 只适用于该模型那一颗 expert，但它指出的问题是一般性的：prefill（预填充）与 decode 的阶段切换、MoE 路由的逐层变化，都让「这条数据该在 PIM 上算还是 host 上算」成为运行时决策。Dual-View Memory

图注：MoE 解码中专家强度逐步骤变化：(a) 同一 expert 的算术强度在相邻步骤间翻转，改变最优执行设备；(b) 静态设备偏向映射在设备切换时产生带宽损失；(c) 双视图映射加运行时调度，在访问方变化时仍维持高效执行。Dual-View Memory

也就是说，「把计算送进 PIM」不是写一个 kernel 就完事，而是编译器与运行时在每次推理中持续做对的决策。这份工作没有先例可抄：SimplePIM 团队在 UPMEM 这类通用核 PIM 上记录过真实的手写负担，8 字节对齐、2048 字节 scratchpad 传输上限、至少 11 个线程的手工管理，作者的原话是「合适的库、编程模型、编译器和工具支持，是 PIM 在真实系统里落地的关键」（注：UPMEM 是通用核 PIM，与三星的 bank 级 MAC PIM 不同类，负担清单不能直接外推）。SimplePIM

5.3 「drop-in」只压平了硬件门槛

硬件一侧确实被压到了最低：LPDDR5X-PIM 用标准 561-ball JEDEC 封装，通过 AAM（Address Align Mode，地址对齐模式）让现有 DRAM 控制器可用，OEM 不需要改板就能换上。这个「换一颗内存」的兼容性已获 Tom's Hardware、Seoul Economic Daily 与 Chips and Cheese 三方独立确认。

但软件一侧完全是另一回事。截至 2026 年 8 月 29 日，llama.cpp 与 vLLM 都没有官方 PIM 支持，公开仓库里检索不到相关分支或 PR。原因每条都硬：GGUF Q4_K_M 的 per-block 缩放是 DRAM 逻辑执行不了的；PIM 要求连续且 bank 对齐的权重矩阵，与操作系统页分配、llama.cpp 的 mmap 加载天然冲突；PIM 模式下读命令带副作用，会破坏 CPU 的缓存、预取器与乱序执行。至于更远的路线图：LPDDR6-PIM 的 JEDEC 标准化正在推进（三星称希望 2026 年内拿到初版规范），但这些是厂商与媒体表述，没有 JEDEC 官方公告定案；2027 年量产是厂商目标，目前没有已签的 design win（设计中标）。Developer Guide

硬件是真的，这一点没有悬念。FMS 2026 展台上摆着实物：

图注：FMS 2026 展台上官方陈列的 LPDDR5X-PIM 实物展品：金属灯箱内并排两枚微型芯片，右侧可见球栅触点阵列，下方印着型号字样。图中两枚芯片的分工不可推断，它只是「硬件已做出实物」的事实性证据。Samsung Newsroom

5.4 还没想到的东西，想到了一半

回到第一章。Wulf 与 McKee 在 1995 年说，正确的解法可能是我们还没想到的东西。PIM 正是这类答案中的一种：它没有去加宽那道门，而是干脆不出门。但三十一年后的这颗芯片，同时提醒我们另一半事实：把计算搬进内存，只是把问题的形状从「带宽」换成了「谁能把计算稳定地映射进 bank」。8 倍内部带宽只换来 3.01 倍实测，不是芯片的失败，而是同一个硬币的另一面，PIM 赢在权重重读这半边，输在需要跨 bank 协作的那半边；而决定哪些算子走哪边、数据怎么切、什么时候切模式的，是编译器与运行时。

所以，判断 LPDDR5X-PIM 值不值得跟进，分水岭不在 2.4 TOPS，也不在 drop-in 封装，而在软件栈能否把可规则分片的权重计算稳定送进 bank。硬件已经摆在展台上了，软件这座桥，还没搭好。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Samsung Newsroom: LPDDR5X-PIM 官方发布与 FMS 2026 展出 — 官方新闻稿
2. Wulf & McKee, Hitting the Memory Wall: Implications of the Obvious, ACM SIGARCH CAN 23(1), 1995 — DOI:10.1145/216585.216588
3. Park et al., AttAcc! Unleashing the Power of PIM for Batched Transformer-based Generative Model Inference, ASPLOS 2024 — DOI:10.1145/3620665.3640422
4. Chips and Cheese: Hot Chips 2026: Samsung's Processing-in-Memory (PIM) — chipsandcheese.com
5. Li et al., CompAir: Synergizing Complementary PIMs and In-Transit NoC Computation for Efficient LLM Acceleration — arXiv:2509.13710
6. Zhao et al., Rethinking Unified Memory for NPU-PIM Systems: Dual-View Memory for Dynamic Inference of LLM — arXiv:2608.06989
7. Yang et al., DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures — arXiv:2511.15503
8. Chen et al., SimplePIM: A Software Framework for Productive and Efficient Processing-in-Memory — arXiv:2310.01893
9. Matsushima et al., AQPIM: Breaking the PIM Capacity Wall for LLMs with In-Memory Activation Quantization — arXiv:2604.18137
10. byteiota: Samsung LPDDR5X-PIM at Hot Chips 2026: Developer Guide — byteiota.com