AI推理的芯片公司，瞄准Token降本90%

大模型的商业化，正在面对一道具体的算术题：同样的模型、相近的服务体验，每生成一个Token，成本还能降多少？

这为推理芯片创业公司打开了新的切入口。成立于2026年的熵旋芯智，选择从模型权重的存储与计算方式入手。

熵旋芯智提出首代MRAM存内计算架构MITA：MRAM In-Memory Tensor Architecture，并将相应处理单元定义为MPU：MRAM-based Processing Unit，旨在通过权重驻留、原位计算与异构协同，改善推理系统的成本结构。

推理成本给新架构留下空间

理解这家公司的机会，需要先看推理过程中的数据开销。

大模型生成内容时，Decode阶段需要逐步生成Token。在单请求或较小批量下，权重读取难以被大量Token摊销，更容易受到存储带宽和数据访问开销限制；上下文变长后，KV Cache访问也会持续增加。

芯片标称算力更高，并不必然带来同等幅度的推理效率提升。客户还需要考虑带宽、容量、通信，以及实际负载下的资源利用率。

不同架构正在寻找各自的优化路径。GPU依靠并行计算、高带宽存储和成熟的软件生态支撑主流推理；Groq LPU通过片上SRAM、专用计算与确定性执行机制，提高数据访问和计算效率，同时需要平衡容量、芯片数量与互连成本。

熵旋芯智选择进一步融合存储与计算：让部分矩阵运算直接在存储权重的MRAM阵列中完成。其机会在于，能否针对特定负载形成明确的效率收益，并进入现有推理系统。

MITA改变

权重参与计算的方式

相较于SRAM，MRAM具有非易失性及更高存储密度的潜力，为片上部署模型权重提供了新的选择；MITA进一步让权重在存储阵列内部参与计算。

在MITA架构中，模型权重经过量化与映射后驻留于MRAM阵列。推理时，输入激活信号进入阵列，利用MRAM器件特性完成相应矩阵运算，再经读出、模数转换和数字处理形成结果。

其差异化既来自减少权重的反复搬运，也来自将存储与部分矩阵计算融合于同一阵列。

MITA重点面向权重密集型线性运算，尤其是MoE模型的专家前馈网络。MoE通过每次调用少量专家扩大模型参数规模，也带来了大量专家权重的存储、动态调用和跨设备调度需求。MITA希望利用权重驻留与原位计算，减少专家计算中的重复权重访问开销。

在异构系统中，MPU承接适合映射的计算任务。注意力计算、KV Cache访问及不适合阵列执行的操作，仍需GPU与配套计算、存储资源协同完成。超大规模MoE模型则需要结合阵列容量、量化精度和专家分配策略，采用多芯片协同部署。

这一定位，为MITA划定了价值边界：围绕权重密集型计算，争取成为推理系统中的专用执行单元。

从技术潜力走向客户采购

创投视角下，架构差异能否形成生意，需要看它如何转化为客户收益。

对于云厂商和模型服务商，阵列能效只是评估的一部分。采购还要看单位Token成本、响应延迟、并发能力，以及接入现有系统的改造代价。

MITA需要完成从阵列到系统的验证：在满足模型精度要求的同时，控制器件差异、读出误差和外围电路的面积与功耗；在多芯片部署中处理专家分配、通信延迟和负载均衡，避免新增开销抵消阵列收益。编译器与运行时则需要将合适的算子交给MPU，并协调异构执行。

MRAM制造工艺的持续推进，为这条路线提供了工艺基础。存内计算仍需完成自身的芯片与应用验证，才能将器件优势转化为可交付的系统能力。

公司将单位Token推理成本降低90%作为中长期技术与商业目标。这一目标需要在相同模型、精度、并发规模、上下文长度和服务质量要求下，综合核算设备投入、功耗、运维以及异构通信成本。

对熵旋芯智而言，接下来的关键，是将MRAM的器件特性转化为完整芯片与异构系统的效率优势。随着芯片验证和客户负载测试推进，MITA的商业价值，将逐步体现在端到端推理表现和单位Token成本中。