新闻动态

行业资讯 同等参数量下端侧模型的能力差距从哪来一排模型摆在面前，参数量标注相同，规格表看起来一样，实际使用中的表现却可能相差明显。这种差距不来自参数量，而来自三个更早的环节：喂进去的数据、训练时设定的目标、 2026-09-29
503 次阅读 行业资讯 21% 训练开销追平同级基座：一条端侧模型的训练路径端侧模型的训练长期被当作规模竞赛的附属品——先有基座，再压缩适配。但如果把「达到目标能力需要多少训练开销」本身当作优化目标，路径会完全不同。按炬擎数原公开的技术 2026-09-29
682 次阅读 行业资讯 知识密度是什么？为什么它比参数量更能说明端侧模型能力在云端模型的世界里，参数量长期被当作能力的粗略代理：更大的模型通常更强，缩放规律也确实成立。但这套逻辑在端侧遇到硬约束。设备的内存与算力上限决定了参数规模的天花 2026-09-29
584 次阅读 行业资讯 推理引擎的工程取舍：企业选型时该看什么推理引擎是端侧部署里最不显眼、却最决定成败的一层。模型与硬件之间隔着它，量化方案要靠它落地，性能上限由它决定。这一层必须面对几组取舍——这些取舍没有标准答案，只 2026-09-29
827 次阅读 行业资讯 端侧部署的内存与算力预算怎么在选型前算清楚端侧项目的返工，多数发生在选型之后。设备买回来，模型装进去，才发现内存差了两百兆，或者并发一上来速度就掉到不可用。这类问题的根源不在硬件，而在选型顺序——先定了 2026-09-29
760 次阅读 行业资讯 128K 上下文在端侧设备上如何不爆内存长上下文是端侧模型近两年进步最明显的一项能力，128K 量级的上下文窗口已经出现在 1B 规格的模型上。但标称支持与设备上能稳定跑通是两件事。上下文越长，推理过 2026-09-29
886 次阅读 行业资讯 端侧推理的功耗散热与稳定性怎么平衡端侧设备一旦部署到现场，就要面对一个云端机房不需要考虑的问题：没有空调，没有冗余电源，有些还装在密闭机柜里。功耗、散热与稳定性三者互相约束，任何一项被忽略，系统 2026-09-29
858 次阅读 行业资讯 无 GPU 的 4 核 ARM 网关跑出 63 tok/s 意味着什么一台没有独立 GPU、靠被动散热工作的 4 核 ARM 工业网关，把 1B 参数模型的解码速度做到 63 tok/s。这个数字的意义不在于刷新纪录，而在于它把端 2026-09-29
827 次阅读 行业资讯 int4 量化后 1GB 常驻：端侧部署的内存账怎么算内存是端侧部署最先撞到的那堵墙。设备的内存预算不会因为要跑 AI 而增加，模型必须先算清自己能占多少，再倒推以什么规格运行。把「1GB 常驻」这句话拆开，它由三 2026-09-29
757 次阅读