新闻动态

行业资讯 知识密度是什么？为什么它比参数量更能说明端侧模型能力在云端模型的世界里，参数量长期被当作能力的粗略代理：更大的模型通常更强，缩放规律也确实成立。但这套逻辑在端侧遇到硬约束。设备的内存与算力上限决定了参数规模的天花 2026-09-28
584 次阅读 行业资讯 推理引擎的工程取舍：企业选型时该看什么推理引擎是端侧部署里最不显眼、却最决定成败的一层。模型与硬件之间隔着它，量化方案要靠它落地，性能上限由它决定。这一层必须面对几组取舍——这些取舍没有标准答案，只 2026-09-28
827 次阅读 行业资讯 端侧部署的内存与算力预算怎么在选型前算清楚端侧项目的返工，多数发生在选型之后。设备买回来，模型装进去，才发现内存差了两百兆，或者并发一上来速度就掉到不可用。这类问题的根源不在硬件，而在选型顺序——先定了 2026-09-28
760 次阅读 行业资讯 128K 上下文在端侧设备上如何不爆内存长上下文是端侧模型近两年进步最明显的一项能力，128K 量级的上下文窗口已经出现在 1B 规格的模型上。但标称支持与设备上能稳定跑通是两件事。上下文越长，推理过 2026-09-28
886 次阅读 行业资讯 端侧推理的功耗散热与稳定性怎么平衡端侧设备一旦部署到现场，就要面对一个云端机房不需要考虑的问题：没有空调，没有冗余电源，有些还装在密闭机柜里。功耗、散热与稳定性三者互相约束，任何一项被忽略，系统 2026-09-28
858 次阅读 行业资讯 无 GPU 的 4 核 ARM 网关跑出 63 tok/s 意味着什么一台没有独立 GPU、靠被动散热工作的 4 核 ARM 工业网关，把 1B 参数模型的解码速度做到 63 tok/s。这个数字的意义不在于刷新纪录，而在于它把端 2026-09-28
827 次阅读 行业资讯 int4 量化后 1GB 常驻：端侧部署的内存账怎么算内存是端侧部署最先撞到的那堵墙。设备的内存预算不会因为要跑 AI 而增加，模型必须先算清自己能占多少，再倒推以什么规格运行。把「1GB 常驻」这句话拆开，它由三 2026-09-28
757 次阅读 公司动态 炬擎数原第一版端侧基座模型完成内部验证起点是一个具体的技术判断公司成立前的论证围绕一个问题展开：企业 AI 的普及瓶颈在哪里。当时的观察是，云端大模型能力已经足够强，但大量企业场景受限于三个条件—— 2026-09-28
828 次阅读 行业资讯 企业上 AI 为什么第一步该想清楚数据在哪企业落地 AI，多数讨论集中在「用什么模型」，但更早该回答的问题是「数据在哪、能不能动」。数据的位置和流动方式，决定了架构的形态、合规的成本，甚至决定了哪些任务 2026-09-28
665 次阅读