苏州炬擎数原科技
Novi Enterprise ↗ 中文 / EN联系我们
← 返回公司动态
公司动态 2026-09-28 · 次阅读

炬擎数原第一版端侧基座模型完成内部验证

小
小编
TorchDigit
炬擎数原第一版端侧基座模型完成内部验证

起点是一个具体的技术判断

公司成立前的论证围绕一个问题展开:企业 AI 的普及瓶颈在哪里。当时的观察是,云端大模型能力已经足够强,但大量企业场景受限于三个条件——数据不出内网、网络不稳定、长期调用的成本压力。这三个条件指向同一个方向:模型需要能装进企业现场已有的设备里。

这个判断在当时并不主流。端侧设备普遍被认为跑不动通用模型,可用的小模型集中在单一任务上,换一个任务就要重做一遍。第一版基座模型的内部验证,就是为了回答「通用能力能否与端侧规格同时成立」这个判断是否站得住。

fig-1.png

内部验证回答了什么

验证围绕三个指标展开。内存占用:目标是将整机常驻内存控制在 1GB 量级,使模型可以部署在工控网关与低配终端上。解码速度:在 CPU 与 NPU 上达到支撑交互式使用的水平,而不是只能做离线批处理。任务精度:在单据抽取、文本分类等企业高频任务上保持可用精度,不因模型规格缩小而失去实用价值。三个指标缺一个,端侧部署都不成立。

验证结果确认了技术路线的可行性,也暴露了后续需要补齐的部分——推理引擎在不同芯片上的适配、量化方案的精度稳定性、面向具体设备规格的调优流程,三者都还没有现成答案。这些问题构成了公司下一阶段的工作清单。

fig-2.png

公司定位与初期安排

炬擎数原定位为端侧 AI 基础软件公司,方向是在高效端侧大模型、推理引擎与企业 AI 应用建设之间建立完整链路。初期安排以技术研发为主:组建模型与引擎两条工程线,同时启动与潜在场景方的接触,验证真实业务环境中的部署条件。

从成立的第一天起,公司的衡量方式就锚定在设备侧的真实表现上——模型装得进什么设备、跑得多快、精度够不够用,而不以演示效果作为判断依据。这套衡量标准后来被提炼为更明确的指标体系,成为贯穿后续产品线的主线。

边界说明

本文为公司发展历程记录,所涉技术验证为内部测试环境下的阶段性结果,不代表产品发布状态;相关指标在后续版本中持续演进,具体产品性能以正式发布的技术文档为准。

成立与内部验证,是这条路径上第一个可确认的节点。此后的发展,围绕把验证结果变成可交付的产品展开。


上一篇 没有了
下一篇 没有了

相关阅读