炬焰推理引擎

炬焰推理引擎帮助开发团队将模型推理部署到 CPU、NPU 等目标设备，覆盖模型准备、量化配置、后端适配与运行验证。

核心能力

支持 INT4、INT8 等量化方向；面向多种 NPU 后端适配；支持 KV Cache 等推理资源管理方案。具体精度与格式依模型和后端而定。

适用场景

适用于将生成式模型或视觉模型部署到本地设备、边缘节点和行业终端，可作为从模型验证到设备集成的推理基础。

部署说明

硬件支持、算子覆盖、精度和速度随芯片型号、驱动、模型结构和输入长度变化。正式选型前请在目标设备进行兼容性与性能测试。