端侧部署前的现场条件确认
本篇说明端侧部署与云端部署在准备阶段的差异,包括需要先确认的三类条件、条件如何影响方案构成,以及为什么这些条件无法在实施阶段临时补充。
准备阶段核对的对象不同
云端部署的准备阶段主要核对软件环境:服务端算力、网络带宽与依赖组件的版本。端侧部署的准备阶段需要核对现场本身:终端是什么、网络条件如何、数据能否离开现场。 对象不同的原因在于算力位置变了。算力移到终端之后,部署的约束条件也随之从服务端转移到现场。同一个模型在不同现场的可部署性可能完全不同,因此准备阶段需要对现场逐项确认。这一差别也影响准备阶段的周期安排:云端部署的准备期主要用于环境搭建与联调,端侧部署的准备期还包括现场条件确认与设备核对,两项内容无法压缩到同一时段完成。
需要先确认的三类条件
官网列出的三类现场分别对应三类条件。网络条件指现场是否具备稳定网络:工业与能源现场多为物理隔离,政务与法律现场处于专网环境,两者都要求方案在无外网条件下运行。 终端条件指可用设备形态与算力。办公终端、无风扇工控网关与政务一体机三类终端的资源与散热差异较大,可用的模型规格档位区间随之不同。数据条件指数据能否离开现场:金融与政务场景要求数据不出域,工业现场要求数据不出厂,这类要求决定推理需要发生在现场内部,排除了依赖外部服务的方案形态。
条件如何影响方案构成
三类条件通过两条路径影响方案。第一条路径是终端条件决定模型规格档位与运行时配置:算力与散热上限确定之后,可选的档位区间随之收窄。 第二条路径是网络与数据条件决定整体架构:需要断网运行或数据不出域时,方案需要包含本地推理与本地知识库两部分,且不设对外数据通道。两条路径共同确定交付物的构成,其中终端条件影响选型,网络与数据条件影响架构。 这些条件需要在准备阶段确认,而不是实施阶段补充。原因在于两类条件都会改变交付范围:终端条件变化可能导致型号更换,数据条件变化可能导致架构调整,两者都会影响交付物清单与周期。把条件确认放在方案阶段,范围与周期才有稳定的约定基础。把条件确认与范围约定放在同一阶段完成,还有一个作用是让交付清单可核对:清单上的每一项都能对应到某项现场条件。
三类条件的确认顺序通常是先终端、后网络、再数据。终端条件决定可选型号区间,是收敛范围的第一步;网络与数据条件决定架构是否需要包含本地推理与本地知识库,是确定形态的一步。顺序颠倒会带来返工:若先按依赖外部服务的形态设计架构,再发现数据不能离开现场,方案构成需要整体重排。条件确认与范围约定放在同一阶段完成,也是为了避免这种重排。