清华、东北大学联合推出 EC²‑Bench 基准:揭秘长序列智能体的端云协同之道

10月26日消息,近日,由东北大学、清华大学、中国移动的研究团队共同发布EC²‑Bench(Edge‑Cloud Collaborative Agent Benchmark),一套面向大模型智能体长周期任务的端‑云协同评测基准,系统研究边缘设备与云端大模型如何分工协作完成复杂智能体任务,同时兼顾任务性能、算力成本与隐私泄露风险,相关代码、数据集、论文已全部开源开放。

图 :总览。一个典型的长程工作流里,端侧和云端 Agent 在同一条轨迹上轮流执行;我们研究的四种协同策略,区别在于谁决定云端何时介入、云端介入后做什么;以及三个研究问题。

当前本地边缘大模型(通常 10B 参数以内)数据不出设备、隐私性好,但面对复杂规划、工具调用类长周期任务能力存在明显天花板;云端前沿大模型能力强,但调用成本高昂,且会接收本地敏感工作数据,带来隐私泄露隐患。

过去 RouterBench、M4A1 等评测基准大多聚焦单次查询的路由选择,忽略智能体多步骤完整执行轨迹中逐步累积的成本、隐私泄露问题,缺少面向完整任务流程的端云协同评测体系。

EC²‑Bench 核心设计

EC²‑Bench 包含128 项可执行数字化工作空间任务,覆盖办公日常、信息检索、安全运维、开发运维、数据分析、自动化六大场景;其中 100 项任务附带细粒度隐私标注,合计 3385 个敏感信息单元,可量化评估隐私泄露程度。

评测依托 OpenClaw 智能体运行环境,从三大维度开展评估:

1. 任务性能:任务完成得分、多次运行稳定通过率 Pass³;

2. 资源开销:云端输入 / 缓存 / 输出 token、美元成本、边缘端 FLOPs 算力消耗;

3. 隐私暴露:统计泄露到云端的敏感信息占比,LLM 评判器对转述泄露识别 F1 可达 96.9%。

研究选取 4 种主流端云协同策略做对比实验,两大划分维度:谁决定何时调用云端(外部路由模块 / 边缘智能体自身)、云端被调用后做什么(直接生成执行动作 / 仅输出建议由边缘执行)。

图 :各端侧模型下,不同协同策略完成度的均值(点)和范围(线):范围从 25.22 分(Qwen3.5-2B)缩小到 3.67 分(Qwen3.7-Plus)。

图 :隐私暴露的范围始终很大,在 Qwen3.7-Plus 上达到 66.23 分。

- 查询路由:任务开始前一次性决策,全任务交给边缘或云端;

- 逐步路由:每一步由外部路由判断,该步骤交给云端执行;

- 边缘控制委派:边缘主动调用云端,云端直接生成下一步动作;

- 边缘控制建议模式:边缘主动请求云端获取方案建议,动作仍然由边缘模型生成。

实验选用边缘模型 Qwen3.5‑2B/9B/27B、Qwen3.7‑Plus;云端模型采用 GLM‑5.3,同时补充 DeepSeek‑V4.1‑Flash 对照实验,另外设置纯边缘、纯云端两组基线方案。

四大核心实验结论

1. 端云协同显著提升性能,大幅压低云端成本

以 Qwen3.5‑9B 为例,最优协同策略任务完成得分由纯边缘的 39.12 提升至 60.46,性能提升 54%,而云端开销仅为纯云端方案的 15%(8.73 美元对比 56.42 美元),在能力与成本之间取得折中,部分组合效果甚至优于边缘、云端简单加权混合的效果。

2. 边缘模型变强会缩小性能差距,但无法弥合隐私鸿沟

随着边缘模型能力提升,协同方案任务表现逐步逼近纯云端;但不同策略的隐私泄露差异依旧巨大。Qwen3.7‑Plus 场景下,不同协作策略完成度差距仅 3.67 分,隐私暴露指标最大差距高达 66.23 分。性能会收敛,但隐私不会自动收敛,协作策略是隐私安全的关键变量。

3. 边缘模型能力提升,最优协作模式发生切换

小参数量弱边缘模型(2B)更依赖外部路由,逐步路由效果遥遥领先;当边缘模型变强,控制权应当向设备侧迁移。当使用 Qwen3.7‑Plus,边缘控制‑云端建议模式拿到全场最高 76.84 的完成度,由边缘自主决定何时求助云端、本地完成最终动作,成为最优范式。

4. 边缘侧两项关键能力决定协同上限

一是判断何时调用云端:边缘自主决策调用时机,对比同等调用频率的随机调用基线,最高可带来 + 4.4 的性能增益;二是遵从云端指导:经过指令跟随训练,建议模式任务得分从 24.8 提升至 28.8。未来边缘模型不仅要追求独立任务能力,更要专门优化 “端云协同” 技能。

研究启示

该研究指出,面向本地智能体的未来研发,不能只看单机跑分,要重视模型协同能力。即便本地大模型能力持续变强,不同协作策略带来隐私风险差异依旧巨大,隐私将成为选型的核心区分指标。

Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号