苹果联合复旦推出StreamBridge框架 突破直播流视频AI理解瓶颈

苹果公司与复旦大学合作研发的StreamBridge端侧视频大语言模型框架近日发布,该技术致力于解决实时视频流分析的核心难题。传统视频AI模型在机器人、自动驾驶等需要即时响应的场景中表现受限,主要受制于多轮上下文保持与主动监控两大挑战。

StreamBridge创新性地采用内存缓冲区与轮次衰减压缩策略,实现长序列交互;其轻量化激活模型可无缝适配现有视频大语言模型,配合包含60万样本的Stream-IT数据集,显著提升流式处理能力。测试显示,Qwen2-VL模型在关键指标上超越GPT-4o等商用系统,最高达77.04分。这一突破为实时视觉分析领域提供了新的技术范式。

Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1