DoNews > 公司新闻 > 2020 Techo Park开发者大会召开,作业帮分享拍搜系统架构演变历程
2020 Techo Park开发者大会召开,作业帮分享拍搜系统架构演变历程

12月19日至20日,由腾讯主办的2020 Techo Park开发者大会于北京召开。据悉,本次大会邀请了全球超200位顶级技术专家来到现场,与数千位参会者就云计算、大数据和人工智能等前沿技术话题展开深度交流,为中国及全球云计算爱好者、从业者、开发者提供最具参考价值的创新分享。

图片3.jpg

作业帮视觉智能实验室架构负责人程童受邀参加大会,并发表了题为《作业帮拍照搜题系统架构的演变》的主题演讲,系统地介绍了作业帮拍搜系统概况、不同阶段面临的问题和应对方法,以及GPU服务虚拟化的实践经历和取得的迁移效果。

底层技术加持,作业帮拍搜助力用户精准获取全面信息

作为中国最大的K12在线教育公司,作业帮致力于用科技助力教育普惠,解决教育领域痛点,旗下拥有作业帮、作业帮直播课、作业帮口算、鸭鸭AI课、智能硬件喵喵机等多款教育产品,总日活用户超5000万,月活用户超1.7亿,累计激活用户设备超8亿。其中,作业帮APP是进入中国应用市场Top30的唯一一款教育类APP,作业帮直播课是中国在线教育领军品牌,累计服务学员已超6500万。

在作业帮的整套产品链条中,拍搜系统提供了底层的技术支持。据程童介绍,作业帮拍搜系统拥有多项OCR、检索、系统专利,率先在业界实现“随手一拍,秒出答案”。与此同时,随着拍搜功能的不断拓展,作业帮完成了从单题到整页再到猜你想拍,从搜索到批改再到打分的全方位搜题场景设定,充分帮助学生提高学习效率。

据了解,作业帮拍搜算法架构主要分为OCR和检索两部分。其中,OCR系统主要任务是将所拍内容识别成文本,由多个策略&预处理模块,以及大量使用GPU作为运算设备的深度学习在线推理服务组成;而检索系统的主要任务是通过识别出的文本检索答案,包含策略层、正排系统、倒排系统和离线建库四个主要部分,针对拍照搜题这个垂直领域进行了大量的策略优化。

程童表示:“针对用户在不同使用场景下可能出现的模糊、倾斜、低像素、干扰等各类拍照问题,作业帮在持续5年以上的自主研发和数据积累中,不断进行算法迭代和架构完善。”

在一次完整的文字识别流水线中,作业帮拍搜系统拥有超30种不同的神经网络各司其职,平均一次识别可运行260次以上的神经网络预测。此外,通过构建大规模的并行GPU集群,平均只需要200毫秒,便可完成一次完整的识别流程,且作业帮系统在一分钟可完成百万次这样的搜题请求。对于识别出的题目内容,系统可以在索引量超过3亿的题库搜索引擎中进行匹配,确保用户获取更全面和准确的信息。

从更快更准到快速应变,有限算力下的极限探索

程童在演讲中提到,在过去的六年里,作业帮拍搜系统以两年为进化周期,大致可分为三个发展阶段,每个阶段因业务场景和系统规模不同,面临的问题也有所不同。2015年至2016年属于第一阶段,作业帮拍搜系统业务刚起步,需要解决的核心问题是更快和更准。更快是为了提供更好的用户体验,更准则容易形成口碑传播,吸引更多用户。

为了实现“随手一拍,秒出答案”的效果,作业帮视觉智能实验室工程架构团队从并行计算、调度策略、工程实现三方面做出了努力。团队率先将GPU用于在线推理服务:使用CPU做预处理,利用GPU强大的并行运算能力运行深度神经网络,上线后取得了10倍的加速效果,平均耗时从3秒以上缩短至300多毫秒,后续持续优化到平均200毫秒。团队还自研轻量级RPC框架,设计适合多GPU协同的线程池和调度策略,高峰期GPU利用率达到90%以上。

伴随业务流量的持续上涨,作业帮拍搜系统在2017年至2018年进入发展的第二阶段,不断扩张的业务引入了更多的算法模型,需要不断开发交付新的服务;算力需求的快速上涨又带来了成本上的压力。这两年,团队在开发和运维双线面临挑战。

团队迅速调整策略,制定应对方案。首先,优先满足业务发展需求,尽快交付服务,确保算法模型的快速上线;同时,尽力优化系统环境,减少技术债务。例如,针对环境异构的问题,团队通过升级接入层,优化自研RPC客户端,满足多机房、多机型负载均衡以及实验分流需求;通过迁移服务器的机会收敛异构机型和环境;不断根据业务情况调整优化系统部署,将日常操作自动化,提高管理效率。

经过技术团队不懈努力,在业务不断扩展、流量持续增加的情况下,系统有力支撑了作业帮拍照搜题类业务的发展,自身也成长到了一定规模。

虚拟化突破两大矛盾,显著迁移效果激发更多可能性

2019-2020年系统进入到第三阶段,针对前期发展过程中的各种问题,程童和团队没有停留于表面,而是不断回顾、总结和深挖,认为之前出现的很多问题,表现出的形式是性能和稳定性相关,但实际上是因为系统灵活性不足。在人力有限的前提下,以物理机(bare metal,裸金属服务器)作为资源分配和系统管理的最小单位,无法突破两个矛盾,即日益频繁的变动与系统管理之间的矛盾,和日益增长的需求与资源管理之间的矛盾。为了突破这一瓶颈,团队选择了虚拟化,具体实现形式是K8s和容器。

对于为什么选择K8s,程童解释道:“在最关键的资源分配环节,K8s突破了机器的边界,将资源抽象整合为资源池,应用按需申请,由调度器分配,解决了资源管理的矛盾;而通过抽象出pod、deployment、service等概念,可低成本实现应用整个生命周期的自动化,解决了系统管理的矛盾。”

为了减小系统迁移的风险,团队制定了渐进式的迁移步骤,首先对环境进行标准化,对一些不适合容器环境使用的组件或功能进行改造;之后将整个系统容器化运行,了解和掌握相关数据;最后实现灰度环境验证和线上系统迁移。针对K8s原生不支持按显存调度的问题,团队也通过研发调度插件给出了解决方案。

从目前的迁移效果来看,通过更细颗粒度的资源分配和服务混部,部分集群迁移后节省了50%的机器资源,资源利用率也大大提升;而通过迁移获得的弹性伸缩能力,可以让系统在应对流量高峰时更游刃有余;相比于集群调整平均需要2小时的物理机时代,如今平均只需要10分钟即可完成;而在故障处理方面,也从原来的平均20分钟缩短至平均5分钟,对于简单故障,系统可以实现无人工介入。

图片4.jpg

在程童看来,迁移效果远不止如此,虚构化改造所带来的灵活性,让之前许多不方便的事情变得更加便捷,创造了许多可能性。未来,作业帮技术团队将持续搭建先进技术系统,不断突破在线教育发展所遇到的技术难题,真正实现以科技赋能在线教育创新发展。

声明:本站转载此文目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容,本网站对此声明具有最终解释权。
Copyright © DoNews 2000-2020 All Rights Reserved
版权所有:北京斗牛士文化传媒有限公司
京ICP备15062447号-2     京ICP证151088号
京网文【2018】2361-237号