作业帮受邀参加2023 DTCC数据库大会 首谈自研开源项目recuffer

日前,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第十四届中国数据库技术大会(DTCC2023)在北京国际会议中心隆重召开。作业帮作为国内领先的教育科技公司应邀出席,作业帮数据库研发负责人杨奕聪代表教育行业分享数据库在教育领域的应用实践。

DTCC数据库大会是大数据领域一年一度的行业是盛会,重点围绕数据库内核解析,向量数据库、图数据技术、云原生数据库、实时数仓等硬核内容展开分享与讨论,旨在帮助大数据从业者更好地适应市场的变化和满足用户需求,为大数据行业提供前瞻性思考。

近几年,人工智能、大数据、云计算等新技术不断发展和应用,数据已经成为企业发展的重要资产,数据库的有效管理成为业界重点关注的问题。作业帮经过多年的发展,业务形态多元,数据环境复杂。杨奕聪介绍,目前,作业帮覆盖了当前大部分企业都会采用的标准数据库:MySQL、Redis、tidb、ES、Mongodb等服务类型,同时集群规模也比较大,是“数据库运维大户”。

为解决多种数据库共同运维的复杂度、数据库监控和故障处理的全面性和及时性、数据库的备份和恢复的有效性保障等问题,作业帮在2019年便开始进行云原生的打造,在架构层面完成了基于云原生的多云架构的建设,为各大数据的运行提供稳定的环境。数据存储设计为统一的Proxy层,将Proxy容器化。

数据库层选择使用标准数据库版本自建,以此消除多云间的差异。针对各个数据库服务对应的Proxy,作业帮采用了开源+自研的方案,并且为Rediscluster自主研发并开源了一个名为"recuffer"的proxy,有效地管理和路由流量,提高可控性和易用性。

基于前期的种种积累,为了提高可控性和易用性,作业帮还重点投入打造了“journey ”数据库智能运维系统,目前基本覆盖了各个数据库类型的整个生命周期的各个活动,确保各个数据库能够更快速地响应需求、服务运行稳定。

在多种数据方案的长效治理下,目前,作业帮数据库管理已经不仅具备主流数据库类型的全自动化运维能力,还具有高定制化的监控系统、支持超大规模备份运行、兼具灵活的多云管控策略。此外,杨奕聪提到,“journey ”数据库智能运维系统在对多种数据库类型的兼容问题、高定制化的监控系统的方案选型、基础组件的开发、大规模备份系统的架构和算法的设计等方面也能够提供有效方案。

结果是理想的,过程是痛苦的。当然,作业帮数据库平台从0到1的重构也经历了种种问题。比如,因为数据库类型的扩展、多云架构、需求的变化,运维平台不断地修修补补,越来越难以维护和继续建设等等。杨奕聪强调,“实践、迭代、优化是基本路径。”发现问题、解决问题才是高效执行的最好方式。

作业帮也是基于对平台不断迭代、打磨,在实践过程中发现问题,通过测试、上线、大量使用等不同情况下找到问题,再根据实际的反馈进行优化和迭代,才打造出了高效运行的智能化运维。

作业帮成立于2015年,一直致力于用科技手段助力教育普惠,运用人工智能、大数据等前沿技术,为学生、老师、家长提供更高效的学习、教育解决方案,智能硬件产品等,在语音识别、自然语言处理、图像和OCR识别、大数据等技术领域拥有超200+的高精尖技术专利。

声明:本站转载此文目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容,本网站对此声明具有最终解释权。
Copyright © DoNews 2000-2024 All Rights Reserved
蜀ICP备2024059877号-1     京ICP证151088号
京网文【2018】2361-237号