人工智能算法加载在芒果TV

DoNews 9月23日 消息(李昊原)人工智能有三大要素:算法、算力和数据。其中后两者,是人工智能的物质基础,而算法,更像是人工智能的灵魂。

1956年,达特茅斯大会正式提出了“人工智能(Artificial Intelligence)”这一概念,受时代背景限制,这时的人工智能准确率和效率远远低于人类水平,并未引起太多反响;上世纪80年代,BP(Back Propagation)算法被提出,引发了人工智能的第二轮高潮,但受算力限制导致应用难以落地,这波浪潮再次进入低谷;2006年,深度学习被提出,同时硬件资源不断丰富提升,算力瓶颈得到了突破,引发了迄今为止的第三次人工智能高潮,并日益深刻地改造着世界。

这场改造已经渗透到了各个行业,比如在影视行业,2001年,史蒂文·斯皮尔伯格导演的电影《人工智能》还着重在探讨人性,2018年同样由他导演的《头号玩家》,已经像使用说明书一般,向观众展示了人工智能技术在未来世界的广泛应用。

同样的变化也发生在中国,9月18日,在湖南长沙,2021世界计算大会落下了帷幕。与此同时落下帷幕的,还有大会的专题活动——第二届“马栏山杯”国际音视频算法大赛颁奖盛典暨高峰论坛。

据了解,由芒果TV联合马栏山视频文创园主办的本届算法大赛共设置了视频补全、视频推荐与音乐节拍检测三大赛题,与音视频行业的场景密切结合。活动现场,芒果TV颁发了不同赛题的冠亚季军奖,并公布了芒果TV首个虚拟主持人“YAOYAO”。提起芒果TV,不少人第一时间的反应还是《乘风破浪的姐姐》和《披荆斩棘的哥哥》,一家长视频平台为什么要举办算法大赛?这个赛事又创造了哪些价值?

解决真实的问题

这些问题,在随后的颁奖仪式上,得到了集中的回答。

本届算法大赛赛题关注的都是目前视频行业的痛点问题,比如如何提高推荐算法的精准度,擦除视频中的人物或元素等。以往靠人力成本高效率低,如果人工智能算法可以解决这些问题,对芒果TV这样的视频平台能产生极大的效益。通过举办算法大赛的方式,不但能集思广益,提出有效的解决方案,而且能够吸引有解决能力的人工智能人才——这两者都是芒果TV需要的。

第二届“马栏山杯”算法大赛颁奖典礼暨高峰论坛现场

首先颁发奖项的赛道是“视频补全”,获得冠军、亚军和季军的队伍(或个人)分别是“rainbow”,“景-artii”队和“冲呀皮卡丘”队。中国科技大学信息科学技术学院教授、博导陈志波介绍,早在文艺复兴时期,意大利的艺术家就通过修复的方式,让中世纪时代的壁画恢复如新,这项工作称之为“inpainting”,这也成为了目前研究领域对图像视频的修复和补全这项工作的定义。

随着数字媒体的不断涌现,“inpainting”技术在越来越多应用领域得到应用,比如对老照片的修复,对照片遮挡、污染的去除,目前人工智能对图像视频的修复和补全有着广阔的应用场景,但理论研究上也存在相应的挑战,不管是算法的性能还是其复杂度,以及针对实际应用的优化,都有很大的潜在空间。

“整个赛道的设计还是非常符合实际运用的广泛需求,”陈志波评价道,“比如说后期的编辑要把一些物体进行抹除,像背景、文字,logo等。大赛组织者是从实际应用的需求来设计整个赛道的具体任务,包括固定区域挖空后进行填补,对视频里动态目标检测后进行消除,还有一些处理随机背景噪声,局部水印等任务。”

获得第一名的“rainbow”,目前是西安电子科大的在读博士,去年就是同一赛道的第二名。他所设计的算法,正如许多已经在现实中得到广泛应用的算法一样,不论是在主观性的指标上,还是在耗时、算法的复杂度上都达到了比较好的均衡。陈志波介绍,“rainbow”的算法主要是基于2020年的“Spatial-Temporal Transformation”,但针对实际应用的需求做了大量的工程性的改进和策略上的优化,包括半精度参数的选择,包括对输入图像进行裁剪,减少对内容的占用。

第二个颁发奖项的赛道是“视频推荐”,获得冠军、亚军和季军的队伍(或个人)分别是“线性回归”队、“OTTO”队和江离。

视频推荐是一个非常经典的赛题,任务要求据用户已经看的过视频,预测用户下一个要看什么视频,或对什么视频感兴趣。这个赛道在第一届“马栏山杯”国际音视频算法大赛就已经存在,可见其对视频行业的重要性,今年的比赛设置在“看了又看”的模块上进行升级,不仅希望推荐匹配用户感兴趣的内容,同时更强调内容的主流价值观和用户的长期体验,非常具有挑战性。

浙江大学计算机科学与技术学院副教授、博导赵洲介绍,本次排名前三的队伍,在算法的设计上殊途同归,都将算法分成了召回、排序和回归三个模块。获得第一名的“线性回归”团队在每一个模块都有突出的亮点,技术路径非常详尽和合理,运用到的技巧也很有趣。

最后一个颁奖的赛道是“音乐节拍检测”,获得冠军、亚军和季军的队伍(或个人)分别是吴健、王志宇和“十一月的肖邦”队。音乐节拍检测算法,能够极大地丰富音乐的沉浸感和可玩性,具有广阔的应用前景,本次大赛的赛题主要就是节拍的检测,选手用1100个数据来训练,100个数据作为测试,然后根据准确率来决定优胜。

中国科学院语言声学与内容理解重点实验室主任颜永红介绍,对音乐的自动分类、分析与检索是一个新的研究领域,在还没有智能机的时代,搜索音乐只能通过歌名、演唱者或者歌词,做音乐信号处理,目的就是要让计算机具有理解音乐的能力。“国际上对音乐方面的研究,最基础的像音符的识别、节奏的识别,再高一点就到流派的识别,包括对主旋律的提取和对乐器音色的分析,对和弦的识别等,再往上就可以用来做教学质量的评价和音乐检索。”

据统计,本届算法大赛共吸引了全球十多个国家与地区1959支队伍参赛,覆盖了全球知名高校、重要科研院所与知名互联网企业,最终优胜团队的算法达到了业界头部的水平,相比第一届算法大赛,本届吸引到的队伍数量要比去年多出51.4%

不为技术设限

2017年底,卢海波加入芒果TV。起初是作为广告中心技术团队的负责人,后来成为产品技术中心的负责人。在电视媒体时代,湖南广电做出了在中国极具影响力的视频内容,到了移动互联网时代,内容创作同样重要,但由于场地和展现形式都发生了变化,技术在视频产业的重要性凸显。

芒果TV

“我们需要依靠技术来更好地理解我们的用户,在这个基础上指导节目的策划生产,视频产品从策划生产到播放、互动的形式,也是不一样的。如果我们不在技术上面跟得上,配合内容团队的话,内容团队的创作就会受限,一是效率不高,二是缺少数据的支持。”卢海波告诉记者,除了内容方面外,芒果TV在企业运作方面也自研了完整的内部系统平台,来提高公司运营的效率。

但对技术的投入不仅需要真金白银,还需要优秀的技术人才,在招聘人才的过程中,卢海波发现,许多人对芒果TV有很深的误解。“他们觉得,芒果TV就是把湖南卫视的内容拿过来,然后做一个播放器播出来,我们招技术人员时,很多技术人员不认为我们是互联网产品技术团队,就是做播放器的,所以招人,尤其是招算法的人很难。”因此,承办算法大赛,对芒果TV来说有重要意义,既可以让外界知道芒果TV对技术很重视,还可以接触到许多工程师、高校教师和学生,最终有利于吸引人才。

芒果TV产品技术中心智能算法部产品应用组算法的工程师王心莹,就曾在去年首届的算法大赛上,以“炸米饼啊”战队的名义,获得了特定点位跟踪赛道的冠军。王心莹硕士毕业于伦敦大学学院计算机图形视觉图像专业,曾获得CVPR2020活体检测竞赛单模态赛道第五名,也是上一届所有赛道冠军里唯一一个单枪匹马作战的,当时她正在福州一家专注深度学习/机器学习领域的公司担任算法工程师,当问到她参赛的原因,她坦诚地讲,点位跟踪赛题的要求与她平时的研究领域十分契合,除此之外,芒果TV提供的待遇和对人才的重视也是吸引她的地方。

比赛中,她别出心裁地将“医疗图像配准方案”应用于解题思路中,当时其他战队中几乎没有人使用这个方法,最终以MSE0.588的绝对优势成绩遥遥领先拿到了第一名。而她的优异表现也吸引了卢海波的注意,在极力的邀请以及给出优渥的入职条件后,王心莹也答应了这份offer。

第一届“马栏山杯”算法大赛视频点位跟踪冠军王心莹

同期入职的不只有王心莹,在第一届算法大赛的前后,芒果TV共计引入超过50名一线算法人才,而这些人才的引进,也为芒果TV带来了技术上的质变——在 CVPR2021 视频人体时空定位赛事中,芒果TV的团队与国内外高校、研究所团队同台竞技,一举拿下全球亚军。同时,他们开发的首个大规模商用的自动化3D视频现实增强系统,目前也已可以支撑数十亿产值广告收入。

“我是这么认为的,我们(芒果TV)不会为自己设一个限制,什么要做什么不做,我们有责任去探索、去研究新的技术,既是为了未来做准备,在这个过程中我们做出了好的东西,我们也会把它对外输出,甚至商用,实际我们不少技术已经进入这个阶段了,”谈到对技术的重视,卢海波告诉记者,“我们湖南广电人是有开拓精神的,我们从一个传统媒体走到现在这样的新型主流媒体集团,我们也是‘不守规矩’的,也许再过十年,我们会是最大的互动娱乐媒体平台,只要我们自己不为自己设限,我觉得我们可以做很多的事情。”

2015年,我国首次将人工智能纳入国家重点计划,并在2017年上升至国家战略,人工智能的创新水平持续提升。去年9月17号,习近平总书记考察了马栏山视频文创产业园,以“守正创新”点题,指明了“文化+科技”的文创产业发展方向,而“北有中关村,南有马栏山”的文化战略定位目标,也显示了湖南人的雄心壮志。

正如湖南广播影视集团有限公司(湖南广播电视台)党委书记、董事长、芒果超媒股份有限公司党委书记、董事长张华立在算法大赛致辞中所说的那样:“以芒果TV为原点,通过大赛的新算法进行链接,我们希望不断延伸产业链条,拓展合作平台,进一步丰富芒果生态。 ”

标签: 芒果TV
Copyright © DoNews 2000-2024 All Rights Reserved
京ICP备15062447号-2     京ICP证151088号
京网文【2018】2361-237号