快讯
阮雨曼:黄金震荡洗盘但难改跌势?1720成关键阻力!反弹做空
2分钟前
夏黛清:6.5黄金能否打破僵局,原油顺趋势多进去
23分钟前
美指接连下挫后,等待今晚20:30美非农指引!
26分钟前
程靖鹏:在黄金投资过程中,我们掌握的黄金投资杠杆需要注意那些呢?
26分钟前
轩逸领衔天籁助力东风日产5月终端销量97651辆同比增长6.8%|快报
52分钟前
冉茗玉:6.4晚间黄金三连胜,午夜黄金还有10点利润跟吗?
52分钟前
金云岚:现货黄金不要盲目单边,目标上看1715附近!
53分钟前
冯博森:如何开户炒黄金?有什么需要特别注意的地方?
54分钟前
博世的电气化“棋局”
55分钟前
金云岚:周五非农30点的盈利等你抓!个人建议以反弹高空为主!
56分钟前

10篇论文被ACL 2019收录,王海峰博士带领百度AI技术取得创新突破

2019-05-23 12:26:50 推荐

 近日自然语言处理NLP领域的国际顶级学术会议国际计算语言学协会年会ACL 2019公布了今年大会论文录用结果根据ACL 2019官方数据今年大会的有效投稿数量达到2694篇相比去年的1544篇增长高达75%其中国内自然语言处理领军者百度共有10篇论文被大会收录展现出在该领域的技术积淀和国际水准

国际计算语言学协会ACLThe Association for Computational Linguistics成立于1962年是自然语言处理领域影响力最大最具活力的国际学术组织之一自成立之日起就致力于推动计算语言学及自然语言处理相关研究的发展和国际学术交流百度高级副总裁AI技术平台体系(AIG)和基础技术体系TG总负责人王海峰曾于2013年出任 ACL 主席是ACL五十多年历史上首位华人主席也是ACL亚太分会AACL的创始主席ACL会士研究论文能够被ACL学术年会录用意味着研究成果得到了国际学术界的认可

百度被录用的10篇论文覆盖了信息抽取机器阅读理解对话系统视频语义理解机器翻译等诸多NLP领域的热点和前沿研究方向提出了包括基于注意力正则化的ARNOR框架Attention Regularization based NOise Reduction语言表示与知识表示深度融合的KT-NET模型多粒度跨模态注意力机制基于端到端深度强化学习的共指解析方法等在人机交互智能客服视频理解机器翻译等场景中具有很大的应用价值    

对于百度而言能够在国际学术界取得这样的成绩并不意外王海峰博士是自然语言处理领域的国际领军人物之一其在自然语言处理领域的研究及工程科技成果得到国际同行的广泛认可他领导下的百度自然语言处理团队在自然语言处理技术的发展及应用上始终保持领先一直被视为自然语言处理研究的第一梯队培养和吸引了海内外很多学术界和产业界的人才

百度自然语言处理技术全面支持百度业务是智能搜索信息流智能家居等产品的核心技术同时积极开放其核心能力赋能各行各业助力产业智能化升级作为百度大脑开放平台的核心组成部分自然语言处理相关技术的日均调用量超过千亿广泛应用于互联网金融医疗零售出行服务等行业在国内各行业积极拥抱人工智能技术的大背景下百度自然语言处理技术正在为中国的产业智能化进程做出重要贡献

百度被收录ACL 2019论文概览

ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classification

摘要远监督通过知识库自动获取标注语料是关系抽取的关键算法但是远监督通常会引入大量噪声数据即句子并未表达自动标注的关系进一步说基于远监督学习的模型效果不佳解释性差无法解释关系的指示词

为此我们提出基于注意力正则化的ARNOR框架Attention Regularization based NOise Reduction此方法通过注意力机制要求模型能够关注关系的指示词进而识别噪声数据并通过bootstrap方法逐步选择出高质量的标注数据改善模型效果此方法在关系分类及降噪上均显著优于此前最好的增强学习算法

应用价值在文本信息抽取有广泛的应用价值此方法能够显著降低对标注数据的依赖实现低成本的基于知识库的自动关系学习未来可落地在医疗金融等行业信息抽取中 

Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension

摘要机器阅读理解 (Machine Reading Comprehension) 是指让机器阅读文本然后回答和阅读内容相关的问题该技术可以使机器具备从文本数据中获取知识并回答问题的能力是构建通用人工智能的关键技术之一长期以来受到学术界和工业界的广泛关注近两年预训练语言表示模型在机器阅读理解任务上取得了突破性进展通过在海量无标注文本数据上预训练足够深的网络结构当前最先进的语言表示模型能够捕捉复杂的语言现象更好地理解语言回答问题然而正如大家所熟知的真正意义上的阅读理解不仅要求机器具备语言理解的能力还要求机器具备知识以支撑复杂的推理为此在论文Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension百度开创性地提出了语言表示与知识表示的深度融合模型KT-NET希望同时借助语言和知识的力量进一步提升机器阅读理解的效果

KT-NET的模型架构如下图所示首先针对给定的阅读内容和结构化知识图谱分别利用语言表示模型和知识表示模型对两者进行编码得到相应的文本表示和知识表示接下来利用注意力机制从知识图谱中自动筛选并整合与阅读内容高度相关的知识最后通过双层自注意力匹配实现文本表示和知识表示的深度融合提升答案边界预测的准确性截止到发稿日KT-NET仍然是常识推理阅读理解数据集ReCoRD榜单上排名第一的模型并在此前很长一段时期内都是SQuAD 1.1榜单上效果最好的单模型

KT-NET: 语言表示与知识表示的深度融合模型

应用价值该项技术可应用于搜索问答智能音箱等产品中直接精准定位用户输入问题的答案并在搜索结果首条显著位置呈现或通过语音播报呈现给用户

Know More about Each Other: Evolving Dialogue Strategy via Compound Assessment

摘要现有的基于监督学习的对话系统缺乏对多轮回复方向的控制和规划通常导致对话中发生重复发散等问题使得用户的交互体验偏差 在本文中我们对多轮对话进行了复合评估 (compound assessment)并基于该评估利用强化学习优化两个自对话 (self-play) 的机器人促进生成过程中较好地控制多轮对话的方向考虑到对话的一个主要动机是进行有效的信息交换针对 Persona Chat 问题两个人相互对话聊兴趣爱好我们设计了一个较为完善的评估系统包括对话的信息量和连贯度两个主要方面我们利用复合评估作为 reward基于策略梯度算法 (policy gradient)指导优化两个同构的对话生成机器人之间的对话策略 (dialogue strategy)该对话策略通过控制知识的选择来主导对话的流向 我们公开数据集上进行了全面的实验结果验证了我们提出的方法生成的多轮对话质量显著超过其他最优方法

应用价值可应用于对话系统智能客服 

Proactive Human-Machine Conversation with Explicit Conversation Goal

摘要目前的人机对话还处于初级水平机器大多是被动对话无法像人类一样进行充分交互我们提出了基于知识图谱的主动对话任务让机器像人类一样主动和用户进行对话对话过程中机器根据知识图谱主动引领对话进程完成提前设定的话题(实体)转移目标并保持对话的自然和流畅性为此我们在电影和娱乐任务领域人工标注3万组共27万个句子的主动对话语料并实现了生成和检索的两个主动对话基线模型

应用价值可应用于智能音箱中的对话技能也可以基于此开发闲聊技能让机器主动发起基于知识图谱的聊天

Multi-grained Attention with Object-level Grounding for Visual Question Answering

摘要视觉问答(VQA)是一类跨模态信息理解任务要求系统理解视觉图片信息并回答围绕图片内容的文本问题这篇文章提出一种多粒度跨模态注意力机制在图片-句子粒度注意力的基础上提出更细粒度的物体级别跨模态信息注意力机制并给出2种有效的细粒度信息理解增强的方法实验表明我们的方法有助于对复杂图像和细小物体的识别使系统更准确地定位到回答文本问题所依赖的视觉信息从而显著提升VQA准确率

应用价值可应用于基于多模态信息和知识图谱的小视频内容理解项目 

Hubless Nearest Neighbor Search for Bilingual Lexicon Induction

摘要这项基础研究提出了一种提高最近邻搜索的方法该方法有非常漂亮的理论基础不仅能显著提升双语词典编纂Bilingual Lexicon Induction的准确率对涉及最近邻搜索的很多任务都有指导意义

应用价值机器翻译需要大量对齐的双语文本作为训练数据这一要求在某些情况下不能被满足比如小语种文本专业文献双语词典编纂在这种情况下能提升翻译系统的准确率

STACL: Simultaneous Translation with Implicit Anticipation and Controllable Latency

摘要同声翻译是人工智能领域公认的最难问题之一已经困扰学术界和工业界几十年了我们提出了历史上第一个超前预测和可控延迟的同声翻译算法去年10月发布以来被各大技术外媒广泛报导包括 MIT 技术评论IEEE Spectrum财富杂志等量子位总结报道这是2016年百度Deep Speech 2发布以来又一项让技术外媒们如此激动的新进展

应用价值2018年11月的百度世界大会采用了这项同传技术全程同传翻译了Robin所有演讲延迟仅为3秒左右而之前的整句翻译技术延迟为一整句可达10秒以上同时翻译质量也没有明显的下降

Simultaneous Translation with Flexible Policy via Restricted Imitation Learning

摘要本文旨在提高同声翻译的质量我们去年提出的STACL框架即上述文章7虽然简单有效但有时不够灵活现在我们提出一种基于模仿学习的同声翻译算法通过模仿本文设计的动态策略该模型可以实时灵活地决定是否需要等待更多信息来继续翻译进而在保持低延迟的情况下提高了翻译质量

应用价值该技术可用于同声传译系统

Robust Neural Machine Translation with Joint Textual and Phonetic Embedding

摘要该文章旨在提高翻译的鲁棒性特别是对同音词噪音的鲁棒性我们在翻译的输入端通过联合嵌入的方式加入输入单词对应的发音信息实验结果表明该方法不仅大大提高了翻译系统在噪声情况下的鲁棒性也大幅提高了翻译系统在非噪声情况下的性能

应用价值可用于翻译特别是语音到语音的同声传译系统语音翻译的一个主要难题是语音识别的错误太多而这些错误大多是同音词或发音相似的单词此技术可以很大程度上降低这些来自于语音识别的噪音 

End-to-end Deep Reinforcement Learning Based Coreference Resolution

摘要共指解析是信息抽取任务中不可或缺的组成部分近期的基于端到端深度神经网络的方法往往通过优化启发式的损失函数并做出一系列局部解析决策缺乏对整个篇章的理解本文首次提出了基于端到端深度强化学习的共指解析方法在同一框架内完成指称检测和指称链接并且直接优化共指解析的评价指标在OntoNotes上取得了良好效果

应用价值知可用于识图谱构建信息抽取


相关文章

{{news.title}}

{{news.timeFormat}} {{news.author}}

正在加载......