ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场EXPO

7、Scalable Differential Privacy with Certified Robustness in Adversarial Learning

关键词：深度学习、对抗学习、差分隐私

在该论文中，百度AI旨在开发一种可扩展的算法,可在深度神经网络对抗学习中保护差分隐私，其中对抗样本具有经过验证的鲁棒性。通过利用差分隐私中的顺序组合理论(sequential composition theory)，将输入和隐空间随机化，以增强经过认证的稳健性界限。为了兼顾模型效用，隐私丢失和鲁棒性这三者，基于差分隐私中的后处理属性设计了原始的对抗目标函数，以加强模型的敏感性。通过避开差分隐私深度神经网络中的传统逐批迭代训练，一种新的随机批处理训练被提出并应用于大型深度神经网络和数据集的机制中。端到端的理论分析和评估表明，这种机制显著提高了差分隐私深度学习网络的鲁棒性和可扩展性。

另外，这次ICML 2020大会， 经过激烈角逐，百度成功申请到举办3场EXPO的资格，这是大会主办方给予百度AI的极大肯定。在这次的ICML EXPO中，百度分享了产业级深度学习平台飞桨、自动化深度学习、搜索广告等多个领域的最新技术创新和应用进展，以下是百度在ICML EXPO中基本情况：

EXPO 1：PaddlePaddle – An Industry-grade End-to-End Deep Learning Platform

该报告中，百度展示了源自于产业实践的飞桨开源开放的深度学习平台，飞桨包含灵活易用的用户编程，大规模并行训练，多端多芯片部署，官方模型库四大特色，围绕着飞桨的核心能力，在EXPO上演讲者也展示了PaddleRec、Fleet、PaddleServing、PaddleFL、ERNIE等工业级开源代码库的内容。AIStudio给飞桨的开发者带来了全面的课程和教程，丰富的中文社区材料也是该教育平台的一大特色。此外，飞桨企业版BML和EasyDL，面向企业提供深度学习应用开发的全栈流程，零基础、入门以及专业的开发者都能在飞桨企业版产品中获得益处，吸引了较多参会人员的注意。

EXPO 2：Baidu AutoDL: Automated and Interpretable Deep Learning

该报告介绍了百度开发的深度学习技术AutoDL。百度AutoDL以让深度学习“平民化”为目标， 提供自动化网络构建、迁移学习、联邦学习和可解释性等多项实用工具，降低了工业界使用深度学习技术的门槛，促进深度学习在实际生活中的应用，推动深度学习同样向着百度所追求的“简单可依赖”的方向发展。此外，百度通过主持AutoDL自动化和可解释深度学习的专家座谈，邀请了6位海内外知名计算机科学家探讨相关技术，为参加座谈的学者和工业界人士答疑解惑，引领大家对“自动化构建神经网络模型”和“理解与创造可解释的深度学习模型”产生新的感悟与启迪。

EXPO 3：Data-Driven based Keyword Matching Paradigm in Baidu's Sponsored Search

该报告主要讲述百度如何利用基于数据驱动的深度学习技术来解决搜索广告中的关键词匹配问题。关键词匹配位于整个搜索广告系统的上游，负责将query和关键词按照广告主指定的匹配模式关联起来。报告百度如何基于BERT来做匹配模式的识别，如何使用图网络和翻译技术来克服词汇鸿沟，以及基于知识萃取，同义压缩的技术来解决BERT在工业环境中的部署。这些方法已经在百度搜索广告中成功落地并取得了很好的效果，希望给搜索广告系统的设计带来一些启发和帮助。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!