ICML 2021 | 微软亚洲研究院精选论文一览

编者按：第三十八届机器学习国际会议 ICML 2021 于7月18日在线上举行，今年的 ICML 会议一共接收了1184篇论文，接收率接近21.5%。其中微软亚洲研究院有多篇论文入选，今天我们精选了5篇为大家进行介绍。这5个工作的研究主题关键词包括数据采样、Transformer、序列学习、神经网络、语音识别等。欢迎感兴趣的读者阅读论文原文。01基于数据采样的影响力最大化问题论文链接：https://arxiv.org/abs/2106.03403基于数据采样的优化（Optimization from Samples，OPS）是将机器学习和优化相结合，实现从数据到优化的端到端的性能保证。然而近期的研究指出，虽然从数据到模型的学习过程和基于模型的优化各自能给出较好的理论保证，但是 OPS 在一些情况下是不能达到端到端的理论保证的。微软亚洲研究院和中国科学院计算技术研究所的研究员们在去年的...

10h

倒计时4天！微软亚洲研究院Ada Camp带你开启科研之旅！五大理由，不容错过！

12岁，她想飞，找来鸟翼和羽毛研究飞行速度，写了一本“飞行学”指南。18岁，在计算机之父巴贝奇的聚会上，她的目光被2000个铜管装置成的差分机吸引，点燃了她对数学的兴趣之火。28岁，她翻译注记描述分析机的论文，长于原文四倍的注记体现了最早的编程思想——分析机“编织”代数模式，正如“织布机编织花朵和树叶”——诗意的语言唤起了人们对分析机的兴趣，她的建议也促使巴贝奇将分析机从十进制改为二进制。她是艾达·洛浮莱斯（Ada Lovelace），英国诗人拜伦之女，被称为“世界上第一位程序员”。Ada 在笔记中提出许多现代概念，并预言编程技术不会局限于基础数学：作诗、编曲、奏乐……这些瑰丽的科学幻想，正在今天一一实现。近两百年后，在由女性开启的计算机领域中，女性人才的培养、科研梦想的传承具有更为迫切和现实的意义。因此，微软亚洲研究院计划于8月16日至8月20日全新推出“未来由妳”...

2d

R-Drop：填补Dropout缺陷，简单又有效的正则方法

编者按：深度神经网络是深度学习的基础，但其在训练模型时会出现过拟合的问题，而简单易用的 Dropout 正则化技术可以防止这种问题的发生。然而 Dropout 的操作在一定程度上会使得训练后的模型成为一种多个子模型的组合约束。基于此，微软亚洲研究院与苏州大学提出了更加简单有效的正则方法 R-Drop（Regularized Dropout）。实验表明，R-Drop 在5个常用的包含 NLP（自然语言处理） 和 CV（计算机视觉） 的任务中都取得了当前最优的结果。本文将介绍 R-Drop 的实施方法、作用与效果，让大家一窥 R-Drop 的玄机。深度神经网络（DNN）近来已经在各个领域都取得了令人瞩目的成功。在训练这些大规模的 DNN 模型时，正则化（regularization）技术，如 L2...

2d

讲堂 | 谭旭：AI音乐，技术与艺术的碰撞

编者按：日前，在2021全球人工智能技术大会（GAITC）的“当 AI 与艺术相遇”专题论坛上，微软亚洲研究院主管研究员谭旭发表了题为《基于深度学习的流行音乐创作》的演讲。该分享从分析流行音乐的工业化制作流程切入，介绍了深度学习是如何辅助流行音乐的创作，微软亚洲研究院在 AI 音乐创作领域的一系列研究成果，以及当前AI音乐生成所面临的研究挑战等。本文为此次演讲内容的完整整理，希望可以给大家在AI与艺术相互结合的研究方向上带来更多启发。大家好！我是微软亚洲研究院主管研究员谭旭，这次报告的题目是“基于深度学习的流行音乐创作”，我们将详细探讨如何将深度学习应用到流行音乐的创作过程中。我们先来看一下流行音乐的创作流程是什么样的。什么是流行音乐？按照字面的理解就是流行的音乐，实际上流行音乐我们通常指的是商品音乐，也就是通俗、大众、喜闻乐见，又能商品化制作的音乐。因此，这类音乐具有固定的制作流程，包括词曲创作、伴奏编曲、录制乐器声音和人声、进行混音，最后进入到唱片制作等环节。而这是典型的工业制作流程，我们需要将其进行抽象以便在音乐创作中充分利用深度学习技术。经过抽象我们得到了以下三个环节: 1）曲谱生成，包括词曲和伴奏编曲的生成；2）演奏生成，曲...

3d

开源系列讲座 | 信息爆炸？MIND个性化新闻推荐系统来了！

编者按：开源成果分享持续进行中！在“微软亚洲研究院开源项目系列讲座”第一季前两期，研究员分别分享了业内首个 AI 量化投资开源平台微矿 Qlib 、自动机器学习工具 NNI。第三期直播中，研究员将介绍个性化新闻推荐系统 MIND 的工作及应用。快来加入直播间，了解微软亚洲研究院的最新开源项目，与我们一起推动人工智能技术的创新发展。第一期讲座回放视频地址：https://www.bilibili.com/video/BV1yv411J7Cj第二期讲座回放视频地址：https://www.bilibili.com/video/BV19w41197Qz随着信息技术的发展，媒介形态也随之迭代进化。人们的新闻信息获取方式已不再局限于传统的读报纸、看电视，新闻网站、移动新闻 APP 正逐渐成为新的信息平台。由于每天都有大量新闻产生和发布，用户难以在有限的时间内从大量新闻中找到自己感兴趣的内容，面临严重的新闻信息过载。个性化新闻推荐可以根据用户的个人兴趣对候选新闻进行排序和展示，是提升用户在线新闻阅读体验的一项重要技术。目前，新闻推荐已广泛用于...

5d

对话 | LinkedIn陆坚：打造面向未来工作模式的职场社交平台

编者按：在2014年领英（LinkedIn）进入中国时，迎接它的是国内已经趋于成熟、竞争激烈的社交媒体市场。经过不懈的探索，领英明确了自身的中国市场定位——以拥有海量数据的全球社交网络为基础，打造具有独特产品价值属性的一站式职业发展平台。今天，领英已经成为国内职场高端人士社交、招聘的必备工具。面对竞争激烈的中国社交平台市场，后发的领英“杀出重围”的秘诀是什么？自2016年微软收购领英以来，五年之间，领英发生了哪些变化？微软与领英之间又是如何相互助力，相互成就的？近期在微软亚洲研究院的内部活动“大师论坛”上，微软亚洲研究院院长洪小文博士与领英（LinkedIn）中国总裁陆坚博士进行了一场炉边对谈。下面就让我们在精彩的对话中一起寻找问题的答案吧！左：领英（LinkedIn）中国总裁陆坚博士，右：微软亚洲研究院院长洪小文博士洪小文：欢迎陆坚博士做客微软亚洲研究院“大师论坛”。首先请分享下您为什么会加入领英？如何看待自己与微软、与领英之间的关系？陆坚：我职业生涯的起点是一名多媒体计算、图像和视频领域的技术人员，最初在苹果公司任职。在专注于产品研发8年之后，我离开了科研领域。离开苹果公司后，我加入了创业大军，创办了自己的公司。经过五年的发展，公...

2w

微软发布Windows 365，开创全新计算类别

2021年7月14日，美国华盛顿州雷德蒙德—— 微软公司正式发布 Windows 365，这一云服务将以全新方式将 Windows 10 或 Windows 11 体验提供给不同规模的商业企业。Windows 365 将操作系统带到微软智能云端，通过串流（streaming）的方式在个人或者公司设备上提供流畅完整的 Windows 体验，包括应用、数据和各项设置。Windows 365 服务遵从“零信任”原则，从设计源头确保安全，在云端而不是设备端存储信息并确保安全，能够为从实习生、合同工，到软件开发者和工业设计师的各种类型的用户提供安全的生产力体验。Windows 365 服务开创了称为 Cloud PC 的全新混合个人计算类别，通过融合云计算的力量与设备的功能，构建起完整的个性化 Windows...

2w

开源系列讲座 | 自动机器学习调试效率低？这里有一份来自微软的强大工具包

编者按：微软亚洲研究院在 GitHub 上开源分享科研成果，如何能惠及更广范围的研究者和开发者？ 在“微软亚洲研究院开源项目系列讲座”第一季第一期中，研究员分享了微矿 Qlib 如何赋能传统投资行业。第二期开源项目讲座中，直播嘉宾们将对自动机器学习工具 NNI 进行介绍。快来加入直播间，了解微软亚洲研究院的最新开源项目，与我们一起推动人工智能技术的创新发展。第一期讲座回放视频地址：https://www.bilibili.com/video/BV1yv411J7Cj自动机器学习正在释放更多可能性，让奇思妙想成为现实。然而，面对错综复杂的参数，人们往往耗费无数日夜进行调试，宛若海底捞针。微软亚洲研究院为研究人员和算法工程师量身定制了自动机器学习工具 NNI（Neural Network Intelligence），通过前沿的算法、自动化的框架和高效的分布式配置，可以节省训练时间与人力成本，赋能机器学习的各个生命周期。NNI...

2w

MobiSys 2021 Best Paper | 可高效、准确地预测模型推理时间的系统nn-Meter

编者按：近日，移动计算领域的国际顶级学术会议 MobiSys 2021 在线上举办。该大会由 ACM SIGMOBILE、USENIX 协会与 ACMSIGOPS 联合发起，旨在展示与移动计算和无线系统、应用、服务的设计、实现、使用、评估相关的重大创新和研究，在移动计算领域具有非常广泛的影响力和号召力。 本年度的 MobiSys 大会共接收到了166篇投稿，而最终入选的论文为36篇。其中，微软亚洲研究院的论文“nn-Meter: Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices”获得了 MobiSys 2021 的最佳论文奖（Best Paper），并且成为本届大会中唯一个获得了...

2w

洪小文：探索数据要素的赋能作用

 洪小文 微软全球资深副总裁 微软亚太研发集团主席 微软亚洲研究院院长十年前，有人戏说，“或许在未来，人们见面可能不是问你有多少资金，而是问你有多少数据；对于一家公司竞争力的评判，或许不仅仅是问技术水平如何，还会问公司有多少数据”。现在，这样的“戏说”成真，人类进入数据经济时代，数据的重要性已毋庸置疑，数据成为与土地、劳动力、资本、技术等一样重要的新型生产要素，正在各个领域发挥着倍增器的作用。在数字经济时代，怎样布局才能把数据变成真正的财富，变成生产力？又怎样做才能避免数据带来的种种挑战？数据的本质与特性人类发展的历史，正是一个数据不断产生和积累的过程，某种意义上看数据的规模是与人类文明的发展程度和经济的发达程度成正比的。经济系统甚至可以被看作是数据处理系统，任何实体的价值都取决于其对数据处理的贡献。那么，数据到底是什么？答案是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它既可以是连续的值，比如声音、图像，称为模拟数据；也可以是离散的，如符号、文字，称为数字数据。从最开始的堆积石块木棍或摆弄指趾记数，到使用结绳和契刻，再到今天的用激光干涉法捕捉引力波，人类对于数据获取手段越来越丰富，所积累的数据也越来越...

2w