机器之心 - RSS Feed

Latest articles

不堆参数、不靠时长,Meta加速ViT训练流程,吞吐量4倍提升

机器之心报道机器之心编辑部有时候,好的训练「技巧」比蛮力堆参更有效。现阶段,视觉 transformer(ViT)模型已经在图像分类、目标检测与分割等各样各样的计算机视觉任务中得到了广泛应用,并可以在视觉表征与识别中实现 SOTA 结果。由于计算机视觉模型的性能往往与参数量和训练时长呈正相关,AI 社区已经实验了越来越大规模的 ViT 模型。但应看到,随着模型开始超出万亿次浮点运算的规模,该领域已经遇到了一些主要的瓶颈。训练单个模型可能耗费数月,需要数以千块的 GPU,进而增加了加速器需求并导致大规模 ViT 模型将很多从业者「排除在外」。为了扩展 ViT 模型的使用范围,Meta AI 的研究者已经开发出了更高效的训练方法。非常重要的一点是对训练进行优化以实现最佳的加速器利用。但是,这一过程耗时费力且需要大量的专业知识。为了设置有序的实验,研究者必须从无数可能的优化方案中进行选择:一次训练过程中执行的百万次运算中的任何一个都有可能受到低效率的影响和阻碍。Meta...

稳当扛住强风的无人机你见过吗?加州理工用12分钟飞行数据教会无人机御风飞行

机器之心报道编辑:陈萍、杜伟能抗下强大阵风的无人机,你见过没?加州理工学院的研究者用深度神经网络让无人机不再怕风。当风大到可以把伞吹坏的程度,无人机却稳稳当当,就像这样:御风飞行是空中飞行的一部分,从大的层面来讲,当飞行员驾驶飞机着陆时,风速可能会给他们带来挑战;从小的层面来讲,阵风也会影响无人机的飞行。目前来看,无人机要么在受控条件下飞行,无风;要么由人类使用遥控器操作。无人机被研究者控制在开阔的天空中编队飞行,但这些飞行通常是在理想的条件和环境下进行的。然而,要想让无人机自主执行必要但日常的任务,例如运送包裹,无人机必须能够实时适应风况。为了让无人机在风中飞行时具有更好的机动性,来自加州理工学院的一组工程师开发了一种深度神经网络 Neural-Fly,即一种人工智能工具,可以让无人机在有风的情况下保持敏捷,只需更新一些关键参数,即可帮助无人机实时应对新的和未知的风况。 文章开头我们已经初步见识到了无人机的抗风能力,下面展示了一架四旋翼无人机,借助该研究开发的工具,它可以在风速达到...

加入苹果不到一年就跳槽,前特斯拉Autopilot负责人CJ Moore宣布加入激光雷达公司Luminar

机器之心报道编辑:小舟、张倩摇摆不定的「苹果造车」终是留不住人才。去年刚从特斯拉离职加入苹果造车的 CJ Moore(Christopher“CJ”Moore)又一次跳槽了,这次他加入了激光雷达公司 Luminar,担任该公司软件 VP。Luminar 公司在硅谷是有名的激光雷达独角兽。这家公司由创始人 Austin Russell 在 17 岁时创办,之后 Luminar 因其低成本的激光雷达传感器技术在自动驾驶行业名声大噪。2020 年底,Luminar 宣布通过与空壳公司 Gores Metropoulos 合并,在纳斯达克上市。上市当天,股价飙升 28%。Russell 在一份声明中表示:「Luminar 正努力招揽全球顶尖的领导者,以实现我们自动驾驶的愿景。」此次 CJ Moore...

ICASSP 2022 | 89.46%检出率,网易云信音频实验室提出全球首个AI啸叫检测方案

机器之心发布作者:网易云信音频实验室网易云信音频实验室持续在实时通信音频领域进行创新,基于 AI 的啸叫检测方法的研究方案被 ICASSP 2022 接收,并受邀于会议面向学术界和工业界进行研究报告。ICASSP (International Conference on Acoustics, Speech and Signal Processing) 即国际声学、语音与信号处理会议,是 IEEE 主办的全世界最大的,也是最全面的信号处理及其应用方面的顶级会议,在国际上享有盛誉并具有广泛的学术影响力。2022 年线上会议于 5 月 7-13 日举行,线下会议于 5 月 22-27 日在新加披举行。本次论文的接收是网易云信音频实验室继 AI 音频降噪、AI 音乐检测 2 篇论文被 INTER-NOISE...

宇宙是台巨大的量子计算机?量子科普著作《编程宇宙》中文版面世 | 赠书

2006 年,麻省理工学院(MIT)机械工程与物理学教授、量子计算科学家赛斯·劳埃德的经典科普著作《Programming the Universe: A Quantum Computer Scientist Takes On the Cosmos》问世。该书通俗易懂,全面深入,是一本通达量子物理学、计算机科学、复杂系统和宇宙学的必读书。在书中,劳埃德从最简单的概念「比特」开始,一步步论证宇宙是一台巨大的量子计算机,并给出了具体数据:从大爆炸到现在,宇宙总共对10的92次方个比特执行了10的122次方次计算操作。同时,赛斯·劳埃德对信息的本质、量子力学诠释、不确定原理、多重宇宙、时间与熵增、宇宙的起源和命运等深奥的大问题给出了引人入胜的论述。全书整体叙事宏大,同时在细节上处理得科学而严谨,并注入了作者深厚的情感,是一本不可多得的科普著作,堪称量子科技版的《时间简史》和《宇宙的琴弦》。作者赛斯...

来对答案了!2022年阿里全球数学竞赛预赛答案公布,00后选手占40%

机器之心报道编辑:陈萍、杜伟今年的阿里全球数学竞赛预选赛,你参加了吗?5 月 23 日,2022 年阿里巴巴全球数学竞赛于达摩院官网公布预选赛赛题及答案。在今年的国际数学日即 3 月 14 日,阿里巴巴全球数学竞赛报名正式启动。今年是阿里巴巴首次公开征集选题,人人皆可出题,人人皆可答题。首次公开征集选题后,各行各业的数学爱好者踊跃出题,赛题组共收到 145 道大众选题。出题人从 14 岁的少年到 83 岁的老人,来自亚洲、欧洲、非洲等多个大洲。假如明年还是公开征集选题的话,今年没赶上的小伙伴,明年可以试一试,说不定自己的题目就入选了。预选赛的题目类型包括选择题、解答题、证明题。预选赛为开卷考试,允许查阅、参考线上 / 线下资料,允许使用编程软件答题。禁止与他人讨论、外传赛题以及其他一切形式的作弊行为。今年共有来自...

超大模型出现后,AI的游戏结束了?Gary Marcus:路走窄了

选自Gary Marcus博客机器之心编译作者:Gary Marcus编辑:张倩、泽南Gary Marcus:你们的模型根本分不清「骑着马的宇航员」和「骑着宇航员的马」,还敢说大模型是AGI终结者?最近一段时间,人工智能技术在大模型方面有了突破性进展,昨天谷歌提出的 Imagen 再次引发了人们对于 AI 能力的讨论。通过大量数据的预训练学习,算法已经有了前所未有的逼真图像构建和语言理解能力。在很多人看来,我们距离通用人工智能已经近了,不过知名学者、纽约大学教授 Gary Marcus 不是这样想的。近日,他的文章《The New Science of Alt Intelligence》对 DeepMind 研究主任 Nando de Freitas 「规模致胜」的观点进行了反驳,让我们看看他是怎么说的。以下是Gary...

ACL 2022 | 腾讯QQ浏览器实验室提出文本语义匹配训练策略,与PLM结合效率不减

机器之心报道作者:QQ浏览器实验室这篇ACL 2022研究提出了一个简单而有效的文本语义匹配的训练策略,通过分治的方式将关键词从意图中分离出来。作为国际最受关注的自然语言处理顶级会议,每年的 ACL 都吸引了大量华人学者投稿、参会。今年的 ACL 大会已是第 60 届,于 5 月 22-5 月 27 举办。受到疫情影响,国内 NLP 从业者参与大会受到很多限制。为了给国内 NLP 社区的从业人员搭建一个自由轻松的学术交流平台,机器之心在 5 月 21 日组织了「ACL 2022 线上论文分享会」。腾讯 QQ 浏览器搜索技术部高级工程师唐萌为我们带来了论文《Divide and Conquer: Text Semantic Matching with Disentangled Keywords...

2021年ML和NLP学术统计:谷歌断层第一,强化学习大牛Sergey Levine位居榜首

选自 marekrei机器之心编译机器之心编辑部这有一份关于 2021 年 ML 和 NLP 出版物的统计数据,并以可视化的方式进行展现,例如最高产的作者、机构、主题等。2021 年是自然语言处理(NLP)和机器学习(ML)非常高产的一年,现在是时候统计一下去年 NLP 和 ML 领域的论文了。来自剑桥大学机器学习和自然语言处理的研究员 MAREK REI 总结分析了 2021 年经典论文,并归纳了 2021 年 ML 和 NLP 出版物的统计数据,他对人工智能行业的主要会议和期刊进行了分析,它们包括 ACL、EMNLP、NAACL、EACL、CoNLL、TACL、CL、NeurIPS、AAAI、ICLR、 ICML。论文的分析是使用一系列自动化工具完成的,可能并不完美,会存在一些纰漏和错误。出于某些原因,一些作者开始以模糊的形式发布他们的论文,以防止任何形式的内容复制或自动提取内容,分析过程排除了这些论文。现在我们看一下...

谷歌为1000+「长尾」语言创建机器翻译系统,Google翻译已支持部分小众语言

选自arXiv机器之心编译编辑:杜伟当今世界上有 7000 多种语言,其中只有大约 100 种具有机器翻译系统,那其他语言怎么办呢?谷歌正在为这些小众语言创建通用的机器翻译系统。过去十年,学术和商业机器翻译系统(MT)的质量已经得到了大幅度的提升。这些提升很大程度上得益于机器学习的进展和可用的大规模 web 挖掘数据集。同时,深度学习(DL)和 E2E 模型的出现、从 web 挖掘得到的大型并行单语言数据集、回译和自训练等数据增强方法以及大规模多语言建模等带来了能够支持超过 100 种语言的高质量机器翻译系统。然而,虽然低资源机器翻译出现了巨大进展,但已经构建广泛可用且通用的机器翻译系统的语言被限制在了大约 100 种,显然它们只是当今全世界使用的 7000 多种语言中的一小部分。除了语言数量受限之外,当前机器翻译系统所支持的语言的分布也极大地向欧洲语言倾斜。我们可以看到,尽管人口众多,但非洲、南亚和东南亚所说的语言以及美洲土著语言相关的服务却较少。比如,谷歌翻译支持弗里西亚语、马耳他语、冰岛语和柯西嘉语,以它们为母语的人口均少于...

Discover, share and read the best on the web

Follow RSS Feeds, Blogs, Podcasts, Twitter searches, Facebook pages, even Email Newsletters! Get unfiltered news feeds or filter them to your liking.

Get Inoreader
Inoreader - Follow RSS Feeds, Blogs, Podcasts, Twitter searches, Facebook pages, even Email Newsletters!