（本文阅读时间：10分钟） 编者按：基于大语言模型（LLMs）开发的应用目前主要使用公共 LLMs 服务提供的 API 进行，但是这些 LLMs 服务的 API 设计以请求为中心，缺乏应用级信息，难以有效优化整个应用流程，影响任务的端到端性能。为此，微软亚洲研究院的研究员们开发了一个专注于 LLMs 应用端到端体验的服务系统 Parrot，它具有减少网络延迟、提高吞吐量、减少冗余计算等优势。Parrot 可以通过引入语义变量，向公共 LLMs 服务公开请求间关系，从而开辟了 LLMs 应用端到端性能优化的空间。相关论文已被计算机系统领域顶级学术会议 OSDI 2024 收录。 大语言模型（LLMs）以其卓越的语言理解能力引领了一场应用开发领域的范式转变。在新兴范式中，一个或多个应用实体，被称为...

（本文阅读时间：10分钟） 编者按：分子动力学模拟在新药开发、材料设计等领域发挥着重要作用。近年来机器学习技术的不断发展，使得其对分子间相互作用的刻画也更加精确，但却面临着随分子体系扩大，计算效率降低和长程信息丢失的难题。在此背景下，微软研究院科学智能中心同耶鲁大学、西安交通大学提出了一种名为 LSR-MP 的新型分子动力学机器学习框架。该框架结合了物理洞见和几何深度学习，通过在原子/分子片段上分别建模短程和长程效应，为大规模分子体系的高精度、高效模拟开辟了新的途径。 分子动力学模拟是研究分子体系的“显微镜”，在新药开发、材料设计等领域发挥着重要作用。但传统的模拟方法面临计算成本高、难以处理大分子等瓶颈。近年来，人工智能技术的发展为突破这些瓶颈带来了新的希望。 近日，微软研究院科学智能中心（Microsoft...

（本文阅读时间：8分钟） 人工智能国际顶级学术会议 ICML 2024 正在奥地利维也纳举办，作为大会的荣誉合作伙伴，微软将协力打造这场机器学习领域的盛大聚会。其中，微软亚洲研究院共有25篇论文被 ICML 2024 接收，并在大会的展台、Oral Presentation、Poster和Workshop中有一系列展示。 此外，我们还为不能现场参会的小伙伴安排了四篇精选论文的在线分享！7月24日（周三）13:30，微软亚洲研究院将邀请四位论文作者做客微信视频号“微软亚洲研究院”直播间，为大家分享这次入选本届大会的精选论文！  本次论文分享内容涉及大语言模型的数学推理、多维度评测、长文本处理以及时间序列预测模型。如果你对人工智能、大语言模型等领域充满兴趣，不妨来看看这场直播，你将可以与研究员们对话交流，深刻了解相关技术的原理与思路，以及人工智能和机器学习等领域的最新趋势和未来发展。...

（本文阅读时间：6分钟） 编者按：深度学习技术已经在图像识别、语音识别、自然语言处理、搜索推荐等多个领域不断展现出巨大的应用价值。然而，随着模型规模的不断增大，深度学习模型的训练变得耗时且昂贵，设计最优的并行策略组合以提高其在多设备上的执行性能是目前该领域的一大挑战。在此背景下，微软亚洲研究院提出 nnScaler 技术，通过一套并行化原语和策略限定搜索的方法来寻求最佳的并行策略组合。这一尝试为寻求深度学习并行策略最优化提供了方案和工具，有效应对了当前的深度学习训练效率难题。相关论文已被计算机系统领域顶级学术会议 OSDI 2024 收录。 目前，深度学习已经透过多种应用形式广泛深入人们的日常生活当中。但随着模型规模的不断增大，其训练变得耗时且昂贵。为此，科研人员不断设计出各种并行策略来提高其在多设备上的执行性能。...

（本文阅读时间：14分钟） 2024年7月21日至7月27日（维也纳时间），由国际机器学习协会主办的第四十一届国际机器学习大会（ICML 2024）将在奥地利维也纳举办。作为全球机器学习领域最权威的会议之一，ICML 2024展示和发表了机器学习各个方面的前沿研究成果，这些研究应用于人工智能、统计学和数据科学等学科，以及机器视觉、计算生物学、语音识别和机器人等重要应用领域。  今年，作为ICML 2024的荣誉合作伙伴，微软将协力打造这场机器学习领域的盛大聚会。其中，微软亚洲研究院共有25篇论文被ICML 2024接收，并将在大会的展台、Oral Presentation、Poster和Workshop中有一系列展示。期待与你在维也纳相聚与研讨！ 此外，我们还为不能现场参会的小伙伴安排了四篇精选论文的在线分享！论文作者将于7月24日13:30（北京时间）在微信视频号“微软亚洲研究院”与“微软科技”的...

（本文阅读时间：9分钟） 编者按：激活稀疏性是解决大语言模型（LLMs）在推理阶段出现的计算成本高、内存占用大等问题的有效方法，可以有效减少激活张量中激活元素的数量。然而该方法无法实现 LLMs 激活的完全稀疏性，从而限制了推理阶段的效率提升。 对此，微软亚洲研究院提出 Q-Sparse 实现了 LLMs 激活的完全稀疏性。该研究不仅揭示了包括推理优化规模法则（inference-optimal scaling law）在内的多项新发现，还展现出广泛的兼容性，其与 BitNet 正交且互补，为 LLMs 推理中的数据类型提供了全面优化。此外，Q-Sparse 强大的适用性，对从头开始训练、持续训练以及微调都可以提供有效的支持。 本文转载自公众号“量子位”，原文标题《只激活3.8B参数，性能比肩同款7B模型！训练微调都能用，来自微软》。...