在奥地利维也纳举行的国际机器学习会议（ICML 2024）上，全球 AI 研究人员和企业齐聚一堂，探讨机器学习领域的最新进展和应用。此次大会吸引了 Google、DeepMind、Meta 等科技公司的参与，他们将展示最新的研究成果和技术突破。今天下午 1:30 CEST，Google 的 Smriti Chirps、Andrew Gilchrist-Scott 和 Brad Stocks 将在 ICML 2024 的 Google 展台分享他们在多任务模型训练、服务和维护方面的经验。多任务模型涉及多个客户和不同的数据源，规模庞大，挑战重重。此次讨论将深入探讨如何在大规模环境中有效管理和优化多任务模型，为与会者提供实践经验和技术见解。
这个星期，全球数据挖掘领域的会议 ACM KDD 2023 在美国长滩拉开帷幕。作为数据挖掘界的盛会，今年的 KDD 吸引了世界各地的学者和行业专家。在为期五天的主会议期间，大会专门为大语言模型（LLM）安排了一整天的专题活动，展示最新研究成果和应用。今年的参会阵容包括 OpenAI、Meta、智谱 AI、Google DeepMind、Microsoft、Intel 等大语言模型领域的企业和研究机构。中国的大语言模型专家也与国际公司展示了技术实力和创新能力。大会探讨了大语言模型的最新研究进展与应用，通过一系列演讲和讨论，参会者们了解了大语言模型的前沿技术和未来方向。
这次大模型开放日的 Keynote 演讲嘉宾包括微软首席科学家 Jaime Teevan、OpenAI ChatGPT 团队成员 Jason Wei、智谱 AI CEO 张鹏、谷歌 DeepMind 首席科学家 Denny Zhou，以及 Meta FAIR 研究工程师 Vedanuj Goswami。他们分别就大模型赋能未来工作、语言模型推理能力、Llama 2、GLM-130B 和 ChatGLM、大模型范式与挑战等主题进行了分享。Jaime Teevan 作为微软首席科学家，探讨了大模型如何提升未来工作效率。Jason Wei 则分享了《大语言模型的复兴：范式和挑战》，介绍了大语言模型的缩放法则、涌现能力和推理能力，并探讨了这些特性对 AI 研究的影响。智谱 AI 的 CEO 张鹏 介绍了 GLM-130B 和 ChatGLM 的技术细节，展示了这些模型在自然语言处理和生成方面的表现。谷歌 DeepMind 的 Denny Zhou 探讨了语言模型的推理能力，分享了最新的研究成果和应用案例。而 Meta FAIR 的 Vedanuj Goswami 则介绍了 Llama 2 的最新进展，展示了这一模型在多语言处理和推理能力方面的突破。
在 KDD 2023 的 LLM Day 上，OpenAI 的 Jason Wei 带来了关于大语言模型复兴的分享。他介绍了大语言模型的三大特征：缩放法则、涌现能力和推理能力。缩放法则意味着模型规模越大，性能提升越显著；涌现能力则是在模型达到一定规模时，突然具备一些之前没有的能力；推理能力则是指模型在理解和生成复杂语言任务时的表现。Jason Wei 还分享了他在推广思维链提示和指令调优方面的经验。这些技术提高了模型的理解和生成能力，让模型在处理复杂任务时更高效、更准确。
在 KDD 2023 的 LLM Day 上，来自 Google DeepMind、微软、英特尔和密歇根大学的研究者们参与了圆桌讨论，探讨了大模型时代的机遇与挑战。讨论涉及大模型在生产和生活中的应用，以及这些应用所带来的挑战。研究者们指出，大模型在自动化、医疗、教育等领域展现出了潜力。比如，在医疗领域，大模型可以帮助医生进行诊断和制定治疗方案；在教育领域，大模型可以提供个性化的学习建议和辅导。然而，随着大模型的广泛应用，也带来了数据隐私、安全性和伦理等方面的挑战。来自中国的 ChatGLM 团队也在此次讨论中展示了他们的技术实力。ChatGLM 作为唯一的中国代表，展示了中国在大模型技术方面的进展和贡献。智谱 AI 作为 ChatGLM 的开发者，参与国际学术交流，推动了大模型技术的发展。这次圆桌讨论让学术界和工业界的研究者们共同探讨了大模型时代的机遇与挑战，为未来的发展提供了思路和建议。