前特斯拉科学家雷米·卡德内开源人形机器人技术
前特斯拉 Optimus 团队成员雷米·卡德内(Remi Cadene)离职后,加入 Hugging Face 并领导其新成立的 ,使得个人也可以在家中改造机器人,实现类似功能。
特斯拉自动驾驶软件负责人发文肯定马斯克
特斯拉 AI/自动驾驶软件负责人 Ashok Elluswamy 在最新长文《Elon and AI at Tesla》中详细阐述了埃隆·马斯克在特斯拉人工智能和自动驾驶技术发展中的重要作用。Elluswamy 指出,马斯克不仅推动了强大的 AI 软件和硬件的开发,还在视觉和 AI 技术上押下重注,成功实现了自动驾驶系统的突破。马斯克的技术直觉和不懈努力使特斯拉在现实世界 AI 领域取得了领先地位。马斯克对此表示感谢,并强调了 Elluswamy 和团队的贡献。
FixieAI 发布实验性多模态低延迟大模型 UltraVox
FixieAI 推出了其最新的实验性多模态低延迟大模型 UltraVox,该模型能够将音频直接转换为 Llama 3 使用的高维空间,从而节省了自动语音识别(ASR)的时间。UltraVox 的音频输入首次令牌生成时间(TTFT)仅为 200 毫秒,非常适合语音代理场景。
陈天奇团队发布 MLC LLM Engine,提升大语言模型部署灵活性
陈天奇团队推出了 MLC LLM Engine,这是一款通用部署引擎,能够在服务器上实现高吞吐量、低延迟的部署,同时也能将小型且功能强大的模型无缝集成到各种本地环境中。支持的部署平台包括英伟达和 AMD 的GPGPU、显卡,苹果 M 系列设备,iPad、iPhone、安卓手机、Steam Deck、英伟达 Jetson、香橙派等。
上海交通大学与香港中文大学推出 Bootstrap3D 框架,提升 3D 生成能力
上海交通大学和香港中文大学的团队推出了 Bootstrap3D 框架,该框架结合了微调的具备 3D 感知能力的多模态大模型,能够自动生成高质量的多视角图片数据,助力多视图扩散模型的训练。研究结果表明,新的合成数据显著提高了现有 3D 生成模型的美学质量和文本 prompt 的控制能力。目前,Bootstrap3D 的数据集已经全面开源。
港大北航等推出 1 bit 大模型 BiLLM
香港大学、苏黎世联邦理工学院和北京航空航天大学联合推出了一种名为 BiLLM 的训练后量化(PTQ)方法。BiLLM 通过将大多数参数压缩到 1 bit,部分关键权重使用 2 bit 表示,实现了极限量化。在实验中,BiLLM 在 OPT 模型和 Llama 系列模型上表现出色,平均权重大小仅为 1.1 bit 和1.08 bit,甚至超过了全精度的 OPT-66B 模型。该方法能够在单个 GPU 上半小时内完成 7B LLM 的二值化,显著提升了模型的计算效率和资源利用率。
此研究已被国际机器学习会议 (ICML)2024 接收,并在 IEEE Spectrum 专栏中被评为“解决 AI 能源需求”的重要突破。