M1 MacBook Air 单核 CPU 挑战大语言模型，每秒输出 160 个 Token！

M1 MacBook Air 单核 CPU 挑战大语言模型，每秒输出 160 个 Token！

自 2020 年上市以来，M1 MacBook Air 一直备受关注。最近，一位网友通过视频展示了这款设备在单核 CPU 下运行大语言模型（LLM）的表现，每秒输出 160 个 Token。视频中，这位网友确认自己的 CPU 设置为单核后，开始运行 LLM，并简单问了几个问题。

具体训练参数为：

  • 迭代批次为 269 次
  • 输入序列长度为 2469
  • 训练速度达到每秒 4.2 次
  • 内存使用量为 22.4GB
  • 使用 NVIDIA L4 GPU 进行训练
  • 收敛步骤为 142

这个模型需要以 “Human: How do raccoons meow”（人类：浣熊怎么喵喵叫）的提示词开头。如果你也想复现这次试验，可以查看 Hugging Face 上的相关资源。

要在自己的设备上复现这个试验，首先你得确认你的设备符合以下要求：

设备要求

  • 一台配备 M1 芯片的 MacBook Air，建议是 2020 年款。

软件环境

  • 最新版本的 macOS
  • 已经安装 Python 和相关的深度学习框架（如 TensorFlow 或 PyTorch）

具体步骤

  1. ** 安装必要的软件 **：
  • 打开终端并执行以下操作：
    • 确保安装了 Homebrew（如果没有安装，可以通过以下命令安装）：
      sh
      /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
    • 使用 Homebrew 安装 Python：
      sh
      brew install python
    • 安装 pip：
      sh
      sudo easy_install pip
    • 安装虚拟环境：
      sh
      pip install virtualenv
    • 创建并激活虚拟环境：
      sh
      virtualenv venv && source venv/bin/activate
    • 安装深度学习框架：
      sh
      pip install tensorflow # 或者 pip install torch
  1. ** 下载模型和代码 **：
  • 从 Hugging Face 下载所需的模型和代码。具体地址可以参考量子位的微博视频中的链接。
  1. ** 运行模型 **：
  • 打开终端，导航到下载的模型和代码所在的目录。
  • 使用以下命令运行模型：
    sh
    python run_model.py --model_name_or_path < 模型路径 > --input "Human: How do raccoons meow"
  • 确保输入序列长度设置为 2469，迭代批次为 269 次。
  1. ** 监控性能 **：
  • 在运行过程中，监控 CPU 和内存使用情况，确保内存使用量不超过 22.4GB。
  • 记录模型的输出速度，确保每秒输出 160 个 Token。

通过以上步骤和资源，你可以在自己的设备上复现这个试验，体验 M1 MacBook Air 在运行大语言模型时的性能。