- 克隆项目 llm.c
git glone git@github.com:karpathy/llm.c.git
或者直接下载ZIP，之后解压
然后在项目中 python环境，这个见仁见智。可以创建新的python环境
- 下载依赖
pip install -r requirements.txt
- 下载数据集
python dev/data/tinyshakespeare.py
这里可能会失败，没关系，多试几次可能就成功了。
- 权重初始化
需要使用openAI发布的GPT2权重初始化，然后微调，以便在C中加载
python3 train_gpt2.py
可能会报错连不上’https://huggingface.co’:
该报错解决办法：
pip install -U huggingface_hubexport HF_ENDPOINT=https://hf-mirror.com
可以将export HF_ENDPOINT=https://hf-mirror.com 写入 ~/.bashrc 中然后再source ~/.bashrc
再运行python3 train_gpt2.py的时候就可以成功了
之后会在llm.c的文件夹下面多出几个文件：
主要用到的会是 gpt2_124M.bin
- 训练GPT2
make train_gpt2fp32cu USE_CUDNN=1
可能没有cudnn,会报异常：Makefile:122: *** ✗ cuDNN not found. See the README for install instructions and the Makefile for hard-coded paths. Stop.
可以看官方文档安装
另外一个问题是可能会出现报错
找不到nccl或者 /usr/bin/ld: cannot find -lnccl
nccl是nvidia的一种通信协议，找官网 尝试安装就行
在 官方下载中找到对应自己cuda版本的nccl (cuda版本可以通过nvcc -V 查看)
比如我下载到~/Download 目录中
// 进入~/Download 目录
sudo dpkg -i nccl-local-repo-ubuntu2004-2.16.5-cuda11.8_1.0-1_amd64.deb// 更新
sudo cp /var/nccl-local-repo-ubuntu2004-2.16.5-cuda11.8/nccl-local-7EEFD2A2-keyring.gpg /usr/share/keyrings/sudo apt update// 更新libnccl2包， 如果需要使用nccl编译，还需要安装 libnccl-dev
sudo apt install libnccl2 libnccl-dev
安装完 nccl以后可以运行了
不过我的显卡显存不够，于是选择编译train_gpt2.cu， 该文件使用了混合精度训练
运行： make train_gpt2cu
得到 train_gpt2cu 的可执行文件，执行： OMP_NUM_THREADS=8 ./train_gpt2cu, 设置OMP可执行的线程数量
还提供了对应的测试文件：
编译：make test_gpt2
运行测试： ./test_gpt2
参考资料：
llm.c运行本地环境配置（cpu版本）