nanochat 核心信息| 特性 | 说明 ||----------|-------------------------------------------------|| 定位 | 训练 LLM 最简单、最轻量的实验框架 || 目标 | 在 8xH100 上 ~2 小时~$48复现 GPT-2 能力 || 设计哲学 | 单旋钮控制 --depth自动计算所有其他超参数 || 功能覆盖 | 分词 → 预训练 → SFT → RLHF → 评估 → 推理 || 当前成绩 | 1.65 小时超越 GPT-2 CORE 分数 (0.2626 0.2565) |文件结构nanochat/├── gpt.py # GPT Transformer 模型├── engine.py # 推理引擎 KV 缓存├── optim.py # AdamW Muon 优化器├── tokenizer.py # BPE 分词器└── scripts/├── base_train.py # 预训练├── chat_sft.py # SFT 微调├── chat_rl.py # RL 对齐└── chat_cli.py # CLI 对话
nanochat 核心信息| 特性 | 说明 ||----------|-------------------------------------------------|| 定位 | 训练 LLM 最简单、最轻量的实验框架 || 目标 | 在 8xH100 上 ~2 小时~$48复现 GPT-2 能力 || 设计哲学 | 单旋钮控制 --depth自动计算所有其他超参数 || 功能覆盖 | 分词 → 预训练 → SFT → RLHF → 评估 → 推理 || 当前成绩 | 1.65 小时超越 GPT-2 CORE 分数 (0.2626 0.2565) |文件结构nanochat/├── gpt.py # GPT Transformer 模型├── engine.py # 推理引擎 KV 缓存├── optim.py # AdamW Muon 优化器├── tokenizer.py # BPE 分词器└── scripts/├── base_train.py # 预训练├── chat_sft.py # SFT 微调├── chat_rl.py # RL 对齐└── chat_cli.py # CLI 对话
