LoRA 深挖（下）：全零初始化、权重合并、继续训练、优化器【大模型面试通关手册 · 第 23 篇】本篇覆盖：BBB全零初始化的四层理由与"第一步的梯度流向"、恒等性为什么可验证、merge 的数学与精度陷阱、可逆性边界、继续训练的三种方案辨析、优化器选择（AdamW / Sophia / Lion）、显存因素的四个变量、保存与恢复（LoRA 篇 14 题后半）一、面试现场：这 14 题里有一半是"实现题"素材这一段的问法：“Lora 的矩阵怎么初始化？为什么要初始化为全 0？”（二十）“LoRA 权重是否可以合入原模型？”（四）、“LoRA 权重是否可以合并？”（十八）“如何在已有 LoRA 模型上继续训练？”（八）“微调大模型时，优化器如何？”（十六）“哪些因素会影响内存使用？”（十七）“ChatGLM-6
LoRA 深挖（下）：全零初始化、权重合并、继续训练、优化器【大模型面试通关手册 · 第 23 篇】本篇覆盖：BBB全零初始化的四层理由与"第一步的梯度流向"、恒等性为什么可验证、merge 的数学与精度陷阱、可逆性边界、继续训练的三种方案辨析、优化器选择（AdamW / Sophia / Lion）、显存因素的四个变量、保存与恢复（LoRA 篇 14 题后半）一、面试现场：这 14 题里有一半是"实现题"素材这一段的问法：“Lora 的矩阵怎么初始化？为什么要初始化为全 0？”（二十）“LoRA 权重是否可以合入原模型？”（四）、“LoRA 权重是否可以合并？”（十八）“如何在已有 LoRA 模型上继续训练？”（八）“微调大模型时，优化器如何？”（十六）“哪些因素会影响内存使用？”（十七）“ChatGLM-6
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
