广州刚刚通报_轴承外贸平台哪个网站最好_深圳关键词优化怎么样_网络营销乐云seo

1. 背景

电脑配置：macbook pro m1芯片 16G内存。
使用Lora进行模型微调，微调流程参考：Mac M2之LLaMA3-8B微调（llama3-fine-tuning）

2. 报错及问题

2.1 训练时报错：NotImplementedError: Cannot copy out of meta tensor; no data! Please use torch.nn.Module.to_empty() instead of torch.nn.Module.to() when moving module from meta to a different device.

2.2 推理时报错：RuntimeError: Placeholder storage has not been allocated on MPS device!

如果有网友有根治的解决方案，求分享~

3. 解决方案：

网上搜了很多解决方案。
比如：调整transformers/trainer.py的源码，不行。
折腾了很久，都不好使。
最后发现一种可以使的方式，强制设置 device = “cpu”,然后关闭电脑高内存应用。
训练语料：

效果如下:

训练语料真的会严重影响模型效果。

以上，结束。