您的位置:首页 > 科技 > 能源 > 如何进行大模型训练和微调?(实战)

如何进行大模型训练和微调?(实战)

2024/11/14 2:42:16 来源:https://blog.csdn.net/weixin_43160662/article/details/142236101  浏览:    关键词:如何进行大模型训练和微调?(实战)

1、在项目中,如果prompt和function calling足够好,尽量不要微调,节约成本。
以下是针对function calling的slot,评估准确率(识别准确度)、召回率(全面率),F1值。
从中可以看出,训练微调并不能比function calling增强太多。

在这里插入图片描述

2、大模型训练和微调工具
https://huggingface.co/
分类器示例:https://huggingface.co/datasets/cornell-movie-review-data/rotten_tomatoes

3、模型训练数据,以开源数据库为例,包含酒店,景点,餐馆等信息。
https://github.com/thu-coai/CrossWOZ/
酒店数据库
https://github.com/thu-coai/CrossWOZ/blob/master/data/crosswoz/database/hotel_db.json
可以通过训练实现下面的对话机器人。
在这里插入图片描述
4.数据增强,可以用chatgpt对以上数据库改写,得到增强数据库,更加口语化。
在这里插入图片描述
5、模型训练环境
AutoDL的4090云GPU,显存大于20GB
https://www.autodl.com/home
在这里插入图片描述
6、训练、微调代码示例
https://github.com/agiclass/fine-tuning-lab/tree/v4
https://github.com/agiclass/fine-tuning-lab/blob/main/web_demo/web_demo.py

7、连接租用的容器后即可进行训练、微调。

在这里插入图片描述

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com