人工智能大模型微调模型推理服务【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址https://gitcode.com/gh_mirrors/pa/PaddleFormers点击查看免费下载PaddleFormers 仓库中的modules/目录维护着一套基于 PaddlePaddle 生态的 PaddleHub 预训练模型库涵盖图像、文本、语音、视频与工业应用五大领域共 376 个可直接使用的模型模块。本文以 modules/README_ch.md 为骨架逐类拆解模型目录的组织方式、代表性模型背后的网络结构与数据集并结合 paddlehub/module/module.py 等源码讲解模块的加载、命令行运行与服务化部署机制帮助读者快速检索、安装并在业务中落地这些预训练模型。模型仓库整体概览五大类 376 个模型模块modules/目录下的模型按模态与任务划分为五大类每类下再细分具体任务形成一棵清晰的“任务 → 模型”树| 大类 | 数量 | 子任务分类 | | -- | -- | -- | | 图像Image | 222 | 图像分类(108)、图像生成(26)、关键点检测(5)、图像分割(25)、人脸检测(7)、文字识别(17)、图像编辑(8)、实例分割(1)、目标检测(13)、深度估计(2)、文生图(10) | | 文本Text | 130 | 文本生成(17)、词向量(62)、机器翻译(2)、语义模型(30)、情感分析(7)、句法分析(1)、同声传译(5)、词法分析(2)、标点恢复(1)、文本审核(3) | | 语音Audio | 15 | 声音克隆(2)、语音合成(5)、语音识别(5)、声音分类(3) | | 视频Video | 8 | 视频分类(5)、视频修复(1)、多目标追踪(2) | | 工业应用 | 1 | 表针识别(1) |每个子任务目录下以“模型名”为子目录目录内是标准化的 PaddleHub 模块文件module.py、README.md等这种“按任务分类、按模型聚合”的组织方式让开发者能够依据业务场景快速定位模型。以下按类深入剖析。图像模型从分类到生成的全栈覆盖图像类模型数量最多222 个是仓库的重头戏覆盖了从经典分类网络到前沿文生图模型的完整谱系。图像分类108 个模型的网络矩阵图像分类子目录modules/image/classification收录了 108 个分类模型几乎囊括了主流 CNN 架构的每个变体ResNet 系列resnet18_vd_imagenet、resnet50_vd_imagenet、resnet_v2_152_imagenet等、ResNeXtresnext101_32x48d_wsl_imagenet等、RepVGGrepvgg_a0_imagenet至repvgg_b3g4_imagenet共 11 个、EfficientNetefficientnetb0_imagenet至efficientnetb7_imagenet共 8 个、HRNet、GhostNet、DenseNet、DPN、ReXNet、Xception、VGG、AlexNet、MobileNet 等。除 ImageNet-2012 通用预训练权重外还有大量面向垂直场景的模型例如动物识别mobilenet_v2_animals、resnet50_vd_animals、resnet50_vd_wildanimalsIFAW 野生动物数据集、SnakeIdentification蛇种识别餐饮场景mobilenet_v2_dishes、resnet50_vd_dishes、food_classification美食分类行业应用DriverStatusRecognition分心驾驶检测、marine_biometrics海洋生物识别Fish4Knowledge 数据集、SpinalNet_Gemstones宝石识别。值得留意的是这些垂直场景模型大多基于*_ssld后缀的骨干网络如ResNet50_vd_ssld、MobileNetV3_small_ssld说明其训练使用了 Paddle 的 SSLD 蒸馏/自监督方案在保持精度的同时显著压缩了模型体量。图像生成与风格迁移26 个生成模型modules/image/Image_gan 下聚集了图像生成类模型分为 GAN 基础生成pixel2style2pixel人脸转正、wav2lip唇形生成、attgan_celeba/stargan_celeba/stgan_celeba人脸编辑、cyclegan_cityscapes实景与分割图互转与风格迁移style_transfer子目录两大块。风格迁移是其中最有辨识度的部分animegan_v1_hayao_60宫崎骏风格、animegan_v2_shinkai_33新海诚风格、animegan_v2_paprika_54今敏风格等多版本 AnimeGAN 模型以及Photo2Cartoon人脸卡通化、UGATIT_100w/83w/92w人脸动漫化、stylepro_artistic艺术风格迁移等均为输入一张图片即可输出指定风格的结果。图像分割25 个模型与人像分割生态modules/image/semantic_segmentation 下的分割模型覆盖通用分割与人像分割两大方向人像分割deeplabv3p_xception65_humanseg、humanseg_server、humanseg_mobile移动端前置摄像头、humanseg_lite轻量级实时、SINet_Portrait_Segmentation、ExtremeC3_Portrait_Segmentation、FCN_HRNet_W18_Face_Seg通用分割deeplabv3p_resnet50_voc/cityscapes、fcn_hrnetw18/w48_voc/cityscapes、ocrnet_hrnetw18_voc/cityscapes、unet_cityscapes、fastscnn_cityscapes、bisenetv2_cityscapes、hardnet_cityscapes等垂直分割Pneumonia_CT_LKM_PP/_lung肺炎 CT 影像分析、Extract_Line_Draft线稿提取、U2Net/U2Netp前景背景分割、ace2p人体解析LIP 数据集。文字识别与目标检测等视觉任务文字识别17 个以chinese_ocr_db_crnn_mobile为代表的 DBCRNN 检测识别串联架构除中文简体外还覆盖繁体、日文、韩文、德文、法文、拉丁文、斯拉夫文、阿拉伯文、梵文、泰米尔文、泰卢固文、卡纳达文等多语种以及Vehicle_License_Plate_Recognition车牌识别、chinese_text_detection_db_server/mobile文本检测等目标检测13 个faster_rcnn_resnet50_fpn_coco2017、ssd_vgg16_300/512_coco2017、ssd_mobilenet_v1_pascal、以及多个 YOLOv3 变体yolov3_darknet53_coco2017、yolov3_darknet53_pedestrian行人检测、yolov3_darknet53_vehicles车辆检测人脸检测7 个pyramidbox_face_detection、pyramidbox_lite_mobile/server、ultra_light_fast_generic_face_detector_1mb_320/640等其他关键点检测face_landmark_localization、openpose_body_estimation、human_pose_estimation_resnet50_mpii等 5 个、图像编辑超分realsr、falsr_a/b/c、dcscn等 8 个、深度估计MiDaS_Large/MiDaS_Small、实例分割solov2、文生图disco_diffusion_clip_rn101、ernie_vilg、stable_diffusion_img2img。文本模型NLP 全任务能力文本类模型共 130 个覆盖生成、理解、分析、翻译四大方向是仓库中数量第二大的门类。文本生成与对话17 个模型modules/text/text_generation 以 ERNIE-GEN 与 Unified Transformer 为主力架构ERNIE-GEN 家族ernie_gen面向生成任务的预训练-微调框架、ernie_gen_poetry诗歌、ernie_gen_couplet对联、ernie_gen_acrostic_poetry藏头诗、ernie_gen_lover_words情话对话模型plato-mini十亿级中文对话数据、plato2_en_base/plato2_en_large、unified_transformer-12L-cn/-luge通用生成CPM_LMGPT-2 中文生成、GPT2_CPM_LM、GPT2_Base_CN、reading_pictures_writing_poems看图写诗等。词向量与语义模型6230 个 Embedding 与预训练语言模型词向量62 个子目录 modules/text/embedding 按“算法-语料-维度”命名例如w2v_baidu_encyclopedia_target_word-word_dim300word2vec百度百科300 维、glove_wiki2014-gigaword_target_word-word_dim100_enGloVe英文 100 维、fasttext_crawl_target_word-word_dim300_enfastText。语料覆盖微博、知乎、人民日报、搜狗、百度百科、文学、金融、四库全书等中文场景以及 wiki、twitter、crawl 等英文场景训练方式区分target目标词预测与context上下文预测粒度区分word/bigram/char/character。语义模型30 个子目录 modules/text/language_model 收录预训练语言模型包括ernie、ernie_tiny、ernie_v2_eng_base/large、bert-base-chinese、bert-base-uncased/cased、roberta-wwm-ext、chinese-bert-wwm/_ext、electra_small/base/large、chinese_electra_small/base、albert系列以及lda_news/lda_novel/lda_webpage和slda_*等主题模型。情感分析7 个模型modules/text/sentiment_analysis 提供三套方案基于 SKEP 的ernie_skep_sentiment_analysis句子级情感分析、基于 TextCNN 的emotion_detection_textcnn对话情绪识别以及经典 Senta 系列senta_bilstm/senta_bow/senta_cnn/senta_gru/senta_lstm中文情感倾向分析。以senta_bilstm为例其 README.md 明确说明了模型能力基于双向 LSTM 结构情感类型分为积极、消极模型大小 690MB可通过senta.sentiment_classify(texts...)返回情感标签及积极/消极置信度。词法分析与句法分析词法分析2 个modules/text/lexical_analysis/lac 与jieba_paddle。LACLexical Analysis of Chinese基于 BiGRUCRF 联合建模能整体完成中文分词、词性标注、专名识别README 中给出了其在百度自建数据集上的评测指标Precision88.0%Recall88.7%F1-Score88.4%句法分析1 个DDParser基于 Deep Biaffine Attention 网络。其他文本任务机器翻译transformer_zh-enCWMT2021、transformer_en-deWMT14、同声传译transformer_nist_wait_1/3/5/7/all五种 wait-k 策略、标点恢复auto_punc基于 ERNIE-1.0自动添加 7 种标点、文本审核porn_detection_cnn/gru/lstm三套色情文本检测。语音与视频模型语音声音克隆、合成、识别与分类modules/audio 下的 15 个语音模型构成完整的语音处理链路声音克隆2 个ge2e_fastspeech2_pwganGE2E 说话人编码 FastSpeech2 PWGAN、lstm_tacotron2LSTM Tacotron2 WaveFlow均基于 AISHELL-3 中文数据语音合成5 个fastspeech2_baker中文Chinese Standard Mandarin Speech Corpus、fastspeech2_ljspeech、fastspeech_ljspeech、transformer_tts_ljspeech、deepvoice3_ljspeech英文LJSpeech-1.1语音识别5 个deepspeech2_aishell/deepspeech2_librispeechDeepSpeech2与u2_conformer_aishell/u2_conformer_wenetspeech/u2_conformer_librispeechConformer声音分类3 个panns_cnn64 卷积层 2 全连接层4.5M 参数输出 512 维 embedding、panns_cnn104.9M 参数、panns_cnn1412 卷积层79.6M 参数输出 2048 维 embedding均基于 Google Audioset 预训练可提取音频 embedding。视频分类、修复与多目标追踪视频分类5 个videotag_tsn_lstmTSN AttentionLSTM 短视频打标签、tsn_kinetics400、tsm_kinetics400、stnet_kinetics400、nonlocal_kinetics400视频修复1 个SkyAR视频换天多目标追踪2 个fairmot_dla34CenterNet 实时多目标跟踪、jde_darknet53YOLOv3 兼顾精度与速度。工业应用WatermeterSegmentationDeepLabV3水表数字表盘分割作为唯一的工业应用模型展示了语义分割在仪表读数识别场景的落地形态。模块的源码级实现机制理解README_ch.md中模型目录的深层结构需要回到 PaddleHub 的模块加载机制。在 paddlehub/module/module.py 中可以找到两个核心装饰器moduleinfo装饰器module.py为 Python 类声明模块元信息name、version、author、summary、type并把类动态扩展为继承RunModule的 HubModule使其可被hub.Module加载runnable装饰器module.py标注某个方法为命令行可执行入口执行hub run module_name时该方法会被调用。仓库中的 modules/demo/senta_test/module.py 是一个最小可运行的模块示例清晰展示了这一套机制moduleinfo( namesenta_test, version1.0.0, summaryThis is a PaddleHub Module. Just for test., typenlp/sentiment_analysis, ) class SentaTest: def __init__(self): self.parser argparse.ArgumentParser(...) self.parser.add_argument(--input_text, typestr, defaultNone, helptext to predict) vocab_path os.path.join(self.directory, vocab.list) self.vocab load_vocab(vocab_path) def sentiment_classify(self, texts): ... runnable def run_cmd(self, argvs): args self.parser.parse_args(argvs) texts [args.input_text] return self.sentiment_classify(texts)该示例中的sentiment_classify是纯 Python 实现的词表匹配情感分类虽然只是测试用途但它演示了生产模块的通用骨架moduleinfo声明元信息 →__init__中通过self.directory定位同目录资源文件如vocab.list→ 业务预测方法 → 用runnable包装命令行入口。词表加载逻辑见 modules/demo/senta_test/processor.pyload_vocab读取词汇表文件并按空白切分。hub.Module的加载路径则分两种module.pyhub.Module(namexxx)按名称查找/安装模块hub.Module(directoryxxx)直接从本地目录加载init_with_directory会先检查是否存在旧版module_desc.pb描述文件否则解析module.py中的moduleinfo装饰器module.py完成动态加载。实战模型的安装、命令行预测与 API 调用安装模型所有模型统一通过hub install命令安装到本地默认目录为${HUB_HOME}/.paddlehub/modules未设置HUB_HOME时使用主目录也可指定版本号$ hub install senta_bilstm $ hub install lac2.4.0命令行预测根据 docs/docs_ch/tutorial/cmd_usage.rst 的说明PaddleHub 命令行预测按任务类型分为两类输入方式NLP 类任务通过--input_text或--input_file指定输入以 LAC 词法分析为例$ hub run lac --input_text 今天是个好日子 $ hub run lac --input_file test.txt --user_dict user.dict其中--user_dict为用户自定义词典每行一个定制 item格式为“单词/标签”用于干预默认分词结果。CV 类任务通过--input_path指定图片输入以图像分类为例$ hub run resnet_v2_50_imagenet --input_path test.jpg除hub run外命令行还提供hub install、hub uninstall、hub show、hub download、hub search支持正则如hub search ^s.*搜索所有 s 开头的模块、hub list、hub help、hub version、hub clear、hub config、hub serving共 11 个命令覆盖模型管理的完整生命周期。Python API 预测以情感分析模型senta_bilstm为例见 senta_bilstm/README.mdimport paddlehub as hub senta hub.Module(namesenta_bilstm) test_text [这家餐厅很好吃, 这部电影真的很差劲] results senta.sentiment_classify(textstest_text, use_gpuFalse, batch_size1) for result in results: print(result[text]) print(result[sentiment_label]) print(result[sentiment_key]) print(result[positive_probs]) print(result[negative_probs]) # 这家餐厅很好吃 1 positive 0.9407 0.0593 # 这部电影真的很差劲 0 negative 0.02 0.98sentiment_classify的完整签名与参数语义为texts待预测文本列表与datadictkey 必须为text二选一use_gpu控制是否使用 GPU使用 GPU 时需预先设置CUDA_VISIBLE_DEVICES环境变量batch_size控制批处理大小。模块还提供get_labels()获取类别、get_vocab_path()获取预训练词汇表路径等辅助接口。词法分析模型lac的 API 则支持cut接口并可选择是否返回词性标签见 lac/README.mdimport paddlehub as hub lac hub.Module(namelac) test_text [今天是个好日子, 天气预报说今天要下雨, 下一班地铁马上就要到了] results lac.cut(texttest_text, use_gpuFalse, batch_size1, return_tagTrue) for result in results: print(result[word]) print(result[tag]) # [今天, 是, 个, 好日子] # [TIME, v, q, n]服务化部署PaddleHub Serving任一支持预测的模块都可通过 Serving 一键部署为 HTTP 服务。以 LAC 为例先编写serving_config.json配置文件{ modules_info: { lac: { init_args: { version: 2.1.0, user_dict: ./test_dict.txt }, predict_args: {} } }, port: 8866, use_singleprocess: false, workers: 2 }然后启动服务并发送请求$ hub serving start -c serving_config.jsonimport requests import json text [今天是个好日子, 天气预报说今天要下雨] data {texts: text, batch_size: 1, use_gpu: True} url http://HOST_IP:8866/predict/lac headers {Content-Type: application/json} r requests.post(urlurl, headersheaders, datajson.dumps(data)) print(json.dumps(r.json(), indent4, ensure_asciiFalse))启动成功后默认监听 8866 端口可在配置中修改senta_bilstm等情感分析模型的部署方式完全一致hub serving start -m senta_bilstm对应预测路径为/predict/senta_bilstm。从 PaddleHub 2.3.1 起Serving 还支持通过http://127.0.0.1:8866/gradio/module_name在浏览器中直接访问模块的 Gradio APP 界面。如何继续深入从模型目录到模块源码这份模型索引的价值在于每一个表格行都对应一个可复用的真实模块目录。开发者拿到某个模型后建议按以下路径继续深入阅读该模型目录下的README.md中文与README_en.md英文其中包含环境依赖paddlepaddle/paddlehub 版本要求、模型信息表网络结构、数据集、是否支持 Fine-tuning、模型大小、更新日期、API 文档与更新历史阅读module.py查看预测接口与预处理逻辑如senta_bilstm的processor.py、lac的custom.py与ahocorasick.py自定义词典实现若需要自定义模块可参考 modules/demo/senta_test/module.py 的最小实现并配合 docs/docs_ch/tutorial/custom_module.rst 了解模块编写规范部署与命令行细节可查阅 docs/docs_ch/tutorial/cmd_usage.rst 与 docs/docs_ch/tutorial/serving.md。总的来说modules/README_ch.md不仅是模型清单更是一份面向 PaddlePaddle 生态的预训练模型能力地图从模型检索、安装、命令行/API 预测到服务化部署形成了一条完整的“模型即服务”链路可作为基于 PaddleHub 构建图像、文本、语音、视频应用的起点索引。赞分享人工智能大模型微调模型推理服务【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址https://gitcode.com/gh_mirrors/pa/PaddleFormers点击查看免费下载相关推荐PaddleHub 图像分类模块 dpn107_imagenet 使用指南基于 Dual Path Networks 的 ImageNet 预训练分类模型PaddleHub 图像分类模块 dpn107_imagenet 使用指南基于 Dual Path Networks 的 ImageNet 预训练分类模型 本人工智能大模型微调模型推理服务PaddleHub 迁移学习实战基于 PaddlePaddle 预训练模型完成 Fine-tune 全流程指南PaddleHub 迁移学习实战基于 PaddlePaddle 预训练模型完成 Fine tune 全流程指南 迁移学习Transfer Learning人工智能大模型微调模型推理服务PaddleHub mobilenet_v2_imagenet 图像分类模块基于 PaddlePaddle 的轻量级 MobileNetV2 模型实战指南PaddleHub mobilenet_v2_imagenet 图像分类模块基于 PaddlePaddle 的轻量级 MobileNetV2 模型实战指南 导人工智能大模型微调模型推理服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
人工智能大模型微调模型推理服务【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址https://gitcode.com/gh_mirrors/pa/PaddleFormers点击查看免费下载PaddleFormers 仓库中的modules/目录维护着一套基于 PaddlePaddle 生态的 PaddleHub 预训练模型库涵盖图像、文本、语音、视频与工业应用五大领域共 376 个可直接使用的模型模块。本文以 modules/README_ch.md 为骨架逐类拆解模型目录的组织方式、代表性模型背后的网络结构与数据集并结合 paddlehub/module/module.py 等源码讲解模块的加载、命令行运行与服务化部署机制帮助读者快速检索、安装并在业务中落地这些预训练模型。模型仓库整体概览五大类 376 个模型模块modules/目录下的模型按模态与任务划分为五大类每类下再细分具体任务形成一棵清晰的“任务 → 模型”树| 大类 | 数量 | 子任务分类 | | -- | -- | -- | | 图像Image | 222 | 图像分类(108)、图像生成(26)、关键点检测(5)、图像分割(25)、人脸检测(7)、文字识别(17)、图像编辑(8)、实例分割(1)、目标检测(13)、深度估计(2)、文生图(10) | | 文本Text | 130 | 文本生成(17)、词向量(62)、机器翻译(2)、语义模型(30)、情感分析(7)、句法分析(1)、同声传译(5)、词法分析(2)、标点恢复(1)、文本审核(3) | | 语音Audio | 15 | 声音克隆(2)、语音合成(5)、语音识别(5)、声音分类(3) | | 视频Video | 8 | 视频分类(5)、视频修复(1)、多目标追踪(2) | | 工业应用 | 1 | 表针识别(1) |每个子任务目录下以“模型名”为子目录目录内是标准化的 PaddleHub 模块文件module.py、README.md等这种“按任务分类、按模型聚合”的组织方式让开发者能够依据业务场景快速定位模型。以下按类深入剖析。图像模型从分类到生成的全栈覆盖图像类模型数量最多222 个是仓库的重头戏覆盖了从经典分类网络到前沿文生图模型的完整谱系。图像分类108 个模型的网络矩阵图像分类子目录modules/image/classification收录了 108 个分类模型几乎囊括了主流 CNN 架构的每个变体ResNet 系列resnet18_vd_imagenet、resnet50_vd_imagenet、resnet_v2_152_imagenet等、ResNeXtresnext101_32x48d_wsl_imagenet等、RepVGGrepvgg_a0_imagenet至repvgg_b3g4_imagenet共 11 个、EfficientNetefficientnetb0_imagenet至efficientnetb7_imagenet共 8 个、HRNet、GhostNet、DenseNet、DPN、ReXNet、Xception、VGG、AlexNet、MobileNet 等。除 ImageNet-2012 通用预训练权重外还有大量面向垂直场景的模型例如动物识别mobilenet_v2_animals、resnet50_vd_animals、resnet50_vd_wildanimalsIFAW 野生动物数据集、SnakeIdentification蛇种识别餐饮场景mobilenet_v2_dishes、resnet50_vd_dishes、food_classification美食分类行业应用DriverStatusRecognition分心驾驶检测、marine_biometrics海洋生物识别Fish4Knowledge 数据集、SpinalNet_Gemstones宝石识别。值得留意的是这些垂直场景模型大多基于*_ssld后缀的骨干网络如ResNet50_vd_ssld、MobileNetV3_small_ssld说明其训练使用了 Paddle 的 SSLD 蒸馏/自监督方案在保持精度的同时显著压缩了模型体量。图像生成与风格迁移26 个生成模型modules/image/Image_gan 下聚集了图像生成类模型分为 GAN 基础生成pixel2style2pixel人脸转正、wav2lip唇形生成、attgan_celeba/stargan_celeba/stgan_celeba人脸编辑、cyclegan_cityscapes实景与分割图互转与风格迁移style_transfer子目录两大块。风格迁移是其中最有辨识度的部分animegan_v1_hayao_60宫崎骏风格、animegan_v2_shinkai_33新海诚风格、animegan_v2_paprika_54今敏风格等多版本 AnimeGAN 模型以及Photo2Cartoon人脸卡通化、UGATIT_100w/83w/92w人脸动漫化、stylepro_artistic艺术风格迁移等均为输入一张图片即可输出指定风格的结果。图像分割25 个模型与人像分割生态modules/image/semantic_segmentation 下的分割模型覆盖通用分割与人像分割两大方向人像分割deeplabv3p_xception65_humanseg、humanseg_server、humanseg_mobile移动端前置摄像头、humanseg_lite轻量级实时、SINet_Portrait_Segmentation、ExtremeC3_Portrait_Segmentation、FCN_HRNet_W18_Face_Seg通用分割deeplabv3p_resnet50_voc/cityscapes、fcn_hrnetw18/w48_voc/cityscapes、ocrnet_hrnetw18_voc/cityscapes、unet_cityscapes、fastscnn_cityscapes、bisenetv2_cityscapes、hardnet_cityscapes等垂直分割Pneumonia_CT_LKM_PP/_lung肺炎 CT 影像分析、Extract_Line_Draft线稿提取、U2Net/U2Netp前景背景分割、ace2p人体解析LIP 数据集。文字识别与目标检测等视觉任务文字识别17 个以chinese_ocr_db_crnn_mobile为代表的 DBCRNN 检测识别串联架构除中文简体外还覆盖繁体、日文、韩文、德文、法文、拉丁文、斯拉夫文、阿拉伯文、梵文、泰米尔文、泰卢固文、卡纳达文等多语种以及Vehicle_License_Plate_Recognition车牌识别、chinese_text_detection_db_server/mobile文本检测等目标检测13 个faster_rcnn_resnet50_fpn_coco2017、ssd_vgg16_300/512_coco2017、ssd_mobilenet_v1_pascal、以及多个 YOLOv3 变体yolov3_darknet53_coco2017、yolov3_darknet53_pedestrian行人检测、yolov3_darknet53_vehicles车辆检测人脸检测7 个pyramidbox_face_detection、pyramidbox_lite_mobile/server、ultra_light_fast_generic_face_detector_1mb_320/640等其他关键点检测face_landmark_localization、openpose_body_estimation、human_pose_estimation_resnet50_mpii等 5 个、图像编辑超分realsr、falsr_a/b/c、dcscn等 8 个、深度估计MiDaS_Large/MiDaS_Small、实例分割solov2、文生图disco_diffusion_clip_rn101、ernie_vilg、stable_diffusion_img2img。文本模型NLP 全任务能力文本类模型共 130 个覆盖生成、理解、分析、翻译四大方向是仓库中数量第二大的门类。文本生成与对话17 个模型modules/text/text_generation 以 ERNIE-GEN 与 Unified Transformer 为主力架构ERNIE-GEN 家族ernie_gen面向生成任务的预训练-微调框架、ernie_gen_poetry诗歌、ernie_gen_couplet对联、ernie_gen_acrostic_poetry藏头诗、ernie_gen_lover_words情话对话模型plato-mini十亿级中文对话数据、plato2_en_base/plato2_en_large、unified_transformer-12L-cn/-luge通用生成CPM_LMGPT-2 中文生成、GPT2_CPM_LM、GPT2_Base_CN、reading_pictures_writing_poems看图写诗等。词向量与语义模型6230 个 Embedding 与预训练语言模型词向量62 个子目录 modules/text/embedding 按“算法-语料-维度”命名例如w2v_baidu_encyclopedia_target_word-word_dim300word2vec百度百科300 维、glove_wiki2014-gigaword_target_word-word_dim100_enGloVe英文 100 维、fasttext_crawl_target_word-word_dim300_enfastText。语料覆盖微博、知乎、人民日报、搜狗、百度百科、文学、金融、四库全书等中文场景以及 wiki、twitter、crawl 等英文场景训练方式区分target目标词预测与context上下文预测粒度区分word/bigram/char/character。语义模型30 个子目录 modules/text/language_model 收录预训练语言模型包括ernie、ernie_tiny、ernie_v2_eng_base/large、bert-base-chinese、bert-base-uncased/cased、roberta-wwm-ext、chinese-bert-wwm/_ext、electra_small/base/large、chinese_electra_small/base、albert系列以及lda_news/lda_novel/lda_webpage和slda_*等主题模型。情感分析7 个模型modules/text/sentiment_analysis 提供三套方案基于 SKEP 的ernie_skep_sentiment_analysis句子级情感分析、基于 TextCNN 的emotion_detection_textcnn对话情绪识别以及经典 Senta 系列senta_bilstm/senta_bow/senta_cnn/senta_gru/senta_lstm中文情感倾向分析。以senta_bilstm为例其 README.md 明确说明了模型能力基于双向 LSTM 结构情感类型分为积极、消极模型大小 690MB可通过senta.sentiment_classify(texts...)返回情感标签及积极/消极置信度。词法分析与句法分析词法分析2 个modules/text/lexical_analysis/lac 与jieba_paddle。LACLexical Analysis of Chinese基于 BiGRUCRF 联合建模能整体完成中文分词、词性标注、专名识别README 中给出了其在百度自建数据集上的评测指标Precision88.0%Recall88.7%F1-Score88.4%句法分析1 个DDParser基于 Deep Biaffine Attention 网络。其他文本任务机器翻译transformer_zh-enCWMT2021、transformer_en-deWMT14、同声传译transformer_nist_wait_1/3/5/7/all五种 wait-k 策略、标点恢复auto_punc基于 ERNIE-1.0自动添加 7 种标点、文本审核porn_detection_cnn/gru/lstm三套色情文本检测。语音与视频模型语音声音克隆、合成、识别与分类modules/audio 下的 15 个语音模型构成完整的语音处理链路声音克隆2 个ge2e_fastspeech2_pwganGE2E 说话人编码 FastSpeech2 PWGAN、lstm_tacotron2LSTM Tacotron2 WaveFlow均基于 AISHELL-3 中文数据语音合成5 个fastspeech2_baker中文Chinese Standard Mandarin Speech Corpus、fastspeech2_ljspeech、fastspeech_ljspeech、transformer_tts_ljspeech、deepvoice3_ljspeech英文LJSpeech-1.1语音识别5 个deepspeech2_aishell/deepspeech2_librispeechDeepSpeech2与u2_conformer_aishell/u2_conformer_wenetspeech/u2_conformer_librispeechConformer声音分类3 个panns_cnn64 卷积层 2 全连接层4.5M 参数输出 512 维 embedding、panns_cnn104.9M 参数、panns_cnn1412 卷积层79.6M 参数输出 2048 维 embedding均基于 Google Audioset 预训练可提取音频 embedding。视频分类、修复与多目标追踪视频分类5 个videotag_tsn_lstmTSN AttentionLSTM 短视频打标签、tsn_kinetics400、tsm_kinetics400、stnet_kinetics400、nonlocal_kinetics400视频修复1 个SkyAR视频换天多目标追踪2 个fairmot_dla34CenterNet 实时多目标跟踪、jde_darknet53YOLOv3 兼顾精度与速度。工业应用WatermeterSegmentationDeepLabV3水表数字表盘分割作为唯一的工业应用模型展示了语义分割在仪表读数识别场景的落地形态。模块的源码级实现机制理解README_ch.md中模型目录的深层结构需要回到 PaddleHub 的模块加载机制。在 paddlehub/module/module.py 中可以找到两个核心装饰器moduleinfo装饰器module.py为 Python 类声明模块元信息name、version、author、summary、type并把类动态扩展为继承RunModule的 HubModule使其可被hub.Module加载runnable装饰器module.py标注某个方法为命令行可执行入口执行hub run module_name时该方法会被调用。仓库中的 modules/demo/senta_test/module.py 是一个最小可运行的模块示例清晰展示了这一套机制moduleinfo( namesenta_test, version1.0.0, summaryThis is a PaddleHub Module. Just for test., typenlp/sentiment_analysis, ) class SentaTest: def __init__(self): self.parser argparse.ArgumentParser(...) self.parser.add_argument(--input_text, typestr, defaultNone, helptext to predict) vocab_path os.path.join(self.directory, vocab.list) self.vocab load_vocab(vocab_path) def sentiment_classify(self, texts): ... runnable def run_cmd(self, argvs): args self.parser.parse_args(argvs) texts [args.input_text] return self.sentiment_classify(texts)该示例中的sentiment_classify是纯 Python 实现的词表匹配情感分类虽然只是测试用途但它演示了生产模块的通用骨架moduleinfo声明元信息 →__init__中通过self.directory定位同目录资源文件如vocab.list→ 业务预测方法 → 用runnable包装命令行入口。词表加载逻辑见 modules/demo/senta_test/processor.pyload_vocab读取词汇表文件并按空白切分。hub.Module的加载路径则分两种module.pyhub.Module(namexxx)按名称查找/安装模块hub.Module(directoryxxx)直接从本地目录加载init_with_directory会先检查是否存在旧版module_desc.pb描述文件否则解析module.py中的moduleinfo装饰器module.py完成动态加载。实战模型的安装、命令行预测与 API 调用安装模型所有模型统一通过hub install命令安装到本地默认目录为${HUB_HOME}/.paddlehub/modules未设置HUB_HOME时使用主目录也可指定版本号$ hub install senta_bilstm $ hub install lac2.4.0命令行预测根据 docs/docs_ch/tutorial/cmd_usage.rst 的说明PaddleHub 命令行预测按任务类型分为两类输入方式NLP 类任务通过--input_text或--input_file指定输入以 LAC 词法分析为例$ hub run lac --input_text 今天是个好日子 $ hub run lac --input_file test.txt --user_dict user.dict其中--user_dict为用户自定义词典每行一个定制 item格式为“单词/标签”用于干预默认分词结果。CV 类任务通过--input_path指定图片输入以图像分类为例$ hub run resnet_v2_50_imagenet --input_path test.jpg除hub run外命令行还提供hub install、hub uninstall、hub show、hub download、hub search支持正则如hub search ^s.*搜索所有 s 开头的模块、hub list、hub help、hub version、hub clear、hub config、hub serving共 11 个命令覆盖模型管理的完整生命周期。Python API 预测以情感分析模型senta_bilstm为例见 senta_bilstm/README.mdimport paddlehub as hub senta hub.Module(namesenta_bilstm) test_text [这家餐厅很好吃, 这部电影真的很差劲] results senta.sentiment_classify(textstest_text, use_gpuFalse, batch_size1) for result in results: print(result[text]) print(result[sentiment_label]) print(result[sentiment_key]) print(result[positive_probs]) print(result[negative_probs]) # 这家餐厅很好吃 1 positive 0.9407 0.0593 # 这部电影真的很差劲 0 negative 0.02 0.98sentiment_classify的完整签名与参数语义为texts待预测文本列表与datadictkey 必须为text二选一use_gpu控制是否使用 GPU使用 GPU 时需预先设置CUDA_VISIBLE_DEVICES环境变量batch_size控制批处理大小。模块还提供get_labels()获取类别、get_vocab_path()获取预训练词汇表路径等辅助接口。词法分析模型lac的 API 则支持cut接口并可选择是否返回词性标签见 lac/README.mdimport paddlehub as hub lac hub.Module(namelac) test_text [今天是个好日子, 天气预报说今天要下雨, 下一班地铁马上就要到了] results lac.cut(texttest_text, use_gpuFalse, batch_size1, return_tagTrue) for result in results: print(result[word]) print(result[tag]) # [今天, 是, 个, 好日子] # [TIME, v, q, n]服务化部署PaddleHub Serving任一支持预测的模块都可通过 Serving 一键部署为 HTTP 服务。以 LAC 为例先编写serving_config.json配置文件{ modules_info: { lac: { init_args: { version: 2.1.0, user_dict: ./test_dict.txt }, predict_args: {} } }, port: 8866, use_singleprocess: false, workers: 2 }然后启动服务并发送请求$ hub serving start -c serving_config.jsonimport requests import json text [今天是个好日子, 天气预报说今天要下雨] data {texts: text, batch_size: 1, use_gpu: True} url http://HOST_IP:8866/predict/lac headers {Content-Type: application/json} r requests.post(urlurl, headersheaders, datajson.dumps(data)) print(json.dumps(r.json(), indent4, ensure_asciiFalse))启动成功后默认监听 8866 端口可在配置中修改senta_bilstm等情感分析模型的部署方式完全一致hub serving start -m senta_bilstm对应预测路径为/predict/senta_bilstm。从 PaddleHub 2.3.1 起Serving 还支持通过http://127.0.0.1:8866/gradio/module_name在浏览器中直接访问模块的 Gradio APP 界面。如何继续深入从模型目录到模块源码这份模型索引的价值在于每一个表格行都对应一个可复用的真实模块目录。开发者拿到某个模型后建议按以下路径继续深入阅读该模型目录下的README.md中文与README_en.md英文其中包含环境依赖paddlepaddle/paddlehub 版本要求、模型信息表网络结构、数据集、是否支持 Fine-tuning、模型大小、更新日期、API 文档与更新历史阅读module.py查看预测接口与预处理逻辑如senta_bilstm的processor.py、lac的custom.py与ahocorasick.py自定义词典实现若需要自定义模块可参考 modules/demo/senta_test/module.py 的最小实现并配合 docs/docs_ch/tutorial/custom_module.rst 了解模块编写规范部署与命令行细节可查阅 docs/docs_ch/tutorial/cmd_usage.rst 与 docs/docs_ch/tutorial/serving.md。总的来说modules/README_ch.md不仅是模型清单更是一份面向 PaddlePaddle 生态的预训练模型能力地图从模型检索、安装、命令行/API 预测到服务化部署形成了一条完整的“模型即服务”链路可作为基于 PaddleHub 构建图像、文本、语音、视频应用的起点索引。赞分享人工智能大模型微调模型推理服务【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址https://gitcode.com/gh_mirrors/pa/PaddleFormers点击查看免费下载相关推荐PaddleHub 图像分类模块 dpn107_imagenet 使用指南基于 Dual Path Networks 的 ImageNet 预训练分类模型PaddleHub 图像分类模块 dpn107_imagenet 使用指南基于 Dual Path Networks 的 ImageNet 预训练分类模型 本人工智能大模型微调模型推理服务PaddleHub 迁移学习实战基于 PaddlePaddle 预训练模型完成 Fine-tune 全流程指南PaddleHub 迁移学习实战基于 PaddlePaddle 预训练模型完成 Fine tune 全流程指南 迁移学习Transfer Learning人工智能大模型微调模型推理服务PaddleHub mobilenet_v2_imagenet 图像分类模块基于 PaddlePaddle 的轻量级 MobileNetV2 模型实战指南PaddleHub mobilenet_v2_imagenet 图像分类模块基于 PaddlePaddle 的轻量级 MobileNetV2 模型实战指南 导人工智能大模型微调模型推理服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
