Transformers-Tutorials拆解手把手跑通 100 个 HuggingFace 模型教程【免费下载链接】Transformers-TutorialsThis repository contains demos I made with the Transformers library by HuggingFace.项目地址: https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials这个仓库是 HuggingFace 核心贡献者为 Transformers 库写的一组 Jupyter Notebook 教程覆盖 BERT、DETR、CLIPSeg 等 100 个模型微调、推理和零样本实例全部可运行。谁需要用 Transformers-Tutorials刚接触 HuggingFace Transformers 的人想看从数据到推理的完整流程。算法工程师想按模型族检测、分割、文档理解找微调参考实现。只有笔记本、没有 GPU 的人想在 Colab 里免费跑通完整示例。如果你要找最新的 LLM 微调LoRA、RLHF教程这里偏经典视觉和 NLP 任务别从这里入手。配置三步装好 Transformers-Tutorials仓库已配好pyproject.tomlAGENTS.md明确建议用 uv 管环境这是最省事的路线git clone https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials cd Transformers-Tutorials uv sync然后执行uv run jupyter notebook启动内核。项目要求 Python 版本不低于 3.12。如果uv sync报requires Python 3.12通常是本地 Python 太旧先执行uv python install 3.12再重新 sync。如果跑脚本报ModuleNotFoundError通常是用了系统 Python 而不是 uv 环境换成uv run python xxx.py即可。跑通第一个5 分钟 DETR 目标检测示例拿 DETR 目录里最小的推理例子。一张图三个物体代码不到 15 行import torch, requests from PIL import Image from transformers import DetrFeatureExtractor, DetrForObjectDetection image Image.open(requests.get( http://images.cocodataset.org/val2017/000000039769.jpg, streamTrue).raw) feature_extractor DetrFeatureExtractor.from_pretrained(facebook/detr-resnet-50) model DetrForObjectDetection.from_pretrained(facebook/detr-resnet-50) outputs model(**feature_extractor(image, return_tensorspt)) sizes torch.tensor(image.size[::-1]).unsqueeze(0) results feature_extractor.post_process(outputs, sizes) print(model.config.id2label[results[0][labels][0].item()], results[0][scores][0].item())预期输出第一个检测对象的类别名cat、dog、teddy bear 之一加一个 0.9 左右的置信度分数。想画框看效果直接打开 DETR/DETR_minimal_example_(with_DetrFeatureExtractor).ipynb.ipynb) 跑完整版本。核心能力拆解仓库里 4 类教程怎么组织教程按模型族分目录每个目录里都是独立 .ipynb互不依赖。下面挑四类代表性入口。微调 BERT 做序列标注NER用 WikiANN 数据集跑实体识别的完整流程从加载数据到训练循环都有。from transformers import BertTokenizer, BertForTokenClassification from datasets import load_dataset dataset load_dataset(wikiann, en) tokenizer BertTokenizer.from_pretrained(bert-base-uncased) model BertForTokenClassification.from_pretrained( bert-base-uncased, num_labelslen(id2label), id2labelid2label)适用场景从新闻文本里识别人名、地名、机构名。完整训练流程见 BERT/Custom_Named_Entity_Recognition_with_BERT.ipynb。文本标签打完换到视觉域检测类模型由 DETR 系列承接。DETR 目标检测推理与微调DETR 是端到端检测模型logits 必须经post_process还原成原图坐标的框。# 把归一化框 rescale 回原图尺寸 sizes torch.tensor(image.size[::-1]).unsqueeze(0) results feature_extractor.post_process(outputs, sizes)适用场景给自己的图片数据集训检测器目录里带 balloon 数据集微调教程入口在 DETR/Fine_tuning_DetrForObjectDetection_on_custom_dataset_(balloon).ipynb.ipynb)。检测拿到框分割则需要逐像素的掩码这正好是 CLIPSeg 的强项。CLIPSeg 零样本图像分割给一句文本描述输出对应区域的分割掩码不需要任何训练。processor CLIPSegProcessor.from_pretrained(CIDAS/clipseg-rd64-refined, use_fastTrue) model CLIPSegForImageSegmentation.from_pretrained(CIDAS/clipseg-rd64-refined) mask torch.sigmoid(model(**processor( text[a glass], images[image], return_tensorspt)).logits)适用场景没有标注数据只有一句把图中的杯子切出来的需求。分割解决了在哪视觉问答还要回答是什么这交给多模态模型。ViLT 视觉问答ViT 图像编码器和 BERT 文本编码器双塔结构对图片和问题联合推理出答案。processor ViltProcessor.from_pretrained(dandelin/vilt-b32-finetuned-vqa) model ViltForQuestionAnswering.from_pretrained(dandelin/vilt-b32-finetuned-vqa) outputs model(**processor(image, question, return_tensorspt)) idx torch.sigmoid(outputs.logits).argmax(-1) print(model.config.id2label[idx.item()])适用场景给图库加一个看图答题的轻量问答入口目录里还有微调版教程可跟。实战场景两段代码直接复制跑场景一新闻文本里批量抽取实体问题是手里有一批英文新闻要从中抽出人名、地名。教程路径 BERT/Custom_Named_Entity_Recognition_with_BERT.ipynb 里训练完成后推理部分就是下面这段tokenizer 和 model 换成教程里微调好的对象sentence India has a capital called Mumbai inputs tokenizer(sentence, paddingmax_length, truncationTrue, max_length128, return_tensorspt) logits model(inputs[input_ids], inputs[attention_mask])[0] print(logits.shape) # (1, 128, 实体类型数)logits 的最后一维对应每个 token 的实体类别取 argmax 再按词聚合就是最终实体。场景二一句话抠出图里的物体问题是产品图里有个泰迪熊要用一句描述把它切出来不能标数据。教程路径 CLIPSeg/Zero_shot_image_segmentation_with_CLIPSeg.ipynb核心调用如下image Image.open(requests.get( http://images.cocodataset.org/val2017/000000039769.jpg, streamTrue).raw) inputs processor(text[a teddy bear], images[image], paddingTrue, return_tensorspt) print(torch.sigmoid(model(**inputs).logits).shape)processor 和 model 按核心能力拆解里 CLIPSeg 一节的代码加载。输出是 sigmoid 后的逐像素概率图阈值 0.5 即得二值掩码。避坑 上手路径requires Python 3.12uv sync直接失败 → 本地 Python 低于 3.12 → 执行uv python install 3.12后重新 sync。ModuleNotFoundError: transformers脚本跑不起来 → 用了系统解释器 → 统一走uv run让 uv 选对环境。CUDA out of memory跑大模型直接 OOM → 显存不够 → 降 batch size或临时model.to(cpu)先把流程跑通。NER 实体和词对不齐预测贴在子词分片上 → 分词把词切碎 → 仓库里有个 only_first_wordpiece 变体教程只取每个词的首片标签。上手路径分三步走入门先跑完 5 分钟的 DETR 示例熟悉 notebook 套路进阶跟一遍 BERT 目录的完整微调把训练循环读透深入挑一个模型族DETR、LayoutLMv3、ViLT 任选从零调到能出数。这个仓库的价值不是讲道理而是把 100 多个可运行样例摆在目录里等你挑。现在就去跑那个 5 分钟的 DETR 示例跑通后你就有了自己的模板。后面想换哪个模型族翻对应目录就行。【免费下载链接】Transformers-TutorialsThis repository contains demos I made with the Transformers library by HuggingFace.项目地址: https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Transformers-Tutorials拆解手把手跑通 100 个 HuggingFace 模型教程【免费下载链接】Transformers-TutorialsThis repository contains demos I made with the Transformers library by HuggingFace.项目地址: https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials这个仓库是 HuggingFace 核心贡献者为 Transformers 库写的一组 Jupyter Notebook 教程覆盖 BERT、DETR、CLIPSeg 等 100 个模型微调、推理和零样本实例全部可运行。谁需要用 Transformers-Tutorials刚接触 HuggingFace Transformers 的人想看从数据到推理的完整流程。算法工程师想按模型族检测、分割、文档理解找微调参考实现。只有笔记本、没有 GPU 的人想在 Colab 里免费跑通完整示例。如果你要找最新的 LLM 微调LoRA、RLHF教程这里偏经典视觉和 NLP 任务别从这里入手。配置三步装好 Transformers-Tutorials仓库已配好pyproject.tomlAGENTS.md明确建议用 uv 管环境这是最省事的路线git clone https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials cd Transformers-Tutorials uv sync然后执行uv run jupyter notebook启动内核。项目要求 Python 版本不低于 3.12。如果uv sync报requires Python 3.12通常是本地 Python 太旧先执行uv python install 3.12再重新 sync。如果跑脚本报ModuleNotFoundError通常是用了系统 Python 而不是 uv 环境换成uv run python xxx.py即可。跑通第一个5 分钟 DETR 目标检测示例拿 DETR 目录里最小的推理例子。一张图三个物体代码不到 15 行import torch, requests from PIL import Image from transformers import DetrFeatureExtractor, DetrForObjectDetection image Image.open(requests.get( http://images.cocodataset.org/val2017/000000039769.jpg, streamTrue).raw) feature_extractor DetrFeatureExtractor.from_pretrained(facebook/detr-resnet-50) model DetrForObjectDetection.from_pretrained(facebook/detr-resnet-50) outputs model(**feature_extractor(image, return_tensorspt)) sizes torch.tensor(image.size[::-1]).unsqueeze(0) results feature_extractor.post_process(outputs, sizes) print(model.config.id2label[results[0][labels][0].item()], results[0][scores][0].item())预期输出第一个检测对象的类别名cat、dog、teddy bear 之一加一个 0.9 左右的置信度分数。想画框看效果直接打开 DETR/DETR_minimal_example_(with_DetrFeatureExtractor).ipynb.ipynb) 跑完整版本。核心能力拆解仓库里 4 类教程怎么组织教程按模型族分目录每个目录里都是独立 .ipynb互不依赖。下面挑四类代表性入口。微调 BERT 做序列标注NER用 WikiANN 数据集跑实体识别的完整流程从加载数据到训练循环都有。from transformers import BertTokenizer, BertForTokenClassification from datasets import load_dataset dataset load_dataset(wikiann, en) tokenizer BertTokenizer.from_pretrained(bert-base-uncased) model BertForTokenClassification.from_pretrained( bert-base-uncased, num_labelslen(id2label), id2labelid2label)适用场景从新闻文本里识别人名、地名、机构名。完整训练流程见 BERT/Custom_Named_Entity_Recognition_with_BERT.ipynb。文本标签打完换到视觉域检测类模型由 DETR 系列承接。DETR 目标检测推理与微调DETR 是端到端检测模型logits 必须经post_process还原成原图坐标的框。# 把归一化框 rescale 回原图尺寸 sizes torch.tensor(image.size[::-1]).unsqueeze(0) results feature_extractor.post_process(outputs, sizes)适用场景给自己的图片数据集训检测器目录里带 balloon 数据集微调教程入口在 DETR/Fine_tuning_DetrForObjectDetection_on_custom_dataset_(balloon).ipynb.ipynb)。检测拿到框分割则需要逐像素的掩码这正好是 CLIPSeg 的强项。CLIPSeg 零样本图像分割给一句文本描述输出对应区域的分割掩码不需要任何训练。processor CLIPSegProcessor.from_pretrained(CIDAS/clipseg-rd64-refined, use_fastTrue) model CLIPSegForImageSegmentation.from_pretrained(CIDAS/clipseg-rd64-refined) mask torch.sigmoid(model(**processor( text[a glass], images[image], return_tensorspt)).logits)适用场景没有标注数据只有一句把图中的杯子切出来的需求。分割解决了在哪视觉问答还要回答是什么这交给多模态模型。ViLT 视觉问答ViT 图像编码器和 BERT 文本编码器双塔结构对图片和问题联合推理出答案。processor ViltProcessor.from_pretrained(dandelin/vilt-b32-finetuned-vqa) model ViltForQuestionAnswering.from_pretrained(dandelin/vilt-b32-finetuned-vqa) outputs model(**processor(image, question, return_tensorspt)) idx torch.sigmoid(outputs.logits).argmax(-1) print(model.config.id2label[idx.item()])适用场景给图库加一个看图答题的轻量问答入口目录里还有微调版教程可跟。实战场景两段代码直接复制跑场景一新闻文本里批量抽取实体问题是手里有一批英文新闻要从中抽出人名、地名。教程路径 BERT/Custom_Named_Entity_Recognition_with_BERT.ipynb 里训练完成后推理部分就是下面这段tokenizer 和 model 换成教程里微调好的对象sentence India has a capital called Mumbai inputs tokenizer(sentence, paddingmax_length, truncationTrue, max_length128, return_tensorspt) logits model(inputs[input_ids], inputs[attention_mask])[0] print(logits.shape) # (1, 128, 实体类型数)logits 的最后一维对应每个 token 的实体类别取 argmax 再按词聚合就是最终实体。场景二一句话抠出图里的物体问题是产品图里有个泰迪熊要用一句描述把它切出来不能标数据。教程路径 CLIPSeg/Zero_shot_image_segmentation_with_CLIPSeg.ipynb核心调用如下image Image.open(requests.get( http://images.cocodataset.org/val2017/000000039769.jpg, streamTrue).raw) inputs processor(text[a teddy bear], images[image], paddingTrue, return_tensorspt) print(torch.sigmoid(model(**inputs).logits).shape)processor 和 model 按核心能力拆解里 CLIPSeg 一节的代码加载。输出是 sigmoid 后的逐像素概率图阈值 0.5 即得二值掩码。避坑 上手路径requires Python 3.12uv sync直接失败 → 本地 Python 低于 3.12 → 执行uv python install 3.12后重新 sync。ModuleNotFoundError: transformers脚本跑不起来 → 用了系统解释器 → 统一走uv run让 uv 选对环境。CUDA out of memory跑大模型直接 OOM → 显存不够 → 降 batch size或临时model.to(cpu)先把流程跑通。NER 实体和词对不齐预测贴在子词分片上 → 分词把词切碎 → 仓库里有个 only_first_wordpiece 变体教程只取每个词的首片标签。上手路径分三步走入门先跑完 5 分钟的 DETR 示例熟悉 notebook 套路进阶跟一遍 BERT 目录的完整微调把训练循环读透深入挑一个模型族DETR、LayoutLMv3、ViLT 任选从零调到能出数。这个仓库的价值不是讲道理而是把 100 多个可运行样例摆在目录里等你挑。现在就去跑那个 5 分钟的 DETR 示例跑通后你就有了自己的模板。后面想换哪个模型族翻对应目录就行。【免费下载链接】Transformers-TutorialsThis repository contains demos I made with the Transformers library by HuggingFace.项目地址: https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
