零样本分类技术Cosmos-Embed1-448p-anomaly-detection在未见异常类型上的表现【免费下载链接】Cosmos-Embed1-448p-anomaly-detection项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-Embed1-448p-anomaly-detectionCosmos-Embed1-448p-anomaly-detection是一款专为物理AI设计的视频文本嵌入模型基于Cosmos-Embed1-448p通过LoRA低秩适应技术在Vad-Reasoning数据集上进行了微调特别优化了视频异常检测和分类任务。该模型能够在无需重新训练的情况下识别未见异常类型为物理AI开发者和工程师提供了强大的视频文本嵌入解决方案。什么是零样本分类技术零样本分类技术是一种先进的机器学习方法它允许模型在没有见过特定类别的训练样本的情况下通过文本描述来识别和分类新的类别。这种技术的核心在于将视觉信息和文本信息映射到一个共享的向量空间使得模型能够通过比较视频嵌入和文本嵌入的相似度来进行分类。Cosmos-Embed1-448p-anomaly-detection模型正是利用了这一原理它可以将视频帧序列转换为768维的视频嵌入向量同时将文本描述转换为对应的文本嵌入向量。通过计算这两种向量之间的余弦相似度模型能够实现对未见异常类型的识别和分类。Cosmos-Embed1-448p-anomaly-detection的架构与优势模型架构Cosmos-Embed1-448p-anomaly-detection采用了基于QFormer的视频文本嵌入器架构配备EVA-ViT-G视觉骨干网络。视频嵌入器通过ViT骨干网络单独处理每一帧将每帧的ViT特征在时间维度上连接并添加时间嵌入。这些特征随后被传入QFormer通过交叉注意力从提供的帧中总结出一组紧凑的视觉查询令牌最终池化为单个视频嵌入。文本嵌入器通过QFormer的自注意力分支处理标记化文本生成文本嵌入。归一化的文本和视频嵌入通过对比视频文本损失以及视频文本匹配和视频 captioning 等辅助损失进行对齐。核心优势强大的零样本分类能力模型在Vad-Reasoning测试集上展示了优异的零样本异常分类性能Top-10命中率达到94.50%。高分辨率处理能力支持448×448的视频分辨率能够捕捉更多细节信息提高异常检测的准确性。参数效率高采用LoRA技术进行微调在保留基础模型泛化能力的同时仅更新少量参数即可适应异常检测任务。多场景适用性适用于交通、校园、城市等多种现实场景的异常检测具有广泛的应用前景。未见异常类型检测的性能表现测试数据集与方法Cosmos-Embed1-448p-anomaly-detection在Vad-Reasoning测试集438个视频上使用视频文本相似度进行零样本分类评估。该测试集包含了与训练集相同分布的视频片段涵盖了24种不同的异常类型。评估指标主要包括Top-K命中率K1,5,10衡量正确的异常类别标签是否出现在每个视频的K个最近文本嵌入中MRR平均倒数排名正确标签首次出现的排名的平均倒数F1宏平均每类F1分数的平均值是每类精确率和召回率的调和平均召回率宏平均每类召回率的平均值平等对待所有类别无论样本数量性能对比指标Cosmos-Embed1-448pCosmos-Embed1-448p-anomaly-detectionTop-1命中率23.21%46.44%Top-3命中率34.81%73.95%Top-5命中率45.98%83.71%Top-10命中率67.24%94.50%MRR0.35570.6299宏平均F119.51%38.94%从上述数据可以看出经过微调的Cosmos-Embed1-448p-anomaly-detection在所有指标上都显著优于基础模型。特别是在Top-10命中率上达到了94.50%表明该模型能够在10个候选类别中准确识别出未见异常类型的概率高达94.5%。实际应用场景Cosmos-Embed1-448p-anomaly-detection的零样本分类能力使其在多种实际应用场景中具有巨大潜力智能监控系统在安防监控领域该模型可以通过文本描述快速识别各种异常行为如非法停车、行人闯红灯、交通事故等即使在训练数据中没有见过这些具体场景也能准确识别。自动驾驶在自动驾驶系统中模型能够识别道路上的各种异常情况如道路障碍物、动物阻碍交通、逆行驾驶等为自动驾驶决策提供关键信息。工业安全在工业生产环境中该模型可以用于检测各种设备异常和安全隐患如设备故障、危险物品等提高生产安全性。如何使用Cosmos-Embed1-448p-anomaly-detection环境准备要使用Cosmos-Embed1-448p-anomaly-detection模型首先需要克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos-Embed1-448p-anomaly-detection使用HuggingFace Transformers以下是使用HuggingFace Transformers库加载和使用模型的示例代码import decord import numpy as np import torch from transformers import AutoProcessor, AutoModel model AutoModel.from_pretrained( nvidia/Cosmos-Embed1-448p-anomaly-detection, trust_remote_codeTrue ).to(cuda, dtypetorch.bfloat16) preprocess AutoProcessor.from_pretrained( nvidia/Cosmos-Embed1-448p-anomaly-detection, trust_remote_codeTrue ) # 加载视频帧 reader decord.VideoReader(/path/to/video.mp4) frame_ids np.linspace(0, len(reader) - 1, 8, dtypeint).tolist() frames reader.get_batch(frame_ids).asnumpy() batch np.transpose(np.expand_dims(frames, 0), (0, 1, 4, 2, 3)) # BTCHW # 异常类型文本描述 anomaly_types [Normal, Abuse, Fire, Traffic Accidents, Falling] # 计算嵌入 video_inputs preprocess(videosbatch).to(cuda, dtypetorch.bfloat16) video_out model.get_video_embeddings(**video_inputs) text_inputs preprocess(textanomaly_types).to(cuda, dtypetorch.bfloat16) text_out model.get_text_embeddings(**text_inputs) # 按相似度排序异常类型 probs torch.softmax( model.logit_scale.exp() * video_out.visual_proj text_out.text_proj.T, dim-1, )[0] print(f预测的异常类型: {anomaly_types[probs.argmax()]}) print(异常类型概率:) for i, prob in enumerate(probs): print(f {anomaly_types[i]}: {prob.item():.4f})模型微调Cosmos-Embed1支持通过TAO工具包进行微调。可以使用全训练或LoRA低秩适应进行参数高效训练。TAO还支持评估、推理、ONNX导出和HuggingFace导出等功能。总结Cosmos-Embed1-448p-anomaly-detection模型通过先进的零样本分类技术在未见异常类型的检测任务中表现出色。其高命中率和广泛的适用性使其成为物理AI领域特别是视频异常检测任务的理想选择。无论是智能监控、自动驾驶还是工业安全该模型都能提供准确、高效的异常检测能力为各种应用场景带来更高的安全性和可靠性。随着技术的不断发展我们有理由相信Cosmos-Embed1-448p-anomaly-detection在未来会在更多领域发挥重要作用为构建更智能、更安全的社会贡献力量。【免费下载链接】Cosmos-Embed1-448p-anomaly-detection项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-Embed1-448p-anomaly-detection创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
零样本分类技术Cosmos-Embed1-448p-anomaly-detection在未见异常类型上的表现【免费下载链接】Cosmos-Embed1-448p-anomaly-detection项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-Embed1-448p-anomaly-detectionCosmos-Embed1-448p-anomaly-detection是一款专为物理AI设计的视频文本嵌入模型基于Cosmos-Embed1-448p通过LoRA低秩适应技术在Vad-Reasoning数据集上进行了微调特别优化了视频异常检测和分类任务。该模型能够在无需重新训练的情况下识别未见异常类型为物理AI开发者和工程师提供了强大的视频文本嵌入解决方案。什么是零样本分类技术零样本分类技术是一种先进的机器学习方法它允许模型在没有见过特定类别的训练样本的情况下通过文本描述来识别和分类新的类别。这种技术的核心在于将视觉信息和文本信息映射到一个共享的向量空间使得模型能够通过比较视频嵌入和文本嵌入的相似度来进行分类。Cosmos-Embed1-448p-anomaly-detection模型正是利用了这一原理它可以将视频帧序列转换为768维的视频嵌入向量同时将文本描述转换为对应的文本嵌入向量。通过计算这两种向量之间的余弦相似度模型能够实现对未见异常类型的识别和分类。Cosmos-Embed1-448p-anomaly-detection的架构与优势模型架构Cosmos-Embed1-448p-anomaly-detection采用了基于QFormer的视频文本嵌入器架构配备EVA-ViT-G视觉骨干网络。视频嵌入器通过ViT骨干网络单独处理每一帧将每帧的ViT特征在时间维度上连接并添加时间嵌入。这些特征随后被传入QFormer通过交叉注意力从提供的帧中总结出一组紧凑的视觉查询令牌最终池化为单个视频嵌入。文本嵌入器通过QFormer的自注意力分支处理标记化文本生成文本嵌入。归一化的文本和视频嵌入通过对比视频文本损失以及视频文本匹配和视频 captioning 等辅助损失进行对齐。核心优势强大的零样本分类能力模型在Vad-Reasoning测试集上展示了优异的零样本异常分类性能Top-10命中率达到94.50%。高分辨率处理能力支持448×448的视频分辨率能够捕捉更多细节信息提高异常检测的准确性。参数效率高采用LoRA技术进行微调在保留基础模型泛化能力的同时仅更新少量参数即可适应异常检测任务。多场景适用性适用于交通、校园、城市等多种现实场景的异常检测具有广泛的应用前景。未见异常类型检测的性能表现测试数据集与方法Cosmos-Embed1-448p-anomaly-detection在Vad-Reasoning测试集438个视频上使用视频文本相似度进行零样本分类评估。该测试集包含了与训练集相同分布的视频片段涵盖了24种不同的异常类型。评估指标主要包括Top-K命中率K1,5,10衡量正确的异常类别标签是否出现在每个视频的K个最近文本嵌入中MRR平均倒数排名正确标签首次出现的排名的平均倒数F1宏平均每类F1分数的平均值是每类精确率和召回率的调和平均召回率宏平均每类召回率的平均值平等对待所有类别无论样本数量性能对比指标Cosmos-Embed1-448pCosmos-Embed1-448p-anomaly-detectionTop-1命中率23.21%46.44%Top-3命中率34.81%73.95%Top-5命中率45.98%83.71%Top-10命中率67.24%94.50%MRR0.35570.6299宏平均F119.51%38.94%从上述数据可以看出经过微调的Cosmos-Embed1-448p-anomaly-detection在所有指标上都显著优于基础模型。特别是在Top-10命中率上达到了94.50%表明该模型能够在10个候选类别中准确识别出未见异常类型的概率高达94.5%。实际应用场景Cosmos-Embed1-448p-anomaly-detection的零样本分类能力使其在多种实际应用场景中具有巨大潜力智能监控系统在安防监控领域该模型可以通过文本描述快速识别各种异常行为如非法停车、行人闯红灯、交通事故等即使在训练数据中没有见过这些具体场景也能准确识别。自动驾驶在自动驾驶系统中模型能够识别道路上的各种异常情况如道路障碍物、动物阻碍交通、逆行驾驶等为自动驾驶决策提供关键信息。工业安全在工业生产环境中该模型可以用于检测各种设备异常和安全隐患如设备故障、危险物品等提高生产安全性。如何使用Cosmos-Embed1-448p-anomaly-detection环境准备要使用Cosmos-Embed1-448p-anomaly-detection模型首先需要克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos-Embed1-448p-anomaly-detection使用HuggingFace Transformers以下是使用HuggingFace Transformers库加载和使用模型的示例代码import decord import numpy as np import torch from transformers import AutoProcessor, AutoModel model AutoModel.from_pretrained( nvidia/Cosmos-Embed1-448p-anomaly-detection, trust_remote_codeTrue ).to(cuda, dtypetorch.bfloat16) preprocess AutoProcessor.from_pretrained( nvidia/Cosmos-Embed1-448p-anomaly-detection, trust_remote_codeTrue ) # 加载视频帧 reader decord.VideoReader(/path/to/video.mp4) frame_ids np.linspace(0, len(reader) - 1, 8, dtypeint).tolist() frames reader.get_batch(frame_ids).asnumpy() batch np.transpose(np.expand_dims(frames, 0), (0, 1, 4, 2, 3)) # BTCHW # 异常类型文本描述 anomaly_types [Normal, Abuse, Fire, Traffic Accidents, Falling] # 计算嵌入 video_inputs preprocess(videosbatch).to(cuda, dtypetorch.bfloat16) video_out model.get_video_embeddings(**video_inputs) text_inputs preprocess(textanomaly_types).to(cuda, dtypetorch.bfloat16) text_out model.get_text_embeddings(**text_inputs) # 按相似度排序异常类型 probs torch.softmax( model.logit_scale.exp() * video_out.visual_proj text_out.text_proj.T, dim-1, )[0] print(f预测的异常类型: {anomaly_types[probs.argmax()]}) print(异常类型概率:) for i, prob in enumerate(probs): print(f {anomaly_types[i]}: {prob.item():.4f})模型微调Cosmos-Embed1支持通过TAO工具包进行微调。可以使用全训练或LoRA低秩适应进行参数高效训练。TAO还支持评估、推理、ONNX导出和HuggingFace导出等功能。总结Cosmos-Embed1-448p-anomaly-detection模型通过先进的零样本分类技术在未见异常类型的检测任务中表现出色。其高命中率和广泛的适用性使其成为物理AI领域特别是视频异常检测任务的理想选择。无论是智能监控、自动驾驶还是工业安全该模型都能提供准确、高效的异常检测能力为各种应用场景带来更高的安全性和可靠性。随着技术的不断发展我们有理由相信Cosmos-Embed1-448p-anomaly-detection在未来会在更多领域发挥重要作用为构建更智能、更安全的社会贡献力量。【免费下载链接】Cosmos-Embed1-448p-anomaly-detection项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-Embed1-448p-anomaly-detection创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
