[1214]基于Python实现视频去重

发布时间:2026/11/15 17:50:16

[1214]基于Python实现视频去重 文章目录videohash2️ 安装 基本用法 比较视频如何判断相似 进阶用法⚠️ 使用限制 与另一个分支的区别基于Python实现视频去重基本原理实现方法其它视频去重codevideohash2https://github.com/akamhy/videohashhttps://github.com/Demmenie/videohash2在开始之前请确保你的电脑已经安装了FFmpeg这是它正常工作的基础。️ 安装最推荐的方式是通过 pip 从 PyPI 安装pipinstallvideohash2如果安装失败可以尝试加上--prefer-binary选项。 基本用法videohash2的核心是VideoHash类。它可以处理本地视频文件路径或网络URL比如YouTube链接。fromvideohash2importVideoHash# 1. 从URL创建哈希video_hash_1VideoHash(urlhttps://example.com/video.mp4)# 2. 从本地文件路径创建哈希video_hash_2VideoHash(path/path/to/your/local/video.mp4) 比较视频如何判断相似这是它的核心功能。你可以计算两个视频哈希值的“距离”来判断相似度距离越小视频越相似。# 假设 video_hash_1 和 video_hash_2 已经创建好# 方法一计算“海明距离” (Hamming Distance)# 计算两个哈希值有多少位不同结果为整数0表示完全一致distancevideo_hash_1-video_hash_2print(f视频间的距离是:{distance})# 方法二使用内置的相似度判断# 返回 True 或 False内部使用了一个默认的阈值来判断是否相似is_similarvideo_hash_1.is_similar(video_hash_2)print(f两个视频是否相似:{is_similar})# 你还可以直接用 判断是否完全一致is_identical(video_hash_1video_hash_2)print(f两个视频是否完全一致:{is_identical}) 进阶用法调整采样帧率通过frame_interval参数控制每秒提取多少帧数值越大计算越精确但耗时也更长。默认是每秒1帧。# 每5秒提取1帧 (0.2 fps)video_hashVideoHash(pathvideo.mp4,frame_interval0.2)# 每秒提取5帧 (5 fps)video_hashVideoHash(pathvideo.mp4,frame_interval5)管理临时文件VideoHash在计算过程中会下载视频或创建临时文件可以通过storage_path指定存放目录防止撑爆系统临时文件夹。video_hashVideoHash(url...,storage_path/my/big/drive/video_cache)# 处理完后可以手动调用删除临时文件video_hash.delete_storage_path()⚠️ 使用限制这个工具的设计目标并不是视频指纹识别所以有一些场景它不适用它不能判断一个视频是否是另一个视频的一部分。如果视频被反转播放或旋转了超过10度哈希值可能会发生较大变化导致无法识别为相似视频。 与另一个分支的区别搜索时你可能还会看到一个叫videohash(不带2) 的库它是videohash2的前身。videohash2是最新版修复了旧版的一些问题建议直接使用videohash2。基于Python实现视频去重基本原理一款基于Python语言的视频去重复程序它可以根据视频的特征参数将重复的视频剔除以减少视频的存储空间。它的基本原理是首先利用Python语言对视频文件进行解析提取视频的特征参数如帧率、码率等然后根据特征参数生成视频的哈希值最后将每个视频的哈希值进行对比如果哈希值相同则表示视频内容相同可以将其中一个视频剔除以节省存储空间。实现方法基于Python实现视频去重小工具需要使用Python语言的一些第三方库如OpenCV、PIL等。实现的基本步骤如下1、首先使用OpenCV库对视频文件进行解析提取视频的特征参数2、然后使用PIL库将视频的每一帧转换为灰度图片计算每一帧图片的哈希值3、最后将每个视频的哈希值进行对比如果哈希值相同则表示视频内容相同可以将其中一个视频剔除。示例代码import cv2 from PIL import Image # 读取视频文件 video_file video.mp4 cap cv2.VideoCapture(video_file) # 提取视频的特征参数 frame_rate cap.get(cv2.CAP_PROP_FPS) frame_width cap.get(cv2.CAP_PROP_FRAME_WIDTH) frame_height cap.get(cv2.CAP_PROP_FRAME_HEIGHT) # 计算每一帧图片的哈希值 while True: # 读取每一帧图片 success, frame cap.read() if not success: break # 将图片转换为灰度图 gray_frame cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 计算图片的哈希值 image Image.fromarray(gray_frame) hash_value image.hash() # 将哈希值进行对比如果哈希值相同则表示视频内容相同 if hash_value other_hash_value: # 剔除重复视频 pass # 释放视频文件 cap.release()其它视频去重code同级目录下新建dup_video# -*- coding:utf-8 -*- import json import os import shutil import cv2 import imagehash from PIL import Image from loguru import logger from PySimpleGUI import popup_get_folder class VideoDuplicate(object): 返回整个视频的图片指纹列表 从1秒开始每3秒抽帧计算一张图像指纹 def __init__(self): self._over_length_video: list [] self._no_video: list [] def _video_hash(self, video_path) - list: param video_path - 视频绝对路径; hash_arr [] cap cv2.VideoCapture(video_path) ##打开视频文件 logger.info(f开始抽帧【{video_path}】) n_frames int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) # 视频的帧数 logger.warning(f视频帧数:{n_frames}) fps cap.get(cv2.CAP_PROP_FPS) # 视频的帧率 logger.warning(f视频帧率:{fps}) dur n_frames / fps * 1000 # 视频大致总长度 cap_set 1000 logger.warning(f视频大约总长:{dur / 1000}) if dur // 1000 11: logger.error(f视频时长超出规定范围【6~10】;当前时长:【{dur // 1000}】;跳过该视频;) self._over_length_video.append(video_path) return [] while cap_set dur: # 从3秒开始每60秒抽帧计算图像指纹。总长度-3s是因为有的时候计算出来的长度不准。 cap.set(cv2.CAP_PROP_POS_MSEC, cap_set) logger.debug(f开始提取:【{cap_set // 1000}】/s的图片;) # 返回该时间点的图像(numpy数组)及读取是否成功 success, image_np cap.read() if success: img Image.fromarray(cv2.cvtColor(image_np, cv2.COLOR_BGR2RGB)) # 转成cv图像格式 h str(imagehash.dhash(img)) logger.success(f【{cap_set}/s图像指纹:【{h}】) hash_arr.append(h) # 图像指纹 else: logger.error(str(cap_set / 1000)) cap_set 1000 * 2 cap.release() # 释放视频 return hash_arr def start(self, base_dir): param base_dir - 主文件路径; data: list [] for video in os.listdir(base_dir): logger.debug(f- * 80) name, ext os.path.splitext(video) if ext not in (.mp4, .MP4): logger.error(f视频文件格式不符;【{video}】;执行跳过;) continue abs_video_path os.path.join(base_dir, video) video_hash_list self._video_hash(abs_video_path) if video_hash_list: data.append({video_abs_path: abs_video_path, hash: video_hash_list}) self._write_log(data) return data staticmethod def _write_log(data: list) - None: 视频哈希后的值写入日志文件 with open(flog.txt, w, encodingutf-8) as f: f.write(json.dumps(data)) def __call__(self, base_dir, *args, **kwargs): self.start(base_dir) logger.debug(f-----------------------------------开始比对关键帧差值感知余弦算法-----------------------------) with open(log.txt) as f: data json.loads(f.read()) for i in range(0, len(data) - 1): for j in range(i 1, len(data)): if data[i][hash] data[j][hash]: _, filename os.path.split(data[i][video_abs_path]) logger.error(f移动文件:【{filename}】) shutil.move( os.path.join(base_dir, filename), os.path.join(os.path.join(os.getcwd(), dup_video), filename) ) logger.warning(---------------------超长视频----------------------) for i in self._over_length_video: _, name os.path.split(i) logger.error(name) def main(): path popup_get_folder(请选择[视频去重]文件夹) v VideoDuplicate() v(path) if __name__ __main__: main()参考https://blog.csdn.net/weixin_44634704/article/details/128563576https://fiime.cn/blog/202363
延伸阅读

更多相关文章

2026/11/15 21:16:58

搭建drupal门户网站的详细步骤

1.安装 Apache,MySQL 和 PHP。在 Ubuntu 22.04 上安装 LAMP 资源包,请终端使用以下命令: sudo apt update sudo apt upgrade (1)安装Apache2 sudo apt-get install apache2 安装php组件 sudo apt-get install php l…

2026/11/16 2:16:37

linux系统下搭建dvwa靶场的详细过程

1.安装 Apache,MySQL 和 PHP。在 Ubuntu 22.04 上安装 LAMP 资源包,请终端使用以下命令: 更新系统 sudo apt update && sudo apt upgrade ##更新系统 安装Apache2 sudo apt-get install apache2 2.安装php组件 sudo apt-get …

2026/11/16 13:14:05

澳洲认可香港电工证官方回应:考证难?岗位风险更高!

澳洲认可香港电工证官方回应:考证难?岗位风险更高! 你还在为找不到工作发愁? 急需特种作业证才能上岗找工作 的现实,正在逼着越来越多的从业者加快考证步伐。但问题来了,如果你手里是 澳洲认可香港电工证…

2026/11/16 13:14:05

证书过期了不知道怎么复审延期?龙门高压电工证多少钱能搞定?

证书过期了不知道怎么复审延期?龙门高压电工证多少钱能搞定? 证书过期了不知道怎么复审延期?龙门高压电工证多少钱能搞定?这是很多持有者最担心的问题,尤其是像我这样在龙门地区从事高压电工工作的朋友,一旦证书过期,不仅影响日常工作,还可能面临被处…

2026/11/16 13:14:05

日照高级电工证补办全国通用怎么办?过期了千万别乱操作

日照高级电工证补办全国通用怎么办?过期了千万别乱操作 证书过期了不知道怎么复审延期,你不是一个人。不少电工朋友在实际工作中都遇到过类似的问题,尤其像日照这类三线城市,很多电工证书管理相对分散,很多人误以为过期后补办就完事了,其实补办流程和继…

2026/11/16 13:14:05

哪种情况需要电工证 值不值得考 电工实操考试怎么准备才不挂科

哪种情况需要电工证 值不值得考 电工实操考试怎么准备才不挂科 实操考试心里没底怕挂科,这几乎是所有初次报考电工证的学员的共同焦虑。尤其是像你这样的濮阳学员,第一次接触电工实操,对考试内容、流程、评分标准都一无所知,难免紧张。但别担心,今天咱…

2026/11/16 13:09:05

琼山区维修电工证怎么转过来?电子证书也能跨省认!

琼山区维修电工证怎么转过来?电子证书也能跨省认! 之前考的证在外省能不能转过来?如果你是琼山区的维修电工,或者正在考虑考这个证,这可能是你最关心的问题。其实,现在国家推行电子证书,跨省转移不再是难题,但过程还是需要你了解清楚,别被中间环节搞…

2026/11/16 7:29:52

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/16 5:30:20

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/16 0:00:11

黎城电工证查询报名费多少钱 内部消息告诉你怎么避开中介陷阱

黎城电工证查询报名费多少钱 内部消息告诉你怎么避开中介陷阱 你是不是也和我一样,想考电工证,但不知道去哪报名,怕被中介坑?最近网上有不少人问“黎城电工证查询报名费多少钱”,结果一查,信息五花八门,真假难辨。别担心,今天我就从一线从业者的角度…

2026/11/16 0:00:11

青岛崂山区电工证培训通过率揭秘:外省证书怎么转过来?

青岛崂山区电工证培训通过率揭秘:外省证书怎么转过来? 之前考的证在外省能不能转过来?这个问题困扰着很多在外地打工的电工,尤其是像南阳卧龙区的建筑工人,他们常年在工地作业,手上持有电工证是基本要求,但很多人因为工作流动性大,担心证书不能转到本…

2026/11/15 4:46:37

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/16 3:17:47

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑