影刀RPA 数据备份自动化重要文件自动备份到多个位置作者林焱RPA流程产生的数据丢了就完了——采集了一周的商品价格数据硬盘一坏全白干。数据备份是最基本的运维习惯但也是最容易被忽略的。用影刀可以自动完成这件事。备份策略3-2-1原则3份副本原始数据 2份备份2种介质本地硬盘 云存储网盘/NAS/对象存储1份异地物理上不同的位置简化版个人/小团队够用本地原文件 本地备份目录 网盘备份。本地自动备份拼多多店群自动化上架方案importshutilimportosimportdatetimeimportzipfiledefbackup_files(source_dir,backup_dir,keep_days30):备份目录到带日期的zip文件date_strdatetime.datetime.now().strftime(%Y%m%d_%H%M)backup_namefbackup_{date_str}.zipbackup_pathos.path.join(backup_dir,backup_name)# 创建zip备份withzipfile.ZipFile(backup_path,w,zipfile.ZIP_DEFLATED)aszf:forroot,dirs,filesinos.walk(source_dir):forfileinfiles:filepathos.path.join(root,file)arcnameos.path.relpath(filepath,source_dir)zf.write(filepath,arcname)print(f备份完成:{backup_path}({os.path.getsize(backup_path)/1024/1024:.1f}MB))# 清理30天前的旧备份forold_fileinos.listdir(backup_dir):old_pathos.path.join(backup_dir,old_file)file_timeos.path.getmtime(old_path)if(datetime.datetime.now()-datetime.datetime.fromtimestamp(file_time)).dayskeep_days:os.remove(old_path)print(f清理旧备份:{old_file})关键文件实时备份不是所有文件都需要打包备份。关键数据文件可以实时增量同步importshutilimporthashlibdefsync_important_files(watch_dir,mirror_dir):增量同步只复制有变化的文件synced0forroot,dirs,filesinos.walk(watch_dir):rel_pathos.path.relpath(root,watch_dir)mirror_rootos.path.join(mirror_dir,rel_path)os.makedirs(mirror_root,exist_okTrue)forfileinfiles:srcos.path.join(root,file)dstos.path.join(mirror_root,file)# 比较文件内容而不是修改时间ifos.path.exists(dst):iffile_hash(src)file_hash(dst):continue# 文件没变跳过shutil.copy2(src,dst)synced1returnsynceddeffile_hash(filepath):计算文件MD5hasherhashlib.md5()withopen(filepath,rb)asf:forchunkiniter(lambda:f.read(8192),b):hasher.update(chunk)returnhasher.hexdigest()云备份百度网盘/阿里云OSS# 阿里云OSS备份需要安装oss2# pip install oss2importoss2defupload_to_oss(filepath,bucket_name,endpoint,access_key,secret_key,object_nameNone):上传到阿里云OSSauthoss2.Auth(access_key,secret_key)bucketoss2.Bucket(auth,endpoint,bucket_name)ifobject_nameisNone:object_namefbackup/{datetime.datetime.now().strftime(%Y%m%d)}/{os.path.basename(filepath)}bucket.put_object_from_file(object_name,filepath)print(f已上传到OSS:{object_name})阿里云OSS费用存储费约0.12元/GB/月流量费约0.5元/GB。备份10GB数据一个月也就几块钱。数据库备份importsqlite3importshutildefbackup_sqlite(db_path,backup_dir):备份SQLite数据库date_strdatetime.datetime.now().strftime(%Y%m%d)backup_namefdb_backup_{date_str}.dbbackup_pathos.path.join(backup_dir,backup_name)# SQLite备份的正确姿势先VACUUM再复制connsqlite3.connect(db_path)conn.execute(VACUUM)# 压缩整理conn.close()shutil.copy2(db_path,backup_path)print(f数据库备份完成:{backup_path})完整的每日备份流程defdaily_backup():print(f 每日备份开始{datetime.datetime.now()})# 1. 备份数据库backup_sqlite(data.db,D:/备份/数据库/)# 2. 备份Excel报表backup_files(D:/报表/,D:/备份/报表/)# 3. 同步配置文件sync_important_files(D:/RPA/config/,D:/备份/配置/)# 4. 上传到云端可选# upload_to_oss(latest_backup, bucket, endpoint, ak, sk)# 5. 发送备份报告reportf✅ 每日备份完成\n数据库: ✓\n报表: ✓\n配置: ✓send_notification(report)踩坑实录坑1备份时文件正在被写入TEMU店群如何管理运营影刀正在往Excel写数据你同时备份备份文件可能是损坏的半成品。解决办法备份前先检查文件是否被占用或者在流程空闲时段比如凌晨执行备份。坑2备份文件越积越多每天备份一次一个月30份、一年365份。一份10MB的数据库一年就是3.6GB。设置保留策略比如只保留最近30天每月1号的那份自动清理旧备份。坑3备份了但从来测试过恢复备份的意义是能恢复。定期每月一次做恢复演练从备份中还原数据库跑一个测试查询确认数据是完整的。坑4云备份密钥泄露把阿里云/腾讯云的Access Key写在代码里然后上传到GitHub——你的云账号可能被黑。用环境变量或配置文件管理密钥配置文件加入.gitignore。写在最后数据备份是RPA流程的保险。你可能跑100次都用不上但第101次硬盘坏了有没有备份就是天堂和地狱的区别。花30分钟配好自动备份换来365天的安心。
影刀RPA 数据备份自动化重要文件自动备份到多个位置作者林焱RPA流程产生的数据丢了就完了——采集了一周的商品价格数据硬盘一坏全白干。数据备份是最基本的运维习惯但也是最容易被忽略的。用影刀可以自动完成这件事。备份策略3-2-1原则3份副本原始数据 2份备份2种介质本地硬盘 云存储网盘/NAS/对象存储1份异地物理上不同的位置简化版个人/小团队够用本地原文件 本地备份目录 网盘备份。本地自动备份拼多多店群自动化上架方案importshutilimportosimportdatetimeimportzipfiledefbackup_files(source_dir,backup_dir,keep_days30):备份目录到带日期的zip文件date_strdatetime.datetime.now().strftime(%Y%m%d_%H%M)backup_namefbackup_{date_str}.zipbackup_pathos.path.join(backup_dir,backup_name)# 创建zip备份withzipfile.ZipFile(backup_path,w,zipfile.ZIP_DEFLATED)aszf:forroot,dirs,filesinos.walk(source_dir):forfileinfiles:filepathos.path.join(root,file)arcnameos.path.relpath(filepath,source_dir)zf.write(filepath,arcname)print(f备份完成:{backup_path}({os.path.getsize(backup_path)/1024/1024:.1f}MB))# 清理30天前的旧备份forold_fileinos.listdir(backup_dir):old_pathos.path.join(backup_dir,old_file)file_timeos.path.getmtime(old_path)if(datetime.datetime.now()-datetime.datetime.fromtimestamp(file_time)).dayskeep_days:os.remove(old_path)print(f清理旧备份:{old_file})关键文件实时备份不是所有文件都需要打包备份。关键数据文件可以实时增量同步importshutilimporthashlibdefsync_important_files(watch_dir,mirror_dir):增量同步只复制有变化的文件synced0forroot,dirs,filesinos.walk(watch_dir):rel_pathos.path.relpath(root,watch_dir)mirror_rootos.path.join(mirror_dir,rel_path)os.makedirs(mirror_root,exist_okTrue)forfileinfiles:srcos.path.join(root,file)dstos.path.join(mirror_root,file)# 比较文件内容而不是修改时间ifos.path.exists(dst):iffile_hash(src)file_hash(dst):continue# 文件没变跳过shutil.copy2(src,dst)synced1returnsynceddeffile_hash(filepath):计算文件MD5hasherhashlib.md5()withopen(filepath,rb)asf:forchunkiniter(lambda:f.read(8192),b):hasher.update(chunk)returnhasher.hexdigest()云备份百度网盘/阿里云OSS# 阿里云OSS备份需要安装oss2# pip install oss2importoss2defupload_to_oss(filepath,bucket_name,endpoint,access_key,secret_key,object_nameNone):上传到阿里云OSSauthoss2.Auth(access_key,secret_key)bucketoss2.Bucket(auth,endpoint,bucket_name)ifobject_nameisNone:object_namefbackup/{datetime.datetime.now().strftime(%Y%m%d)}/{os.path.basename(filepath)}bucket.put_object_from_file(object_name,filepath)print(f已上传到OSS:{object_name})阿里云OSS费用存储费约0.12元/GB/月流量费约0.5元/GB。备份10GB数据一个月也就几块钱。数据库备份importsqlite3importshutildefbackup_sqlite(db_path,backup_dir):备份SQLite数据库date_strdatetime.datetime.now().strftime(%Y%m%d)backup_namefdb_backup_{date_str}.dbbackup_pathos.path.join(backup_dir,backup_name)# SQLite备份的正确姿势先VACUUM再复制connsqlite3.connect(db_path)conn.execute(VACUUM)# 压缩整理conn.close()shutil.copy2(db_path,backup_path)print(f数据库备份完成:{backup_path})完整的每日备份流程defdaily_backup():print(f 每日备份开始{datetime.datetime.now()})# 1. 备份数据库backup_sqlite(data.db,D:/备份/数据库/)# 2. 备份Excel报表backup_files(D:/报表/,D:/备份/报表/)# 3. 同步配置文件sync_important_files(D:/RPA/config/,D:/备份/配置/)# 4. 上传到云端可选# upload_to_oss(latest_backup, bucket, endpoint, ak, sk)# 5. 发送备份报告reportf✅ 每日备份完成\n数据库: ✓\n报表: ✓\n配置: ✓send_notification(report)踩坑实录坑1备份时文件正在被写入TEMU店群如何管理运营影刀正在往Excel写数据你同时备份备份文件可能是损坏的半成品。解决办法备份前先检查文件是否被占用或者在流程空闲时段比如凌晨执行备份。坑2备份文件越积越多每天备份一次一个月30份、一年365份。一份10MB的数据库一年就是3.6GB。设置保留策略比如只保留最近30天每月1号的那份自动清理旧备份。坑3备份了但从来测试过恢复备份的意义是能恢复。定期每月一次做恢复演练从备份中还原数据库跑一个测试查询确认数据是完整的。坑4云备份密钥泄露把阿里云/腾讯云的Access Key写在代码里然后上传到GitHub——你的云账号可能被黑。用环境变量或配置文件管理密钥配置文件加入.gitignore。写在最后数据备份是RPA流程的保险。你可能跑100次都用不上但第101次硬盘坏了有没有备份就是天堂和地狱的区别。花30分钟配好自动备份换来365天的安心。
