我最近在做AI视频这两天我博采众长写一下我的发现我想做AI视频主要是看到好看的画面而且做视频真的很放松哎还不用真的画画只用思考效果和剧情想看什么造什么的感觉好好就是简单写写AI视频艺术创作让所有人接触享受AI做视频的乐趣。本文会介绍AI生成视频赛道然后再说做AI视频我的简单步骤轻松创作向以及我在这个方法里发现的问题还有借鉴别的文章学来的做古画AI视频的方法最好放一些知识素材来源。初步尝试AI做视频步骤第一步打造角色基准图用于解决人物变形的问题我定角色角色也是让AI列一些然后自己选两个作为我和我朋友的样子我选一红一黄番茄鸡蛋色哈哈还融入我和我朋友的脸做最后定的角色。最后用即梦生成人的角色图样。第二步搭建分镜脚本我先大致写了我要做什么然后让AI详细写个分镜x秒到x秒要什么样的画面。生成每个画面的基准图。我问大唐公主和盛唐郡主是一对好朋友请以元宵赏灯逛集市买衣服买小玩意的事件按照这个要求仿照模板写分镜。按照目前漫剧的“黄金三秒”定律我们直接套用这套“悬疑起步情绪拉满”的分镜模板。这里我们用5个画面1个文字定格正好凑齐1分钟。然后细化更具体的prompt做图片。注意视频生成和图片生成要用不同的prompt图片生成要减少动态感的词语不然图片没法生成。例如以下错误示范然后生成基板图片。这里我反复强调这两个人的外形特征也会把人物照片附上然后生成场景的基础图片。第三步AI生成视频模型让画面动起来我先是用即梦生成每个分镜的图片然后放到Seedance生成视频。第四步用视频编辑器整合所有视频。注意找合适的转场。我用的剪映要氪金的转场才比较自然由于我不想氪金我就没弄转场啦这个方法出现的问题照镜子这个动作生图有难度AI不理解三维空间的物理逻辑由于是在成衣铺照镜子并不是梳妆类型是全身这种生活逻辑AI是缺失的。这里提示词镜子出现两个人人脸加上公主红色衣服需要在身后这个物理构图逻辑AI不太清楚生图很怪异。照镜子我有时候生成的视频会出现动作越界限出镜子外或者正反错误的问题。解决方案痛点分析 AI容易把镜子里的像当成第二个人或者搞不清前后关系导致出现两张脸或面部扭曲。解决思路 明确“拍摄机位”和“镜像关系”强制规定谁是主体谁是倒影。或者利用剪辑障眼法前后选择变化幅度不大的动作表示照镜子的过程。1. 图片生成 Prompt用于定帧/即梦生图核心技巧 强调“背对镜头”和“镜中倒影”。错误示范一个穿着红衣的公主在镜子前照镜子旁边站着穿黄衣的郡主。AI会困惑谁在前谁在镜子里优化方案 A特写Prompt:古风全身镜红衣公主背对镜头站立镜中清晰映出她的正面容颜表情欣喜。黄衣郡主站在公主侧后方正拿着一支玉簪。画面写实光影统一镜子边缘有雕花铜框高清画质。优化方案 B全景/双人Prompt:唐代服装店内部一面巨大的落地铜镜。前景是身穿红衣的公主背对镜头看着镜子。镜子里清晰地反射出公主的正面形象和身后黄衣郡主的半身像。构图严谨空间透视正确8k分辨率我抄第一个prompt只增加个人特点部分内容发现出图AI是不知道黄色衣服郡主真实位置的只能在镜子看到两个人所以提示词需要把两个人现实位置和镜子里照映的位置都要写出来。于是出现第二个版本的提示词和出图。可以看到AI的图出人还是不稳定的但是最后一张位置和人都对了铜镜是方的不合理只需要拿最后一张图修改为圆铜镜就好了。2. 视频生成 Prompt用于Seedance/图生视频视频照镜子容易出现动作越出镜子的情况。核心技巧强调“转身看镜”或“静止欣赏”减少大幅度动作。优化 Prompt:镜头固定红衣公主背对镜头微微侧头欣赏镜中的自己镜中倒影同步动作。黄衣郡主在一旁微笑注视。动作舒缓自然镜子里的影像稳定不闪烁。关键帧控制如果支持 锁定镜子区域的画面稳定性。剪辑法镜头给到镜子里的脸再切到背对镜子的背影通过正反打Shot-Reverse Shot来暗示她们在照镜子避免直接生成长时间的全身镜画面。最后成功版本的提示词公主和郡主都站在大铜镜前两个人都在欣赏镜子里的自己没有任何转身和摆衣服动作金线刺绣华服细节动漫电影风格超高细节欢乐温馨氛围。插簪子这个动作也生成得不好精细物体的物理交互)视频和生图都不太对生图簪子朝向不对视频簪子最后没有插进头发里。解决方案痛点分析AI不懂“插入”这个力学过程簪子经常悬浮在头发表面或者角度诡异直接穿透头皮。解决思路拆分动作 描述触感 手部特写。不要试图一次生成完整的“插”的过程先生成“比划”再生成“固定”。或者用剪辑障眼法插的动作一张图完成后的一张图然后生视频拼接。1. 图片生成 Prompt定格关键帧核心技巧 描述“指尖捏住”和“簪身贴合”。错误示范女孩把簪子插进头发里。优化方案 A准备动作Prompt:美女的手的指尖捏着一支精致的金簪簪尖轻轻抵在盘发的发髻边缘。眼神专注背景虚化微距摄影细节清晰发丝纹理可见。Negative Prompt: 畸形手指多余的手指断裂的簪子悬浮的簪子。优化方案 B完成动作Prompt:半身肖像黄衣郡主头上已插好一支玉簪簪子牢固地嵌入乌黑的发髻之中无松动痕迹。面部表情满意光线柔和。增加人物限制后修改生成。然后我为了保持一致的摊位和背景把之前的抠图拿到背景重新生成并且要求把女主诡异的光晕去掉。2. 视频生成 PromptSeedance图生视频核心技巧动作幅度要极小强调“微调”和“固定”。优化 Prompt:手部特写手指捏着发簪轻轻地将簪子推入盘发中动作优雅缓慢发丝随着簪子的进入微微凹陷。簪子最终稳固地停留在头发里不晃动。参数建议 降低运动幅度Motion Scale/Low Noise增加一致性权重。利用电影剪辑障眼法剪辑大法不要展示簪子插入的全过程。剪一个手指捏着簪子靠近头发还没插进去的镜头接一个簪子已经在头发里的定格画面中间加一个“叮”的音效。观众的大脑会自动脑补“插进去”的过程。 这是不错的方法规避直接的物理动作。最后成功版本提示词长安夜市小摊前郡主鹅黄色襦裙轻轻地将簪子推入公主绯红色襦裙盘发中。簪子最终稳固地停留在公主绯红色襦裙盘发的头发里不晃动。郡主鹅黄色襦裙手上没有东西。视频生成的部分语言逻辑是不对的比如夸奖妹妹问姐姐自己的衣服好不好看姐姐没说话妹妹就继续说好看显得你可娇俏了说话的人不对。这些都要语言控制一下也可能是我选的模型太菜了因为我不氪金。。图生视频场景变换不自然发挥空间有限这种方法转场不太自然每张图让AI变换的场景和动作都很受限这个你只要投身实践就能马上感觉出来。古画AI视频技巧说明案例拆解《清明上河图》AI动画全流程项目背景为河南博物院制作的数字展项全长3分28秒涉及427个AI生成角色。关键技术节点原始素材处理使用超分辨率算法将原图放大至8000×4000像素通过Segment Anything模型分离152个独立元素动态化实现动态运镜设计参考《韩熙载夜宴图》的散点透视在Premiere中创建2.5D镜头运动前景层移动速度1.2x 中景层正常速度 背景层移动速度0.8x音画同步方案根据画面区域触发对应环境音效采用AIGC生成符合宋代语音的方言旁白成果数据制作周期缩短至传统方法的1/5获2024年文化遗产数字化金奖观众停留时间平均增加4.6分钟博物馆官方数据
我最近在做AI视频这两天我博采众长写一下我的发现我想做AI视频主要是看到好看的画面而且做视频真的很放松哎还不用真的画画只用思考效果和剧情想看什么造什么的感觉好好就是简单写写AI视频艺术创作让所有人接触享受AI做视频的乐趣。本文会介绍AI生成视频赛道然后再说做AI视频我的简单步骤轻松创作向以及我在这个方法里发现的问题还有借鉴别的文章学来的做古画AI视频的方法最好放一些知识素材来源。初步尝试AI做视频步骤第一步打造角色基准图用于解决人物变形的问题我定角色角色也是让AI列一些然后自己选两个作为我和我朋友的样子我选一红一黄番茄鸡蛋色哈哈还融入我和我朋友的脸做最后定的角色。最后用即梦生成人的角色图样。第二步搭建分镜脚本我先大致写了我要做什么然后让AI详细写个分镜x秒到x秒要什么样的画面。生成每个画面的基准图。我问大唐公主和盛唐郡主是一对好朋友请以元宵赏灯逛集市买衣服买小玩意的事件按照这个要求仿照模板写分镜。按照目前漫剧的“黄金三秒”定律我们直接套用这套“悬疑起步情绪拉满”的分镜模板。这里我们用5个画面1个文字定格正好凑齐1分钟。然后细化更具体的prompt做图片。注意视频生成和图片生成要用不同的prompt图片生成要减少动态感的词语不然图片没法生成。例如以下错误示范然后生成基板图片。这里我反复强调这两个人的外形特征也会把人物照片附上然后生成场景的基础图片。第三步AI生成视频模型让画面动起来我先是用即梦生成每个分镜的图片然后放到Seedance生成视频。第四步用视频编辑器整合所有视频。注意找合适的转场。我用的剪映要氪金的转场才比较自然由于我不想氪金我就没弄转场啦这个方法出现的问题照镜子这个动作生图有难度AI不理解三维空间的物理逻辑由于是在成衣铺照镜子并不是梳妆类型是全身这种生活逻辑AI是缺失的。这里提示词镜子出现两个人人脸加上公主红色衣服需要在身后这个物理构图逻辑AI不太清楚生图很怪异。照镜子我有时候生成的视频会出现动作越界限出镜子外或者正反错误的问题。解决方案痛点分析 AI容易把镜子里的像当成第二个人或者搞不清前后关系导致出现两张脸或面部扭曲。解决思路 明确“拍摄机位”和“镜像关系”强制规定谁是主体谁是倒影。或者利用剪辑障眼法前后选择变化幅度不大的动作表示照镜子的过程。1. 图片生成 Prompt用于定帧/即梦生图核心技巧 强调“背对镜头”和“镜中倒影”。错误示范一个穿着红衣的公主在镜子前照镜子旁边站着穿黄衣的郡主。AI会困惑谁在前谁在镜子里优化方案 A特写Prompt:古风全身镜红衣公主背对镜头站立镜中清晰映出她的正面容颜表情欣喜。黄衣郡主站在公主侧后方正拿着一支玉簪。画面写实光影统一镜子边缘有雕花铜框高清画质。优化方案 B全景/双人Prompt:唐代服装店内部一面巨大的落地铜镜。前景是身穿红衣的公主背对镜头看着镜子。镜子里清晰地反射出公主的正面形象和身后黄衣郡主的半身像。构图严谨空间透视正确8k分辨率我抄第一个prompt只增加个人特点部分内容发现出图AI是不知道黄色衣服郡主真实位置的只能在镜子看到两个人所以提示词需要把两个人现实位置和镜子里照映的位置都要写出来。于是出现第二个版本的提示词和出图。可以看到AI的图出人还是不稳定的但是最后一张位置和人都对了铜镜是方的不合理只需要拿最后一张图修改为圆铜镜就好了。2. 视频生成 Prompt用于Seedance/图生视频视频照镜子容易出现动作越出镜子的情况。核心技巧强调“转身看镜”或“静止欣赏”减少大幅度动作。优化 Prompt:镜头固定红衣公主背对镜头微微侧头欣赏镜中的自己镜中倒影同步动作。黄衣郡主在一旁微笑注视。动作舒缓自然镜子里的影像稳定不闪烁。关键帧控制如果支持 锁定镜子区域的画面稳定性。剪辑法镜头给到镜子里的脸再切到背对镜子的背影通过正反打Shot-Reverse Shot来暗示她们在照镜子避免直接生成长时间的全身镜画面。最后成功版本的提示词公主和郡主都站在大铜镜前两个人都在欣赏镜子里的自己没有任何转身和摆衣服动作金线刺绣华服细节动漫电影风格超高细节欢乐温馨氛围。插簪子这个动作也生成得不好精细物体的物理交互)视频和生图都不太对生图簪子朝向不对视频簪子最后没有插进头发里。解决方案痛点分析AI不懂“插入”这个力学过程簪子经常悬浮在头发表面或者角度诡异直接穿透头皮。解决思路拆分动作 描述触感 手部特写。不要试图一次生成完整的“插”的过程先生成“比划”再生成“固定”。或者用剪辑障眼法插的动作一张图完成后的一张图然后生视频拼接。1. 图片生成 Prompt定格关键帧核心技巧 描述“指尖捏住”和“簪身贴合”。错误示范女孩把簪子插进头发里。优化方案 A准备动作Prompt:美女的手的指尖捏着一支精致的金簪簪尖轻轻抵在盘发的发髻边缘。眼神专注背景虚化微距摄影细节清晰发丝纹理可见。Negative Prompt: 畸形手指多余的手指断裂的簪子悬浮的簪子。优化方案 B完成动作Prompt:半身肖像黄衣郡主头上已插好一支玉簪簪子牢固地嵌入乌黑的发髻之中无松动痕迹。面部表情满意光线柔和。增加人物限制后修改生成。然后我为了保持一致的摊位和背景把之前的抠图拿到背景重新生成并且要求把女主诡异的光晕去掉。2. 视频生成 PromptSeedance图生视频核心技巧动作幅度要极小强调“微调”和“固定”。优化 Prompt:手部特写手指捏着发簪轻轻地将簪子推入盘发中动作优雅缓慢发丝随着簪子的进入微微凹陷。簪子最终稳固地停留在头发里不晃动。参数建议 降低运动幅度Motion Scale/Low Noise增加一致性权重。利用电影剪辑障眼法剪辑大法不要展示簪子插入的全过程。剪一个手指捏着簪子靠近头发还没插进去的镜头接一个簪子已经在头发里的定格画面中间加一个“叮”的音效。观众的大脑会自动脑补“插进去”的过程。 这是不错的方法规避直接的物理动作。最后成功版本提示词长安夜市小摊前郡主鹅黄色襦裙轻轻地将簪子推入公主绯红色襦裙盘发中。簪子最终稳固地停留在公主绯红色襦裙盘发的头发里不晃动。郡主鹅黄色襦裙手上没有东西。视频生成的部分语言逻辑是不对的比如夸奖妹妹问姐姐自己的衣服好不好看姐姐没说话妹妹就继续说好看显得你可娇俏了说话的人不对。这些都要语言控制一下也可能是我选的模型太菜了因为我不氪金。。图生视频场景变换不自然发挥空间有限这种方法转场不太自然每张图让AI变换的场景和动作都很受限这个你只要投身实践就能马上感觉出来。古画AI视频技巧说明案例拆解《清明上河图》AI动画全流程项目背景为河南博物院制作的数字展项全长3分28秒涉及427个AI生成角色。关键技术节点原始素材处理使用超分辨率算法将原图放大至8000×4000像素通过Segment Anything模型分离152个独立元素动态化实现动态运镜设计参考《韩熙载夜宴图》的散点透视在Premiere中创建2.5D镜头运动前景层移动速度1.2x 中景层正常速度 背景层移动速度0.8x音画同步方案根据画面区域触发对应环境音效采用AIGC生成符合宋代语音的方言旁白成果数据制作周期缩短至传统方法的1/5获2024年文化遗产数字化金奖观众停留时间平均增加4.6分钟博物馆官方数据
技术解析与实践指南)
)
)
