1、修改提示词抽卡:
如果我们要做画面中主要人物或者物品的移动或者消失出现,一个合适的方法就是,先写出尾帧的提示词,生成图片后根据需求更改其中的一部分就行。
比如这个富士山和汽车的画面就是先有汽车停在富士山下的提示词,然后在删掉汽车的部分完成的。
首帧提示:mount fuji on the background centered,, professional color grading, 4k, shot on RED camera, wallpaper quality
尾帧提示:two R34 nissan skylines, stunning, with mount fuji on the background centered,, professional color grading, 4k, shot on RED camera, wallpaper quality
2、使用图像编辑模型编辑:
以前想要编辑图片基本只能局部重绘,但是局部重绘局限性非常大,索性我们最近有了不少可用的图像编辑模型。
通过自然语言就可以编辑图片,这样我们就能实现对图片的精确控制,制作出各种特效。
比如将扁平的 Logo 图片变成有丰富材质和背景的视频,我就是拿了一张 Logo 图片然后用图片编辑模型让他加上材质更换背景。
最后在用可灵 2.1 首尾帧生成视频的时候可以看到从扁平到金属材质的过程可灵还加上了非常顺滑的过渡一点不突兀。
3、也可以让某个人物拿上东西或者放下东西,这个在电商场景非常实用。
比如下面这个就是用原始的模特图片和后面拿上产品的图片生成的,模特和产品都可以保持一致性,可用性相当高,而且可灵生成的时候完全没有常见的手部细节问题。
当然我们也可以用这个方式去做非常炫酷的文字特效。
比如我这里就先生成了一个金属文字的 KLING,然后用图像编辑模型修改文字,分别变成了 2.1 和 First Last Frame,然后用可灵 2.1 首尾帧能力生成两个视频,拼起来就是连贯的文字变化特效。
当然,我们也可以加上更加丰富的变化,比如每个分镜不止文字会变化文字材质和周围环境也发生变化,整个表现力会更加丰富,而且可灵 2.1 不止响应了文字本身的变化,环境的变化也跟文字是同步的。
图像编辑常见的人物或者玩偶变装特效也很好玩,比如这里让 Labubu 做个简单变装。
如何生成首尾帧视频的提示词
我上面所有的首尾帧的提示词没一个是我自己写的,完全是 AI 生成的。
先给大家用来生成首尾帧视频的提示词,然后教一下大家提示词为什么这么写。将你想要生成的首尾帧图片和这个提示词一起扔给任何一个头部的多模态模型就可以了。
这个提示词可以生效也是因为可灵 2.1 的首尾帧提示词理解和遵循能力大幅增强的缘故
藏师傅的首尾帧提示词生成提示:
你是一位顶尖的创意视频导演和VFX(视觉特效)概念艺术家。你的任务是为AI视频生成模型设计一个从【起始帧】到【结束帧】的转场过程。
你的核心目标是:构思并用一段话清晰、具体地描述这个动态视觉变化。
在构思时,请遵循以下创作框架:
第一步:分析差异 快速判断【起始帧】和【结束帧】的差异程度。
A类 - 关联性强: 主体或场景基本一致,只是状态、风格或环境发生改变(例如,同一个人换了衣服,同一个场景从白天到黑夜)。
B类 - 差异巨大: 主体和场景完全不同(例如,一只猫在客厅 → 一艘飞船在太空)。
第二步:选择转场策略
如果属于 A类,优先采用“原地演变”的策略。让变化直接发生在主体和环境上,尽量不使用或只使用微弱的摄像机移动。
如果属于 B类,采用“运镜驱动转场”的策略。必须使用一种明确的摄像机移动(如推、拉、摇、移、旋转)来引导过渡,让镜头运动成为连接两个不相干画面的桥梁。
第三步:构思具体变化(从以下工具箱中选择组合)
主体变化: 主体如何改变?(形态变化、材质替换、服装更替、分解重组、消失或出现)。
环境变化: 背景如何改变?(时间流逝、季节更替、空间切换、从现实变为幻想)。
风格/特效变化: 用什么视觉风格或特效来包装这个过程?(例如,画面逐渐像素化后重组、被火焰/水流吞噬后显现、转变为水彩/油画风格、出现光效粒子)。
输出规则:
将你的最终构思整合为一个连贯的段落。
描述要具体、直接,充满画面感。专注于“我们看到了什么”,而不是“我们感觉到了什么”。
严格遵守你在第二步中选择的摄像机移动策略。
避免使用模糊的比喻和过于文学化的修辞。
现在,请根据我提供的【起始帧】(图片A)和【结束帧】(图片B),生成你的转场描述。
看下这个提示词有多强,他会自动判断两张图片的差异度,然后根据差异的不同采取不同的提示词生成策略。
需要注意的是这个提示词生成的视频提示需要模型有非常强的提示词理解和遵循能力,所以目前应该只有可灵 2.1 效果比较好。
比如这种两张图片有相关性的,他就会优先用原地演变的原则主要重点放在主体和环境身上,让人物穿衣服,背景的植物生长来完成首尾帧的转换。
画面开始时,少女俯身在地,随着她缓缓抬起上身,她身后的盆景松树也开始悄然生长,枝干以肉眼可见的速度变得更加粗壮和舒展,同时,少女裙摆和发髻上的孔雀羽饰也随之展开。当她完全坐直,将目光从地面移向前方时,背景的光线由柔和的漫射光转变为明亮的聚光,将她和生长后的松树轮廓勾勒得更为清晰,而她身旁原先独立的假山石已经和松树的根部融为一体,成为她坐下的石台。整个过程中,摄像机非常缓慢地向左平移,最终将人物与生长后的树木一同置于画面中心,完成了构图的变化。
如果两张图片差异巨大甚至完全无关怎么办,他就会要求模型加上运镜进行过渡,让连贯的镜头表现变成链接两张图片的桥梁,而且模型也会自己加上一些特效变化让一个具体的材质引导画面变化,一下就让两张图片有了联系。
比如这里的狐狸和龙差别很大,模型就让狐狸的绸带变为了流动的浓墨融合进了水墨的巨龙身体里面,一下就让两者有了关联,比如你就会想狐狸是不是就是巨龙的一个化身,而且我都没想到这个转场可灵 2.1 可以搞定。
镜头首先聚焦于狐妖腰间飘动的一条彩色绸带,随着一股无形的风起,这条绸带挣脱束缚,向画面深处和高处飞去。摄像机立即启动,以一个平滑的弧线运镜紧紧跟随这条绸带。在高速运动中,绸带的丝绸质感逐渐溶解,其上的多彩颜色开始褪去并融合成单一的、流动的浓墨。与此同时,背景中的亭台楼阁在动态模糊中被迅速替换为灰色的、翻涌的云海。当绸带完全转化为一道粗壮的墨迹时,它的表面开始浮现出细密的黑色鳞片纹理,并继续在云雾中延展、壮大,演化为龙的身体。镜头沿着这条由绸带演变而来的龙身继续向前推进并上摇,最终穿出云层,定格在【结束帧】中那颗巨大威严的龙头上,它的一对金瞳在阴沉的云海中赫然亮起。
这套提示词也不是 LLM 凭空产生的,而是我跟模型讨论的结果。
我先规定了一些基础的提示词生成原则,比如运镜不要太多,文学性修辞和比喻不要太多,产出了一个基础的要求。
然后就开始跟模型讨论两张图片变化的本质其实就是模型对“过程”和“变化”的理解与想象。
然后就开始遍历到底两张图片之间会有哪些变化和过程,遍历了一下发现确实是可以穷尽的,然后在对这么多状态进行分类和组合,最后得出了常见的变化和组合主体变化 + 环境变化或者风格变化 + 特效变化这两种。
结合结合这两者的特点和我前面的提示词书写要求,结合生成了最终的提示词,如果你以后想写自己的提示词也可以参考这个思路。
三张王牌拿图法(同提示词抽卡、改提示词抽卡、FLUX Kontext 编辑)
一条万能提示词,让多模态模型替你写提示词
但真正的价值不在这里,而在你接下来 10 分钟要做的两件事。
第一件事:把「流程」固化成「资产」
把今天所有步骤打包成一个模板:首帧图链接 | 尾帧图链接 | 差异分类(A/B)| 生成提示词 | 成片链接。以后任何新项目,直接往模板里填图,10 秒出提示词,半小时出片。这套模板可能就是你未来三个月的睡后生产力。
第二件事:把「特效」升维成「叙事」
首尾帧的本质不是「过渡」,而是「因果」。狐狸 → 巨龙:绸带化墨只是视觉钩子,真正的叙事是「妖狐渡劫化龙」。少女 → 盆景:树长人坐只是动态美感,真正的叙事是「人景共生」。当你用「因果」而不是「过渡」去写提示词,观众看到的就不是特效,而是故事。从「特效师」变成「叙事者」,你的视频单价至少翻 5 倍。
视频首尾帧生成创意玩法清单
主体/对象变化(Object Transformation)
这类变化聚焦于画面中的核心人物或物体。
1.形态变化(Morphing):
。生物化: 人类 →动物(如狼人、猫娘);雕塑 →真人。
·无机化:人类 →石像/冰雕/金像;水果 →钻石/冰品制品。
。虚实转换: 玩具车 →真实跑车;画中的人物→走出画的真人。
。生长与凋零:种子 →参天大树;含苞待放的花 →盛开后凋谢;婴儿 →老人。2、状态变化(State Change):
。物理状态: 冰块 →融化的水;完整的纸张 →燃烧后的灰烬;杯子 →摔碎的碎片。
。情绪状态:一张哭泣的脸 →逐渐转为开怀大笑。
。服装/装扮变化(你已提到):
。换装: 日常便装 →华丽的晚礼服/古代盔甲/赛博朋克战衣。
”妆容: 素颜 →浓妆特效妆(如僵尸妆、精灵妆)。
3.增减与分解(Addition/Subtraction& Decomposition):
。消失/出现(你已提到):
。方式: 逐渐透明、化作光斑、分解成粒子、被黑洞吸走、像墨水一样晕开。
。生长/增殖:一个人→裂变成多个人;手臂上→长出藤蔓和花朵。
机械分解/组合: -部手机 →分解成所有零件;一堆零件→组合成一个机器人。
环境/背景变化(EnvironmentTransformation)
这类变化侧重于场景的整体变迁。
1.时空变化(Time & Space Shift):
。时间流逝:
。短时:日出 →正午 →日落 →星空。
长时: 繁华的现代都市 →荒芜的末日废墟;一片空地 →拔地而起建成高楼。
。季节更替: 夏日的森林 →白雪皑皑的冬季。
空间穿越: 客厅 →瞬间切换到外太空/深海/幻森林。
2.场景状态变化(Scene State Change):
。天气变化: 晴空万里 →乌云密布、电闪需鸣。
秩序变化: 整洁的房间 →变得凌乱不堪;混乱的战场 → 恢复平静与和平。
引力变化: 房间里所有物体正常摆放 →全部漂浮起来。
二.风格/质感变化(Style &Texture Transformation)
这类变化不改变内容,而是改变画面的艺术表现形式,
1,艺术风格转换(Art Style Transfer):
。写实 → 艺术: 真人照片 → 油画/水彩画/素描/版画。
。跨次元: 三维写实场景 →二次元动漫/美式漫画/像素游戏风格。
。材质替换(你已提到):
。全局: 整个世界变成毛毡/黏土/玻璃/霓虹灯管材质
*局部: 文字从金属 →火焰 →流水 →木头。
2.色彩与光影变化(Color & Light Shift):
。色彩: 彩色世界 →黑白世界(反之亦可);暖色调场景 →冷色调场景。
。光影: 正常光照 →恐怖片式的诡异打光(如底光);明亮 → 黑暗中只有一束追光。
工具会迭代,模型会升级,但「流程资产化 + 叙事升维」这两件事永远不过时。现在,轮到你把「可灵 2.1 首尾帧」写进自己的复利曲线了。
版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。
相关标签: