How to Make Amazing Videos with Claude and HyperFrames | Jake Moran

前 HeyGen 员工 Jake 用 Claude 剪视频：20 分 30 秒播客自动剪到 18 分 11 秒，产品发布片里除他本人外所有出镜者都是 AI 虚拟人。

AI剪辑不缺手，缺的是你脑中的故事

Jake Moran 来自 HyperFrames，同时也是 HeyGen 员工。他做视频剪辑只有 6 个月，过去几个月主要在做产品发布视频，却已经把 Peter Yang 一段 20 分 30 秒的原始访谈，压到 18 分 11 秒。他的特别之处不在于背得出多少转场术语，而在于把 AI 剪辑拆回几个更根本的问题：你到底想让观众看见什么；你给模型的上下文够不够；以及一次做对的流程，能不能在下一支片子里直接复用。

这期回答了 7 个问题：

1. 当 AI 能自己决定转场、镜头和配乐时，创作者到底还必须亲自做什么？
2. 为什么三个截图加一段故事，可能比一长串剪辑术语更有效？
3. 怎样避免 AI 花很久渲染后，才发现整支视频方向错了？
4. 看到一个爆款特效后，如何用 5 秒参考素材做出自己的版本？
5. 为什么不把品牌规范交给 AI，反而会得到更“失控”的自动化结果？
6. AI 已能剪掉停顿，为什么仍会把一句话的半个单词剪掉？
7. 长视频如何避免每改一处，就重新烧掉整小时视频的算力和时间？

被问到如何制作 HyperFrames 的背景移除功能发布视频时，Jake 讲的起点并不复杂：三张截图。一张是产品 studio 的界面截图，后面要用来演示功能；一组是开场需要的图片；还有后续展示素材。真正让他决定开场方向的，不是某套转场模板，而是一位工程师在 Slack 发来的一段效果展示：画面里的背景被干净移除。Jake 看到后觉得“super cool”，于是把它当作钩子。

接下来，他没有写“第 35 秒切到产品界面”“镜头向左推多少像素”这类指令。他主要告诉模型，这支片子要讲怎样一条故事线，以及核心信息是“现在只需一个 prompt”。镜头、人物排布、一些视觉元素，则交给 agent，也就是能接收指令并调用工具执行任务的 AI 代理自己判断。Jake 的原话很直接："You probably still need to know a rough storyline that you want to convey."（你可能仍然需要知道自己想传达的大致故事线。）

这意味着，AI 把“怎么做”里大量机械部分接过去了，却没有接走“为什么这样讲”。发布视频常见的结构仍在：先用钩子抓注意力，再解释功能如何使用，给出用户得到的结果，最后回到品牌或行动信息。模型可以替你安排其中一些镜头，但它不知道用户最该先看“背景被移除的瞬间”，还是先看产品操作，除非你先作出这个判断。

Jake 也把这称作当下 AI 剪辑最大的遗憾：它不会替创作者提供想法。没有叙事主线的人，确实能更快得到成片；问题是，也会更快得到一支画面精致、节奏完整、但观众看完不知道重点在哪的片子。

被问到怎样让 AI 处理口播里的配乐和剪辑细节时，Jake 没有建议大家去背“whip pan”“push-in”这些剪辑术语。他的重点是：把会影响结果的上下文一次交代清楚。比如处理口播时，可以同时要求去掉语气词、删掉重复表达、把长停顿压到四分之一秒以内；如果存在跳切，还可以要求用 punch-in，也就是把镜头稍微推近，用画面变化遮住剪掉内容后的突兀感。

配乐是一个很具体的例子。模型可以依据 MIDI，也就是一种记录音符、节拍和力度的音乐指令格式，生成音乐；可以调用不同的音乐库；也可以直接拿用户拖进聊天窗口的本地文件。但“加一段音乐”远远不够。Jake 会明确要求：音乐保持在 A-roll 人声音量的 10%。A-roll 指主讲人原始口播的主画面和主声轨。这样，模型才不会把背景音乐做得像广告片开头一样轰鸣，把人声压下去。

他的总结是："Getting as much context into your prompt, into wherever you're asking things to be edited is the key to increasing quality and getting closer to what you're wanting."（尽可能把上下文放进提示词、放进你要求编辑的地方，是提升质量、接近你想要结果的关键。）

这意味着，提示词更像一份创作规格书，而不是一句“帮我剪得高级一点”。“高级”无法执行；“音乐低于主讲人声的 10%”“删掉重复词”“开头使用更高节奏的视觉效果”则可以。Jake 还提醒，剪辑 agent 的每一轮执行都不算快，多轮来回会增加等待和 token 成本。token 可以粗略理解为模型处理上下文和执行任务时消耗的计费单位。先把要求想全，不一定最有创作激情，却往往最省账单。

被问到如何从三张截图做出一支产品发布视频时，Jake 展示了一个看似朴素、实际很关键的选择：先让 HyperFrames 生成 storyboard，也就是静态分镜。若不选择这一步，模型可能直接开始构建完整视频；而完整视频生成更慢，也意味着你第一次看到创意是否跑偏时，已经付出了更高的时间和算力成本。

Jake 更愿意先看每一幕的 still frames，也就是静态画面。三张截图、一个开场钩子和一条故事线，先被拆成一组画面预览：开头会出现什么，产品界面在哪个位置，文字和人物如何排布，视觉重点是否落在背景移除这个能力上。第一次生成的版本并不是最终版本。他看到初稿后继续要求修改，因为其中部分视觉效果不符合最后采用的方向。

他解释这种偏好时说："I prefer to look at still frames of what's going to happen over the video instead of kind of working on the the fully built thing."（比起直接处理已经完整生成的视频，我更愿意先看接下来会发生什么的静态画面。）

这里的关键不在于分镜必须做到一帧不改。Jake 的标准更低也更实用：只要看得出自己想去的方向，就可以让系统开始构建完整视频。它很像产品团队先看原型，而不是等工程把所有页面都开发完才说“这不是我想要的”。

这意味着，AI 视频的第一次评审不该发生在成片阶段，而该发生在低成本的结构阶段。分镜能抓出“钩子不够强”“产品出现太晚”“视觉调性跑偏”这类大错误。但它也有边界：静态图确认不了动态节奏、转场速度和运动效果。先看分镜不是免去成片审查，而是避免把最明显的方向错误拖到最贵的环节才发现。

被问到如何复制社交媒体上复杂的开场特效时，Jake 先描述了过去的麻烦。假如你看到一个不错的 hook，想复用它的感觉，往往得手动拆解：文字从哪里进入，人物是不是做了背景移除，为什么某些图层能出现在人物后面，镜头怎么切，动画是先加速还是后减速。一个短短几秒钟的开场，可能藏着十来个需要说明的细节。

现在 HyperFrames 的做法是上传参考视频。Jake 的演示里，他上传了一段 5 秒素材，再用提示词写明自己要改什么。结果不是一比一复制：字体换了，颜色换了，场景也换了，但视频保留了原素材的结构性思路。也就是说，参考视频负责告诉模型“这种效果是怎么组织的”，提示词负责划定“哪些东西必须变成我的”。

Jake 的描述是："You just upload a reference, so I uploaded this 5 seconds, and then I described in the prompt just what I wanted to change."（你只要上传一个参考；我上传了这 5 秒内容，然后在提示词里描述我想改什么。）

这意味着，创作指令正在从“用语言逐项描述动画细节”，变成“用样本给结构，用文字给差异”。对于做了很多年内容的人，这尤其重要。你过去积累的颜色、字体、分屏方式、字幕布局和开场格式，不必只存在于自己的记忆里，可以被反向工程成代码或参考素材，让模型调用。

但参考库越方便，视觉趋同也越快。Jake 已经观察到，社交媒体上某些效果出现了“convergence”，也就是越来越多人向同一种视觉套路收敛。参考能减少描述成本，却不能替你决定哪种效果配得上这个主题。否则，所有人都在用同一个钩子，观众很快也会学会跳过它。

被问到不同 AI 生成视频怎样维持统一品牌风格时，Jake 给出的答案很不浪漫：不要期待模型理解“我的品牌”。HyperFrames 可以从网站自动生成 brand kit，即品牌素材包；用户也可以上传写有规范的 PDF，或者直接上传装着字体、颜色、图形素材的文件夹。Jake 自己已有 HeyGen 的 brand kit，里面每项内容都可以手动编辑，再让 agent 在生成视频时调用。

为什么这一步不能省？因为“品牌感”对人来说像常识，对模型却可能只是一个空标签。Jake 的警告很具体："If you just say my brand, probably nine times out of 10, you're going to get some crazy colors and then imagined surface."（如果你只说“我的品牌”，十次里大概有九次，你会得到一些疯狂的颜色，以及它自己想象出来的视觉表面。）

所谓 imagined surface，可以理解为模型自行脑补的视觉表面：它或许会给一家克制的 B2B 软件公司套上高饱和渐变、金属光泽或过度装饰的纹理。单看其中一张也许不算难看，但放在品牌长期内容里，观众会觉得每支视频像来自不同公司。

这意味着，品牌一致性不再主要依赖剪辑师“记得上次用的是哪个蓝色、哪个字重”，而依赖团队有没有把这些信息沉淀成可调用的资产。字体、色值、logo、安全区域、常用排版和已有镜头范例，都应该进入模型的上下文。自动化不是补上组织缺失的规范；相反，它会把原本含糊的规范放大成批量输出的混乱。没有 brand kit 的团队，先整理品牌规则，往往比急着生成十条视频更划算。

被问到短视频为什么会出现切掉半个词、节奏不自然的问题时，Jake 把问题指向一个常被忽略的底层环节：时间戳。AI 要把“两个句子之间的停顿缩短到四分之一秒”，首先得准确知道每一个词开始和结束的毫秒位置。如果转录结果只大致知道你说了什么，却没标准每个词落在哪一刻，模型执行剪切时就会切进单词中间。

为此，Jake 使用 Parakeet，一个大约 1GB、可以本地运行的转录模型。它的作用不是替视频生成炫酷画面，而是提供更准确的词级时间戳。Jake 的经验是，Parakeet 在控制词与词之间的间隔时，大约 98% 的情况下能得到正确结果。对于 Instagram、TikTok 这类高节奏内容，这种精度格外重要，因为一句口播里多留半秒，观众可能就划走；但少切几十毫秒，又会留下“半个词被吞掉”的别扭听感。

Jake 很坦白地说："models still struggle with audio. They can't hear anything."（模型仍然难以处理音频。它们什么也听不见。）

这意味着，所谓 AI 剪辑的质量上限，不只由大模型够不够聪明决定。转录是否准确、时间戳是否精细、系统是否真正理解音量和听感，都会决定最终效果。模型可以根据文字和时间轴操作，却并不真的“听见”你那句话的重音、呼吸和情绪。这也解释了为什么它加背景音乐时，常常会把音乐开得太大：在它的输入里，那可能只是两段需要混合的数据，而不是一个人正在讲话、另一段声音必须退后的真实听觉关系。

被问到长视频如何减少反复渲染、减少 token 浪费时，Peter Yang 给出一个很实际的阈值：超过 15、20 或 30 分钟的视频，他会拆成不同片段分别编辑，最后再让 AI 拼接。原因不难理解。一支 1 小时视频，如果你在第 13 分钟发现要换一段内容，系统可能需要重新处理整支片子。对人来说只是改一个点；对系统来说，可能是又跑完一小时的素材，烧掉一大批 token。

Peter 还举了一个已经沉淀下来的流程：他做了一个叫“video blur”的 skill。skill 在这里指一套被保存下来、可重复调用的操作流程。这个 skill 会逐帧检查视频，把邮箱、姓名等敏感信息模糊掉。它不只是“下次记得打码”，而是把识别、定位、模糊这些步骤变成可复用的指令。

Jake 的建议是，每次完成一项工作后，都可以要求 AI 记住刚才完整的步骤，以后遇到相同格式的视频直接引用。他说："You definitely want to save things as a reference so you don't have to do the same work twice."（你肯定应该把这些东西保存为参考，这样就不必重复做同一份工作。）

这意味着，规模化内容生产的单位，不再只是“我这周剪完了几支视频”，而是“我这周留下了几个以后还能用的工作流”。拆片策略、逐帧脱敏、固定开场、品牌调用、字幕规则，都是能持续降低边际成本的资产。当然，这套方法最适合格式稳定、重复度高的内容。每支片子都完全不同，仍然需要重新定义上下文；但即便如此，至少“如何审分镜、如何标注修改、如何保留品牌资产”仍可以不用从零开始。

“AI替你做镜头选择，但替不了你决定要讲什么”和“真正可规模化的不是单支片子，而是把工作流存成技能”，表面上一个讲创意，一个讲效率，其实指向同一件事：AI 剪辑正在把人的工作从时间轴上移走，移到时间轴之前和之后。

之前，剪辑师的价值常体现在逐帧移动素材、找 B-roll、调转场、压停顿。现在，这些机械执行可以部分交给 agent。但在执行开始之前，仍然有人要决定故事的钩子、产品的证明、观众要带走的结论；执行结束之后，仍然有人要把有效做法沉淀为 brand kit、参考视频、skill 和可复用流程。

这也是为什么“先审分镜再渲染”与“品牌资产不喂给模型，自动化就会放大审美失控”其实是一组问题。前者是在给模型划创意方向的边界，后者是在给模型划品牌表达的边界。边界越清楚，模型越能替你跑得快；边界越含糊，它越可能高效率地跑偏。

如果你正准备把 AI 引入自己的视频流程，最先要整理的也许不是软件清单，而是三个答案：这支片子想讲哪一句话；哪些视觉和声音绝不能变；哪些重复动作值得保存。模型会越来越会剪，但它不会自动知道你的重点、你的审美和你的工作方法。真正拉开差距的，是谁能持续让它在正确的边界内生成。