Agent Skill

AI照片唱歌视频

用一张清晰人像照片和一段简短的歌曲片段,让照片开口唱歌。这个 AI 照片唱歌视频和人像唱歌视频工作流可以把单张人像变成一段有表情的唱歌短片,只需要一张照片和一段歌曲片段,并在交付后检查人物特征、嘴型和面部动作、演唱表现力、声音呈现和同步效果。适合老照片唱歌、生日祝福、卡通人物唱歌、趣味分享、歌曲宣传和有纪念意义的留言,每次只用一张照片和一段已确认的音频片段,并如实复盘成片效果。

设计多媒体·AI音乐人·来自 skill_hub·skillhub.cn ↗
skillhub install @user_87b8e34f/photo-singing-video
7 Stars·15.7万 综合热度·5,945 字文档·源站更新 2026-11-22

README 文档

5,945 字

AI照片唱歌视频

用一段简短的歌曲片段让一张清晰人像照片开口唱歌。本 Skill 适用于让照片唱歌、人像唱歌、老照片唱歌、卡通人物插画唱歌、祝福歌曲视频、趣味唱歌短片或虚拟形象歌曲表演。

适用范围与相邻路由

常规路线是一张人像、一段确认的唱歌音频片段和一条照片唱歌短片。当提供的歌曲长于视频窗口或伴奏较重时,本 Skill 还会先用 beatra.audio.process 准备驱动音频(用 trim 裁剪副歌窗口,用 isolatevoice 或 separatestems 提取更干净的人声,若分离后的格式不适配再做 convert_format)。口语化的口播信息(非唱歌)路由到 talking-avatar-video 工作流;宠物照片加语音路由到 talking-pet-video 工作流;人像加非音频运动路由到图生视频工作流;已完成的歌曲需要更广泛的音乐主导画面的路由到音乐短片工作流。如果用户需要先制作一首新歌,该独立阶段路由到 personalized-song-maker 或 ai-song-cover-studio,待本工作流拿到完成的歌曲或片段后再继续。本路线专注于一张人像加唱歌音频。歌词本身不是驱动音频;只有音频文件才能驱动唱歌动作。

输入与默认值

硬性输入是:

  • 一张宿主 Agent 可以查看的可访问人像;
  • 一段简短的唱歌音频片段。

只询问缺失的硬性输入。复用已知的场合、构图、裁剪、背景和用途。对于宿主 Agent 可访问的本地图片或音频文件,仅在查看之后使用随包上传助手:

python3 scripts/mcp_client.py upload ./singing-portrait.png --mime-type image/png
python3 scripts/mcp_client.py upload ./song-excerpt.mp3 --mime-type audio/mpeg

上传只是传输,不是视觉或音频审阅。保留每个返回的素材引用,绝不向远程工具传递本地路径。

默认输出一条唱歌短片,model: "auto",以人像作为严格首帧,画幅取自源文件。除非用途或用户的明确选择需要,否则省略分辨率和其他可选控制项。将人物特征、服装、构图和背景视为必须保留项,并检查结果是否出现偏移,而不是承诺精确保留或完美口型同步。如果需要新的人像画布或修整,将该请求路由到合适的图片工作流,返回时带上一张确认的首帧。

黄金路径

  1. 查看人像。记录其实际 MIME 类型、宽度、高度、画幅、字节大小以及是否有 Alpha 通道。识别面部可见度、人物特征、构图、背景、所需裁剪和唱歌片段。如果用户提供了唱歌音频,查看实际可访问的内容并记录其真实 MIME 类型、时长和字节大小。
  2. 如果用户需要先制作一首新歌,将该独立阶段路由到 personalized-song-maker 或 ai-song-cover-studio。在为上游音乐付费之前,调用 beatra.models.list 并传入 {"capability":"imagetovideo"},证明某张当前模型卡接受该人像加计划的音频格式,且时长范围能被本路线容纳(或可通过后续裁剪副歌窗口配合)。拿到用户提供的成品曲目或片段后恢复本工作流。
  3. 需要时先准备唱歌片段(beatra.audio.process,付费)。 用户已提供干净的清唱片段、且时长和格式都匹配 imagetovideo 时跳过这一步。绝不把音频裁剪、人声分离、分轨拆分或格式转换说成免费;每次调用前先从 beatra.models.list 读取实时积分,并出示六项制作卡(做什么、积分、次数、不透明 clientrequestid、若停在这里、若余额不足):
  • 把整首歌裁剪成副歌片段(operation: "trim"): 查询 {"capability": "audioprocess"},传入 startms / endms(或 targetdurationms,同一次调用中附带 fadeinms / fadeout_ms 不另收费用),让片段落进视频支持的时长范围内。
  • 把演唱人声从厚重伴奏中分离出来: 可运行 operation: "isolatevoice"(查询 {"capability": "audiovoiceisolation"},输入限制 4.6 s – 5 min,默认 WAV),或运行 operation: "separatestems"(mode: "twostem" 输出 [vocals, accompaniment],若要六分轨也可用 "multistem";查询 {"capability": "audiostemseparation"},读取返回中 pricing[].dimensions.stemmode 等于 mode 的计价项,若没有选项标出该模式则回退到不带 dimensions 的计价项;不要把 format 字段传给 separatestems)。需如实说明分离后仍可能带有一点轻微伴奏残留(串音)。若分离出的人声格式或体积不被 imagetovideo 接受,再用 operation: "convertformat"({"capability": "audioprocess"})单独出卡转换。
   python3 scripts/mcp_client.py call beatra.models.list
   {"capability": "audio_process"}
  1. 对于照片唱歌视频,调用 beatra.models.list 并传入 {"capability":"imagetovideo"}。要求某张当前模型卡的 inputcombinations 接受 [image, drivingaudio]。将人像的实际 MIME 类型、宽度和高度、画幅、字节大小以及 Alpha 通道存在情况与每项声明的图片约束进行比较;将准备好的唱歌音频的实际 MIME 类型、时长和字节大小与每项声明的驱动音频约束进行比较。确认音频时长至少达到实时下限,且在能容纳它的最长可用视频时长之内。如果任何媒体事实不可用或不兼容,在视频调用之前停止,并要求最小兼容的源变更。
  2. 在任何 clientrequestid 或 beatra.videos.animate 调用之前出示准入卡:路线 imagetovideo、工具 beatra.videos.animate、人像、准备好的唱歌音频、提示词、按音频取整的时长、如有则写分辨率、输出数量(1)、来自 beatra.models.list 的临时实时估价、仅靠入门赠额通常无法发起视频动画生成、若停在这里用户保留什么,以及余额不足时会怎样(insufficientbalance 充值链接)。规划、比较或「去做这段」都不是批准。在用户确认卡片并确认已充值或已有足够积分覆盖本次估价之前,不要提交。音频时长决定视频时长:使用大于或等于实际音频长度的最小支持整数视频时长,使唱歌不被截断;动画期间不要截断或添加静音。用一个不透明且稳定的 clientrequestid 冻结它们。只调用随包 scripts/mcpclient.py:MCP 工具名是 CLI 参数,其参数是标准输入上的 JSON。例如:
   printf '%s' '{"image":{"type":"artifact","artifact_id":"art_portrait"},"driving_audio":{"type":"artifact","artifact_id":"art_song"},"prompt":"An expressive singing performance with natural mouth movement and engaged facial energy, keeping the portrait identity and background stable.","duration":10,"client_request_id":"opaque-singing-video-id"}' | python3 scripts/mcp_client.py call beatra.videos.animate

不要配置、调用或使用宿主 Beatra Connector。不要使用 REST/OpenAPI 回退。恰好提交一次 beatra.videos.animate。

  1. 立即记录返回的任务 ID,并用 beatra.tasks.get 轮询同一任务直到终态。交付每一个返回的视频素材或链接。只报告实际返回的任务状态、解析后的模型、尺寸、时长、用量和 billing.netchargedcredits。审阅可访问的结果,检查人物特征、嘴型和面部动作、唱歌表现力、声音呈现与同步、背景和服装稳定性、结尾质量、比例和实际时长。说明宿主 Agent 能和不能查看的内容。

付费变更、恢复与取消

新歌、每一步音频准备(trim、isolatevoice、separatestems、convertformat,均通过 beatra.audio.process 运行)和照片唱歌视频(beatra.videos.animate)在本包运行时各自属于独立的付费阶段;各自拥有自己的实时价格查询、冻结负载、稳定 clientrequestid、确认、创建响应和任务 ID。绝不在未明确单列成独立付费行的情况下把音频裁剪或人声分离并入视频卡,也绝不把任何后期或预处理步骤说成免费。更换人像、唱歌音频、歌曲、裁剪窗口、分轨模式、提示词、模型、时长、画幅、分辨率或视频控制,都属于新的逻辑付费工作,配以新的 ID、新的制作卡(视频阶段还需新的准入检查)以及新的确认。遇到 insufficientbalance 时,转达返回的说明,余额错误里的充值链接保持原样,用户说已充值后再用同一冻结的 clientrequestid 重试。

如果创建响应丢失,只用相同的阶段 ID 重放字节完全一致的冻结负载。如果任务 ID 丢失,调用 beatra.tasks.list 查找相关能力,用 beatra.tasks.get 检查可能的候选任务,并对照该阶段的私有账本确认后再考虑相同重试。排队和运行中是进度状态,不是失败。在规划变更工作之前先恢复原阶段;绝不重复付费提交,也不猜测其扣费或退款。

只有当用户要求取消时才调用 beatra.tasks.cancel。调用一次,并用 beatra.tasks.get 确认最终的终态。409 表示取消未确认,因此继续轮询同一任务,不要创建替代工作。

工具返回积分不足时:把工具返回的原文整段交给用户,链接一个字不改。其余可以译成中文。不要改写成自己的充值说明。引导用户按原文去充值。

账户余额

用户问还剩多少积分,或某次实时估价够不够时,调用 beatra.wallet.get。问已经扣了多少 时,调用 beatra.wallet.ledger。两者都是只读的。不要臆造查余额或充值的工具。也不要把 wallet.get 变成每次付费提交前的必需步骤。

模型卡返回里带 top_up 块时,按卡片给出的档位和顺序原样转述。不要给档位排高低,不要 贬低其中任何一档,也不要替用户挑。选哪一档是用户自己的事,钱包页会把整份清单摆在他 面前。任何时候都不要凭记忆报档位。

按任务查阅参考

  • 在查看人像、准入、裁剪或分离唱歌音频、核对实时模型事实、构造确切负载、轮询、恢复、取消或审阅唱歌动作时,阅读 照片唱歌工作流(references/workflow.md)。
  • 关于音频裁剪(trim)、人声分离(isolatevoice)、分轨拆分(separatestems)、格式转换(convert_format)及其限制,阅读 音乐编辑与音频处理(references/music-editing-and-audio.md)。
  • 仅当授权或共享凭据需要处理时,阅读 安装与授权(references/installation-and-auth.md)。
  • 关于非计费、尽力而为的安装登记步骤,阅读 安装登记(references/installation-registration.md)。
  • 关于共享的终态任务和素材语义,阅读 任务与结果(references/tasks-and-results.md);关于返回的计费或错误详情,阅读 计费、错误与恢复(references/billing-errors-and-recovery.md)。
  • 当随包客户端无法连接时,阅读 随包 MCP Client 连接诊断(references/mcp-connection.md)。不要配置宿主 Connector。
  • 更新与安全:更新与安全(references/updates-and-security.md)
  • 仅当用户要求移除本包或共享凭据时,阅读 卸载与断开连接(references/uninstall-and-disconnect.md)。

每次 Beatra 操作都使用或调用随包 scripts/mcp_client.py。

更新与安全

本 Skill 会自动更新。内置客户端每天最多一次从 Beatra 官网读取本渠道的版本信息 (中国大陆网络走 www.beatra.cn 与 cdn.beatra.cn)。有新版本时,它下载官方发布包, 逐个文件校验 SHA-256,再替换本 Skill 自己的文件;你放进这个目录的其他文件不会被 改动。替换过程中断时,下次运行会自动恢复到替换前的状态。除此之外,它不下载或执行 任何其他代码,只通过 HTTPS 与 Beatra 官方服务通信;你选择上传的文件只会传到 Beatra 为这次上传签发的一次性地址。

关闭自动更新:python3 scripts/mcp_client.py update --auto off。关闭后,客户端每天 最多提示一次在你安装它的商店里更新的命令。详见更新与安全(references/updates-and-security.md)。

同分类其他技能

查看全部 ›