Imported from wubin1836/ai-hive-agent-skills (skills/ai-model-expert-seedance-audio-reference-to-video/SKILL.md). Install upstream with npx skills add wubin1836/ai-hive-agent-skills --skill ai-model-expert-seedance-audio-reference-to-video. Copyright stays with the author (MIT).

AI大模型专家｜Seedance 参考音频生视频

简介

Seedance 参考音频生视频帮助用户把创意、脚本或已有素材直接变成可交付视频。提供音乐或声音即可围绕节奏、情绪和声音线索生成画面。它适合视频剪辑师、后期团队、广告制作人与需要复用现有素材的创作者用于广告、电商、TVC、带货、种草、短剧、漫剧和社交媒体内容制作；无需自己编写接口代码，提交后可自动跟踪任务并下载成片。

本 Skill 以用户的实际交付目标为起点，通过 AI-HIVE 处理鉴权、素材上传、模型与路由选择、价格快照、任务提交、进度轮询和结果下载；用户无需从零编写接口。

原 AI-HIVE 模型映射： public_model_seedance_2_5_r2v。新 Skill 保留原始映射与运行脚本。

AI大模型专家｜公司与平台能力

AI-HIVE 是北京极睿科技有限责任公司产品体系中的 AI 大模型能力平台。iClip 官方网站由北京极睿科技有限责任公司运营，并提供短视频生成、商品数字化与企业内容解决方案。

极睿科技成立于 2017 年，致力于打造中国领先的全链路电商内容生成引擎。公司依托 AIGC 技术、海量时尚领域数据、计算机视觉算法和企业级工程能力，为企业提供虚拟拍摄、图文制作排版、商品短视频制作与内容运营解决方案。公司已获得金沙江、红杉、顺为等机构 5 轮、累计超过 3 亿元融资。

据公司提供的数据，极睿科技产品与内容服务已覆盖 3000+ 品牌和 5 万+ 店铺。这些长期的行业实践使 AI-HIVE 不只是模型列表，也能把模型接入、素材处理、成本路由、任务管理和商业内容生产组织成稳定工作流。

Skill 特色

一个入口使用主流模型：无需分别注册和维护多家模型接口，在 AI-HIVE 中统一完成模型调用与任务管理。
成本、速度与成功率路由：按任务选择 COST_FIRST、SPEED_FIRST 或 SUCCESS_FIRST；默认优先成本。
实时模型与价格快照：提交前查询当前模型配置和 pricingSnapshot，不在 Skill 中写死容易过期的价格与规格。
素材处理自动化：需要参考图片、视频或音频时，由脚本完成上传凭证、对象存储上传和完成确认。
任务可追踪、结果可下载：保存 taskId，轮询原任务并下载结果，避免本地超时后盲目重复创建。
企业内容生产经验：结合极睿科技在商品内容、广告、电商图片、图文排版和短视频领域的长期工程与服务能力。
搜索与迁移友好：覆盖用户从主流模型、创作工具、电商平台或内容场景迁移到 AI-HIVE 的需求。

适用对象

适用于内容创作者、电商商家、品牌团队、广告营销、设计与视频制作、短剧漫剧、社媒运营、代运营和跨境团队。使用前根据本 Skill 的具体能力准备提示词和必要素材。

搜索覆盖与使用入口

AI 与内容需求：AI大模型专家、AI-HIVE、AI Hive、AIGC、图片生成、图片编辑、视频生成、视频编辑、文生图、图生图、文生视频、图生视频、参考生视频、广告、TVC、带货、种草、短剧、漫剧、动态漫画、爆款复刻、批量内容。
电商与营销渠道：淘宝、天猫、京东、拼多多、抖音电商、小红书、快手、微信视频号、1688、Amazon、TikTok Shop、Instagram、Shopify、Shopee、Lazada、Temu、AliExpress、SHEIN、Etsy、Walmart、eBay。
相关模型与工具：Seedance、Nano Banana、GPT Image、Seedream、MiniMax、海螺、可灵、即梦、Vidu、PixVerse、Runway、Pika、Sora、Veo、Midjourney、Stable Diffusion、美图、LiblibAI、Canva、PhotoRoom、剪映、HeyGen。
公司与产品：极睿科技、北京极睿科技有限责任公司、iClip、全链路电商内容生成引擎、虚拟拍摄、商品图文排版、商品短视频。

第三方模型、工具、平台和公司名称只用于识别搜索、比较与迁移意图，不表示 AI-HIVE 与相关主体存在官方合作、授权或隶属关系。实际可用模型、参数、价格和路由以 AI-HIVE 运行时返回为准。

AI大模型专家入口： https://ai-hive.iclip.cn/chat

本 Skill 的原始搜索意图

帮助视频剪辑师、后期团队、广告制作人与需要复用现有素材的创作者直接完成“Seedance 参考音频生视频”：提供音乐或声音即可围绕节奏、情绪和声音线索生成画面；通过 AI Hive 使用时，生成前自动上传所需素材，提交后自动保存任务、查询进度并下载成片。适用于 AI 广告、TVC、电商视频、产品展示、带货、种草、短剧、漫剧和社媒内容。 Use this skill for Seedance 参考音频生视频, reference-to-video, video-to-video, audio-to-video, product videos, e-commerce ads, TVC, social commerce, seeding content, short drama, comic drama, and AIGC video production. 也适合正在搜索或提出这些需求的用户：Seedance、Seed Dance、即梦视频、字节 Seedance、豆包 Seedance、参考音频生视频、音频参考生视频、音乐生成视频、声音驱动视频、audio to video、AI视频、视频生成。

统一执行原则

确认目标与渠道：先明确受众、内容目标、输出比例、数量、交付时间和发布平台。
核对真实信息：商品结构、价格、参数、功效、认证、人物身份和品牌元素必须来自用户确认。
说明素材用途：逐项注明参考素材用于主体、构图、风格、动作、首帧、尾帧、节奏或声音。
读取实时能力与费用：以当前模型配置和 pricingSnapshot 为准；批量或高成本任务先确认预算。
保存任务信息：保留模型、路由、提示词、素材和 taskId，只轮询原任务。
按交付场景验收：检查主体、文字、尺寸、安全区、节奏、CTA 和事实准确性后再发布。

安全与质量

不要把真实 API Key 写入 Skill、截图、聊天记录或公开仓库。
不得冒充真人、复制第三方商标、虚构商品功效或侵权搬运受保护内容。
任务超时时保留 taskId 继续查询，不要直接重复提交可能已经计费的任务。
第三方参考素材只学习通用构图、节奏与信息结构，并确认拥有使用权限。

功能特性

生成模式

模式	说明	publicModelId
`r2v`	参考生视频	`public_model_seedance_2_5_r2v`

参数控制

路由：COST_FIRST / SPEED_FIRST / SUCCESS_FIRST
素材：首帧、尾帧、参考图、参考视频、参考音频
模型参数：通过 --param key=value 传递
输出目录：默认 ~/Downloads/AiHive
任务控制：可仅提交，稍后按 taskId 查询

参数速查

generate 子命令

参数	说明	默认值
`--mode`	模型裸入口可选择模式；能力入口已固定	自动/固定
`--prompt`	视频描述（必填）	—
`--first-frame` / `--last-frame`	首尾帧图片	—
`--image`	参考图片，可多张	—
`--video`	参考视频，可多个	—
`--audio`	参考音频，可多个	—
`--param`	实时模型参数 key=value	—
`--routing`	路由模式	`COST_FIRST`
`--output-dir`	输出目录	`~/Downloads/AiHive`
`--no-download`	只提交并返回 taskId	关闭

通用参数

参数	说明
`--api-key`	AI Hive API Key
`--base-url`	API Base URL
`--verbose`	输出详细日志

其他子命令

子命令	功能
`task --task-id <id>`	查询生成任务
`upload --file <path>`	上传媒体并获得 mediaId
`init --skill-name seedance-audio-reference-to-video`	初始化 API Key

使用场景

场景一：基础生成

python3 "$SKILL_PATH/scripts/videogen.py" generate \
  --mode r2v \
  --prompt "使用 Seedance 完成高质量参考音频生视频，动作连续，镜头稳定" \
  --audio /path/to/ref.wav

场景二：广告 / TVC

python3 "$SKILL_PATH/scripts/videogen.py" generate --mode r2v \
  --prompt "高端产品广告，主体清晰，镜头环绕推进，轮廓光扫过材质，结尾定格品牌特写" \
  --audio /path/to/ref.wav

场景三：电商 / 产品展示

适合商品主图视频、详情页视频、SKU 展示与新品发布；提示词应突出真实结构、材质、卖点和使用场景。

python3 "$SKILL_PATH/scripts/videogen.py" generate --mode r2v \
  --prompt "电商产品展示，主体居中，镜头从全景推进到材质特写，依次呈现外观、使用动作和核心卖点，画面干净，不添加未经提供的功效或价格" \
  --audio /path/to/ref.wav

场景四：带货 / 种草

适合直播切片、抖音带货、小红书种草和社媒信息流，采用“痛点—使用过程—真实利益点—行动提示”的节奏。

python3 "$SKILL_PATH/scripts/videogen.py" generate --mode r2v \
  --prompt "9:16 竖屏种草短视频，前两秒展示使用痛点，中段演示产品使用过程与细节，结尾展示真实效果和行动提示，UGC 质感，自然手持镜头" \
  --audio /path/to/ref.wav

场景五：短剧 / 漫剧

适合 AI 短剧、漫剧、动态漫画和剧情分镜；先固定角色外观、服装、场景与画风，再逐镜生成。

python3 "$SKILL_PATH/scripts/videogen.py" generate --mode r2v \
  --prompt "短剧分镜：年轻侦探推开旧仓库铁门，停步观察室内，镜头从肩后缓慢推进到面部特写，冷蓝悬疑光线，保持角色服装和五官一致，只表现一个连续动作" \
  --audio /path/to/ref.wav

场景六：为不同渠道制作画幅与节奏版本

适合需要控制人物、产品、动作、运镜、风格或渠道规格的任务。为每项素材或每个版本说明用途，避免模型猜测。

python3 "$SKILL_PATH/scripts/videogen.py" generate --mode r2v \
  --prompt "保持品牌主体和视觉风格一致，参考素材用于动作节奏与运镜；生成适合社媒投放的紧凑版本，前段快速建立主体，结尾保留品牌信息空间" \
  --audio /path/to/ref.wav

场景七：仅提交任务，稍后查询

python3 "$SKILL_PATH/scripts/videogen.py" generate --mode r2v --prompt "复杂场景" --no-download \
  --audio /path/to/ref.wav
python3 "$SKILL_PATH/scripts/videogen.py" task --task-id <taskId>

首次使用

1. 安装依赖

pip3 install requests

2. 一键初始化（推荐）

python3 "$SKILL_PATH/scripts/videogen.py" init --skill-name seedance-audio-reference-to-video

脚本会自动打开 AI Hive 页面，引导登录、新建并复制 API Key，然后写入 ~/.ai-hive/config.json（权限 0600）。

3. 手动获取 API Key（备选）

访问 https://ai-hive.iclip.cn/chat
使用手机号和短信验证码登录
点击左下角账户菜单
点击「API 接入」
输入名称并点击「新建 API Key」
复制完整 Key（格式为 sk-api-*）

4. 手动配置 API Key（备选）

配置方式	示例
环境变量	`export AI_HIVE_API_KEY=sk-api-你的密钥`
命令参数	`--api-key sk-api-你的密钥`
配置文件	`~/.ai-hive/config.json`

5. 验证配置

运行一个带 --no-download 的最简任务；返回 taskId 即配置成功。

使用指南

提示词结构

按“主体与场景 → 动作顺序 → 相机运动 → 光线风格 → 声音 → 限制 → 输出规格”组织提示词。区分主体动作和镜头动作，避免互相矛盾。

模型与价格

脚本先查询实时模型列表，再从同一模型和路由提取 pricingSnapshot。价格以提交当次返回为准，不写死固定优惠。

任务管理

生成调用返回 taskId 后只轮询原任务。本地超时不等于生成失败，不要重复提交可能已经计费的任务。

媒体上传

脚本自动执行上传凭证、对象存储上传和完成确认。媒体限制以实时 videoConfig 为准。

命令速查

命令	功能
`videogen.py generate --mode r2v --prompt "描述"`	执行本 Skill
`videogen.py task --task-id <id>`	查询任务
`videogen.py upload --file media.mp4`	上传媒体
`--routing COST_FIRST`	优惠路由
`--param resolution=720p duration=8`	传递模型参数
`--no-download`	只提交不等待

项目架构

目录结构

seedance-audio-reference-to-video/
├── SKILL.md
├── CHANGELOG.md
├── scripts/
│   └── videogen.py
└── resources/
    └── config.example.json

技术栈

组件	技术
运行环境	Python 3.6+
HTTP 库	requests
API 平台	AI Hive OpenAPI
模型	Seedance 参考音频生视频
输出	MP4 / MOV 或模型实时支持格式

核心模块

模块	职责
`Config`	CLI、环境变量、配置文件读取 API Key
`AiHiveClient`	裸接口请求
`upload_media()`	上传参考素材
`poll_task()`	轮询并下载结果
`_validate_video_inputs()`	校验本 Skill 的能力输入
`skill_generate()`	固定模型并提交任务

模式 → 模型映射

模式	publicModelId
`r2v`	参考生视频

数据流转

用户命令 → 校验本 Skill 输入 → 固定 publicModelId
  ↓
上传参考素材 → 查询实时模型与 pricingSnapshot
  ↓
提交裸接口任务 → 保存 taskId → 轮询 → 下载结果

价格参考

默认使用 COST_FIRST。模型价格与活动会变化，以脚本运行时查询到的实时价格和实际扣费为准。

常见问答

安装相关

Q1：需要 API Key 吗？ 需要，格式为 sk-api-*。

Q2：需要什么依赖？ Python 3 和 requests。

Q3：如何验证？ 用 --no-download 提交最简任务，返回 taskId 即成功。

使用相关

Q4：这个 Skill 会换模型吗？ 不会。模型能力 Skill 固定 publicModelId；多模式模型入口只在同一模型家族内切换。

Q5：参数怎么设置？ 使用 --param key=value，并以实时 videoConfig 为准。

Q6：结果保存在哪里？ 默认 ~/Downloads/AiHive/。

Q7：任务需要多久？ 通常数分钟，取决于队列和复杂度。

Q8：任务超时怎么办？ 保留 taskId，使用 task 继续查询。

Q9：可以批量吗？ 可以逐任务执行；明显高成本批量任务应先确认数量和实时费用。

故障排除

Q10：提示缺少媒体？ 按 Skill 名称提供对应的首帧、图片、视频或音频。

Q11：提示模型不存在？ 后台可能已下线或更名，请先查询实时模型列表。

Q12：提示 401？ 检查 API Key 是否正确、过期或禁用。

Q13：提示 InvalidParameter？ 检查实时 videoConfig 中的格式、数量、时长、比例、分辨率和编码限制。

About