AI 视频生成
AI 视频生成,基于各平台的视频生成模型,支持三种创作类型:
- 视频生成:文生视频、图生视频、首尾帧、参考生视频
- 数字人口播:人物图片 + 驱动音频,生成人物说话的视频
- 动作模仿:人物图片 + 动作视频,让人物模仿视频中的动作
目前接入的是:
| 服务商 | 所属平台 | 模型标识示例 | 创作类型 |
|---|---|---|---|
| 火山方舟 Seedance | 字节跳动(BYTEDANCE) | doubao-seedance-2-0-260128、doubao-seedance-1-0-pro-fast-251015,或推理接入点 ep-xxx | 视频生成 |
| 即梦视频 3.0 | 字节跳动(BYTEDANCE) | jimeng_t2v_v30、jimeng_i2v_first_v30、jimeng_i2v_first_v30_1080、jimeng_i2v_first_tail_v30、jimeng_ti2v_v30_pro | 视频生成 |
| 即梦 OmniHuman | 字节跳动(BYTEDANCE) | realman_avatar_picture_omni20_cvtob(OmniHuman 2.0) | 数字人口播 |
| 即梦 DreamActor | 字节跳动(BYTEDANCE) | jimeng_dream_actor_m1_gen_video_cv、jimeng_dreamactor_m20_gen_video | 动作模仿 |
| 可灵 | 可灵(KLING) | 新版接口 kling-2.6、kling-2.5-turbo、kling-4.0;旧版接口 kling-v2-6 等 | 视频生成 |
| MiniMax 海螺 | MiniMax(MINIMAX) | MiniMax-Hailuo-2.3、MiniMax-Hailuo-2.3-Fast、MiniMax-Hailuo-02、T2V-01、I2V-01、S2V-01 等 | 视频生成 |
| MiniMax H3 | MiniMax(MINIMAX) | MiniMax-H3、MiniMax-H3-Highspeed、MiniMax-H3-Lite、MiniMax-H3-Max | 视频生成 |
| 通义万相 | 阿里巴巴(ALIBABA) | wan2.7-t2v、wan2.7-i2v 开头的模型,以及 wan2.6-t2v、wan2.6-i2v、wanx2.1-t2v-turbo 等 | 视频生成 |
| HappyHorse | 阿里巴巴(ALIBABA) | happyhorse-1.1-t2v、happyhorse-1.1-i2v、happyhorse-1.1-r2v(以及 1.0 版本) | 视频生成 |
| Google Veo | Gemini(GEMINI) | veo-3.1-generate-001、veo-3.1-fast-generate-001、veo-3.1-lite-generate-001 | 视频生成 |
服务商的选择规则:
同一个平台下有多个服务商接口,后端按「平台 + 模型标识」选择,具体可见 yudao-module-ai 模块的 AiVideoServiceImpl、AiVideoUtils 类:
- 字节跳动:
jimeng_开头的模型,以及数字人口播、动作模仿,走即梦 Visual;其余走火山方舟 Seedance - 可灵:
kling-v加数字开头的模型(例如说kling-v2-6)走旧版接口,其余走新版接口 - MiniMax:
MiniMax-H3开头的模型走 v2 接口,其余走海螺 v1 接口 - 阿里巴巴:
happyhorse开头的模型走 HappyHorse,其余走通义万相 - Gemini:只支持
veo-开头的模型,走 Vertex AI
数字人口播、动作模仿只支持字节跳动(即梦)的模型。OmniHuman 1.5(jimeng_realman_avatar_picture_omni_v15)需要先完成主体识别,暂不支持,请使用 OmniHuman 2.0。
「视频生成」类的模型,也用于 《AI 短剧制作》 的镜头视频。
整个功能,涉及到 3 个表:
- 【配置】
ai_api_key:API 密钥表 - 【配置】
ai_model:模型表 - 【视频】
ai_video:视频表
补充说明:
ai_api_key、ai_model 已经在 《功能开启》 讲解,就不重复赘述。
# 1. 前置准备
# 1.1 配置 API 密钥
在 [AI 大模型 -> 控制台 -> API 密钥] 菜单,新增对应平台的密钥:
| 服务商 | 所属平台 | 密钥 | 自定义 API URL |
|---|---|---|---|
| 火山方舟 Seedance | 字节跳动(BYTEDANCE) | 火山方舟的 API Key,可以与豆包对话共用 | 为空时,使用 https://ark.cn-beijing.volces.com |
| 即梦 Visual | 字节跳动(BYTEDANCE) | 火山引擎的 AccessKeyId|SecretAccessKey(签名方式),或 IAM 的 API Key,不是火山方舟的 API Key | 为空时,签名方式使用 https://visual.volcengineapi.com,API Key 方式使用 https://openapi.cv.volces.com |
| 可灵 | 可灵(KLING) | 可灵的 API Key,或 AccessKey|SecretKey。AccessKey|SecretKey 按 JWT 签名,只适用于旧版接口(kling-v 开头的模型) | 为空时,使用 https://api-singapore.klingai.com;国内站的地址,以可灵控制台为准 |
| MiniMax | MiniMax(MINIMAX) | MiniMax 的 API Key | 为空时,使用 https://api.minimax.cn;国际站填写 https://api.minimax.io,两站的密钥不通用 |
| 阿里云百炼 | 阿里巴巴(ALIBABA) | 阿里云百炼的 API Key,可以与通义千问对话共用 | 为空时,使用 https://dashscope.aliyuncs.com;模型、地址、API Key 需要属于同一地域 |
| Google Veo | Gemini(GEMINI) | Google Cloud 的 OAuth 访问令牌,例如说 gcloud auth print-access-token 的输出 | 必填,Vertex AI 地址(包含项目、地域),例如说 https://us-central1-aiplatform.googleapis.com/v1/projects/{项目 ID}/locations/us-central1 |

友情提示:
- 同一平台的不同服务商使用不同的密钥时(例如说字节跳动的火山方舟、即梦),为该平台新建多条密钥,模型配置时选择对应的那一条即可
- Veo 使用 Vertex AI 的正式接口,不使用 Gemini API(
generativelanguage.googleapis.com)。项目不读取服务账号的凭证文件,只使用密钥里填写的访问令牌;访问令牌过期后,需要在 [API 密钥] 菜单更新
# 1.2 配置视频模型
在 [AI 大模型 -> 控制台 -> 模型配置] 菜单,新增视频模型:
- 模型类型:选择「视频」,对应 AiModelTypeEnum 的 VIDEO(
type为 4)。生成时会校验模型必须是视频模型 - 所属平台:字节跳动、可灵、MiniMax、阿里巴巴、Gemini,其它平台不支持视频生成
- API 秘钥:选择同一平台的密钥。密钥的平台与模型的平台不一致时,生成会报错
- 模型标识:见上文的表格。即梦的模型标识,填写即梦接口的
req_key - 模型名字:展示名称,会展示在创作页的模型下拉框里

创作页按模型标识,把模型分到三个页签:
- 「数字人口播」:字节跳动平台,模型标识包含
realman或omni,例如说realman_avatar_picture_omni20_cvtob - 「动作模仿」:字节跳动平台,模型标识包含
dream_actor或dreamactor - 「视频生成」:其余的视频模型
# 1.3 开启定时任务
视频生成都是异步任务,需要定时执行 AiVideoSyncJob 任务(JobHandler 名字为 aiVideoSyncJob),查询服务商的生成结果,把视频转存到项目的文件服务,并把超时的任务更新为已失败。建议每 10 秒执行一次,即 Cron 表达式 0/10 * * * * ?。
在 [基础设施 -> 定时任务] 菜单,新增(或开启)「AI 视频同步 Job」任务即可。具体怎么配置定时任务,可以参考 《定时任务》 文档。未开启时,作品会一直停留在「生成中」。

# 2. 视频创作
前端对应 [AI 大模型 -> AI 视频生成] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/video/index 目录,提供给普通用户使用。
左边是创作面板,顶部有【视频生成】【数字人口播】【动作模仿】三个页签;右边是【我的作品】【公开作品】。后端 HTTP 接口,由 yudao-module-ai 模块的 video 包的 AiVideoController 实现。
# 2.1 视频生成
选择【视频生成】页签,依次填写:
- 服务商、模型:服务商为已开启视频模型的平台,切换服务商时,默认选中它的第一个模型。没有可用模型时,会提示先到 [模型配置] 添加「视频」类型的模型
- 生成方式:「文生」「图生」「首尾帧」「参考」,所选模型不支持的方式置灰
- 输入素材:图生上传首帧图片;首尾帧上传首帧、尾帧图片;参考上传参考图,以及模型支持时的参考视频(mp4、mov,不超过 50MB)、参考音频(mp3、wav,不超过 15MB)。图片不超过 10MB
- 提示词:最多 2000 个字符。文生视频必填;部分模型的其它生成方式也必填,例如说 MiniMax H3 的全部方式、即梦视频 3.0 的图生(3.0 Pro 除外)、Veo 与 HappyHorse 的参考,表单会标记为必填
- 生成参数:按所选模型、生成方式,展示可选的分辨率、比例、时长(秒),以及其它参数,例如说生成音频、水印、随机种子。部分模型的可选分辨率还随时长、生成音频变化(MiniMax 海螺选择 10 秒时只能选 768P,
kling-2.6打开生成音频时只能选 1080p)。切换生成方式、时长、生成音频时,不再可选的分辨率、比例、时长重置为默认值;提交时,只提交所选模型、生成方式支持的参数
填写完成后,点击底部的【开始生成】按钮提交。

表单展示哪些生成方式、参数,由前端 @/views/ai/utils/video.ts 的 #getVideoModelCapability(...) 方法,按「平台 + 模型标识 + 生成方式」推断,只用于表单展示。参数是否合法,最终由后端各服务商的客户端校验,不通过时提示「视频参数不正确:xxx」,并且不会插入记录。
各服务商在表单中开放的能力,如下表所示:
| 服务商 | 生成方式 | 分辨率、比例、时长 | 其它参数 |
|---|---|---|---|
| 火山方舟 Seedance | 按模型标识:t2v 只有文生;i2v 为图生、首尾帧、参考;pro-fast 为文生、图生;Seedance 2.0、2.5 支持全部四种;其余为文生、图生、首尾帧 | 分辨率 720p、480p、1080p(2.0 的 fast、mini 不支持 1080p);比例可选 adaptive,2.5 的图生、首尾帧只能 adaptive;时长 1.x 为 2 ~ 12 秒,2.0 为 4 ~ 15 秒,2.5 为 4 ~ 30 秒 | 水印;1.0 支持随机种子、固定镜头(参考不支持固定镜头);1.5 及以上支持生成音频;2.0、2.5 的参考支持参考图(最多 9 张)、参考视频、参考音频 |
| 即梦视频 3.0 | 按 req_key:t2v 文生;first_tail 首尾帧;ti2v 文生、图生;其余图生 | 只有文生可选比例;时长 5、10 秒 | 随机种子 |
| 可灵 | 文生、图生、首尾帧 | 新版接口:分辨率 720p、1080p(kling-2.6 的首尾帧只支持 1080p),只有文生可选比例,时长 5、10 秒;旧版接口:比例,时长 5、10 秒 | 新版接口:水印,kling-2.6 的文生、图生支持生成音频(打开后分辨率只能选 1080p);旧版接口:反向提示词、生成模式(标准 std、高品质 pro) |
| MiniMax H3 | 文生、图生、首尾帧、参考(参考图最多 9 张,以及参考视频、参考音频) | 分辨率 MiniMax-H3 为 768P、2K,其余为 768P、480P;文生必须指定比例,其它方式可选 adaptive(MiniMax-H3-Lite 的参考除外);时长 MiniMax-H3-Max 为 5 ~ 15 秒,其余为 4 ~ 15 秒 | 只有 MiniMax-H3-Max 支持提示词扩写(关闭、均衡、质量) |
| MiniMax 海螺 | 按模型:MiniMax-Hailuo-2.3 为文生、图生;MiniMax-Hailuo-2.3-Fast 只有图生;MiniMax-Hailuo-02 为文生、图生、首尾帧;T2V-01 系列只有文生;I2V-01 系列只有图生;S2V-01 只有参考(1 张主体参考图) | 时长 6、10 秒,分辨率 768P、1080P(选择 10 秒时只能选 768P,MiniMax-Hailuo-02 的图生另有 512P);T2V-01、I2V-01 系列只有 720P、6 秒;S2V-01 不能指定分辨率、时长 | 优化提示词 |
| 通义万相 | 按模型:wan2.7-t2v 开头为文生,wan2.7-i2v 开头为图生、首尾帧;2.6 及更早的 t2v 为文生,i2v 为图生 | 2.7 的文生:分辨率 720P、1080P,以及比例;2.6 及更早的文生:只有尺寸,例如说 1280*720;图生:只有分辨率,比例跟随首帧;时长 2.5 及以上为 5、10 秒,其余为 5 秒 | 反向提示词、优化提示词、水印、随机种子;2.6 支持镜头类型(单镜头、多镜头,不能关闭优化提示词);wan2.6-i2v-flash 支持生成音频 |
| HappyHorse | 按模型后缀:-t2v 文生,-i2v 图生,-r2v 参考(最多 9 张参考图) | 分辨率 720P、480P、1080P;比例(图生跟随首帧);时长 3 ~ 15 秒 | 水印、随机种子 |
| Google Veo | 文生、图生、首尾帧、参考(最多 3 张参考图,Lite 不支持参考) | 分辨率 720p、1080p,只有 veo-3.1-generate-001 开放 4k;比例 16:9、9:16;时长 4、6、8 秒,参考只支持 8 秒 | 反向提示词、生成音频、随机种子 |
# 2.2 数字人口播
选择【数字人口播】页签,使用即梦 OmniHuman 模型:
- 人物图片:上传人物的图片
- 驱动音频:上传口播的音频(mp3、wav,不超过 15MB),时长限制以所选模型为准
- 提示词:可选,描述人物动作、表情或镜头
数字人口播没有分辨率、比例、时长等生成参数,作品的时长取服务商返回的时长。

# 2.3 动作模仿
选择【动作模仿】页签,使用即梦 DreamActor 模型:
- 人物图片:上传人物的图片
- 动作视频:上传动作视频(mp4、mov,不超过 50MB),人物将模仿视频中的动作,时长限制以所选模型为准
动作模仿没有提示词,也没有其它生成参数。

# 2.4 生成流程
提交后,后端的处理流程如下:
- 校验模型、密钥、创作类型,并在本地构建、校验服务商的请求,通过后插入一条「待处理」的记录
- 提交到服务商,拿到服务商的任务编号后,更新为「生成中」。提交失败时,直接更新为「已失败」;提交结果未知(例如说超时、网络中断)时,同样更新为「已失败」,并提示不要重复提交,不会自动重新提交
- AiVideoSyncJob 定时查询服务商:生成成功的,更新为「转存中」,下载服务商返回的视频,保存到文件服务后,更新为「已完成」。服务商返回的视频地址是临时的,所以必须转存;转存失败时保持「转存中」,下一轮按任务编号重新查询,获得新的地址再转存,不会重新生成
- 服务商确认失败、取消、过期的,更新为「已失败」,并记录失败原因;从创建开始超过 60 分钟仍未完成的,更新为「已失败」,失败原因为“任务超时”
输入素材的地址:
上传的图片、音频、视频,先保存到项目的文件服务,提交时把文件地址交给服务商下载(私有存储会使用预签名地址),所以服务商需要能访问这个地址。
Google Veo 例外:由后端下载图片后,以 base64 提交,并且只支持 PNG、JPEG 图片。
# 2.5 我的作品
在【我的作品】中,以卡片的形式分页展示自己的作品,可以按创作类型筛选。有作品未结束(待处理、生成中、转存中)时,每 5 秒自动刷新;提交新作品后,回到第 1 页。
- 卡片:已完成的直接播放;未结束的展示状态;失败的展示失败原因
- 操作:【详情】【做同款】【删除】(只能删除已结束的作品);已公开的作品展示「已公开」标记

点击【做同款】,会把作品的创作类型、模型、生成方式、提示词和参数带回左侧表单,但不会带回输入素材,需要重新上传。原模型已不可用时,会切换为其它模型;所选模型、生成方式不再支持的参数,重置为默认值。
# 2.6 公开作品
由管理员在【视频管理】中公开的作品,会展示在【公开作品】中,同一租户的其它用户都可以播放、查看详情、做同款。普通用户不能自行公开、撤回。只展示已完成的作品,可以按创作类型、提示词筛选;其它用户的作品,不返回输入素材的地址。
# 2.7 作品详情
点击作品的【详情】,可以查看作品的完整信息:创作类型、状态、服务商、模型、生成方式、提示词、参数、输入文件、失败原因、创建时间、完成时间等。已完成的作品,可以【下载】视频。

# 3. 视频管理
前端对应 [AI 大模型 -> 控制台 -> 视频管理] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/video/manager 目录,提供给管理员使用,查看所有用户的视频记录:
- 筛选:用户、创作类型、平台、状态、是否公开、提示词(模糊匹配)、创建时间
- 列表:视频(已完成的可以点击播放)、用户、创作类型、状态、平台、模型、提示词、时长、是否公开、失败原因等
- 操作:查看详情(额外展示用户、API 密钥、服务商任务编号)、修改是否公开(只有已完成的视频可以公开)、删除(只能删除已结束的视频)


它的后端 HTTP 接口,同样由 AiVideoController 实现:
GET /ai/video/page:获得视频分页,对应权限ai:video:queryGET /ai/video/get:获得视频详情,对应权限ai:video:queryPUT /ai/video/update:修改是否公开,对应权限ai:video:updateDELETE /ai/video/delete:删除视频,对应权限ai:video:delete
而创作页使用的 /ai/video/generate、/ai/video/my-page、/ai/video/public-page、/ai/video/get-detail、/ai/video/delete-my 接口,只操作当前登录用户自己的作品,或已公开的作品。
# 4. 视频表
ai_video:视频表,每次生成一条记录,视频生成、数字人口播、动作模仿三种类型共用。
省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段
CREATE TABLE `ai_video` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`user_id` bigint NOT NULL COMMENT '用户编号',
`type` tinyint NOT NULL COMMENT '创作类型:1 视频生成 2 数字人口播 3 动作模仿',
`mode` varchar(32) NULL COMMENT '生成方式:text / image / first_last / reference,只有视频生成使用',
`platform` varchar(32) NOT NULL COMMENT '平台',
`model_id` bigint NOT NULL COMMENT '模型编号',
`model` varchar(64) NOT NULL COMMENT '模型标识(即梦为 req_key)',
`api_key_id` bigint NOT NULL COMMENT 'API 密钥编号(提交时绑定)',
`prompt` text NULL COMMENT '提示词',
`resolution` varchar(16) NULL COMMENT '分辨率',
`ratio` varchar(16) NULL COMMENT '画面比例',
`duration` int NULL COMMENT '时长(秒):未指定时,完成后取服务商返回的时长',
`options` json NULL COMMENT '生成参数快照',
`input_urls` json NULL COMMENT '输入文件:键为角色,值为文件地址数组',
`status` tinyint NOT NULL COMMENT '状态:10 待处理 20 生成中 30 转存中 40 已完成 50 已失败',
`progress` int NOT NULL DEFAULT 0 COMMENT '进度(0-100)',
`task_id` varchar(128) NULL COMMENT '服务商任务编号',
`error_message` varchar(1024) NULL COMMENT '错误信息',
`finish_time` datetime NULL COMMENT '完成时间',
`video_url` varchar(1024) NULL COMMENT '视频地址(文件服务)',
`cover_url` varchar(1024) NULL COMMENT '封面地址',
`public_status` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否公开',
PRIMARY KEY (`id`),
KEY `idx_user_id` (`user_id`),
KEY `idx_status` (`status`),
KEY `idx_public_status` (`public_status`, `status`)
) ENGINE=InnoDB COMMENT='AI 视频表';
① user_id 字段:对应 system_users 表的 id 字段,表示哪个用户的作品。
type 字段:创作类型,对应 AiVideoTypeEnum 枚举、ai_video_type 字典:1 视频生成、2 数字人口播、3 动作模仿。
mode 字段:生成方式,对应 AiVideoModeEnum 枚举,只有视频生成使用,默认为 text 文生:
| 值 | 生成方式 | 使用的输入角色 |
|---|---|---|
text | 文生视频 | 无 |
image | 图生视频 | first_frame |
first_last | 首尾帧 | first_frame、last_frame |
reference | 参考生视频 | reference_image、reference_video、reference_audio |
② platform、model_id、model、api_key_id 字段:提交时使用的模型和 API 密钥。之后查询生成结果,都使用提交时绑定的 api_key_id,即使模型后来换了密钥也不受影响;密钥只是停用时照常查询,被删除时作品更新为已失败。
③ prompt 字段:提示词,数字人口播可为空,动作模仿没有提示词。
resolution、ratio、duration 字段:分辨率、画面比例、时长(秒),只有视频生成使用,数字人口播、动作模仿不保存。duration 未指定时,完成后取服务商返回的时长。
options 字段:其它生成参数,JSON 格式,对应 AiVideoDO 的 Options 内部类,只有部分服务商支持,「做同款」时会带回表单。包括 size 尺寸(通义万相 2.6 及更早的文生模型)、seed 随机种子、watermark 水印、generateAudio 生成音频、cameraFixed 固定镜头(Seedance 1.0)、negativePrompt 反向提示词、promptExtend 优化提示词、promptExpansionMode 提示词扩写(MiniMax H3-Max)、quality 生成模式(可灵旧版接口)、shotType 镜头类型(通义万相 2.6)。
input_urls 字段:输入文件,JSON 格式,例如说 {"first_frame":["..."]}。键为 AiVideoInputRoleEnum 枚举的角色:first_frame 首帧、last_frame 尾帧、reference_image 参考图、reference_video 参考视频、reference_audio 参考音频、image 人物图片、audio 驱动音频、video 动作视频;值为文件服务的地址数组。提交时,只保留创作类型、生成方式使用的角色。
④ status 字段:状态,对应 AiVideoStatusEnum 枚举、ai_video_status 字典,流程见「2.4 生成流程」小节:
| 值 | 状态 | 说明 |
|---|---|---|
| 10 | 待处理 | 已插入记录,还没拿到服务商的任务编号 |
| 20 | 生成中 | 已提交服务商,task_id 非空,等待 AiVideoSyncJob 查询 |
| 30 | 转存中 | 服务商已生成成功,等待转存到文件服务 |
| 40 | 已完成 | 视频已转存到文件服务 |
| 50 | 已失败 | 提交失败、服务商确认失败,或超时 |
所有状态的更新,都只针对仍处于对应状态的记录,避免覆盖其它执行者的结果。
progress 字段:进度(0-100),完成时置为 100。
task_id 字段:服务商的任务编号,用于查询生成结果。
error_message 字段:错误信息,失败时记录失败原因。
finish_time 字段:完成时间,已完成、已失败时记录。
⑤ video_url 字段:视频地址,存储转存到文件服务后的地址,不保存服务商的临时地址。
cover_url 字段:封面地址。
public_status 字段:是否公开,默认为 false 不公开。只能由管理员在【视频管理】中公开,且只有已完成的作品可以公开,公开后展示在【公开作品】中。
最最最关键的代码!!!大家可以重点看看!!!
- AiVideoServiceImpl:提交、查询、转存、超时的实现,以及按平台、模型选择服务商的客户端
- AiVideoUtils(
util包):输入文件的过滤、服务商的路由判断、客户端的创建 framework/ai/core/video包:各服务商的客户端,例如说 DouBaoSeedanceVideoApi、JimengVisualApi、KlingVideoApi、MiniMaxH3VideoApi、MiniMaxHailuoVideoApi、TongYiWanVideoApi、HappyHorseVideoApi、VertexVeoVideoApi- 前端
@/views/ai/utils/video.ts:各模型的表单能力
// TODO DONE @AI:下面不需要把?实际都没写把。(已删除代码位置汇总表,其它教程没有这张表;关键代码见上方的提示)