ruoyi-vue-pro 开发指南 ruoyi-vue-pro 开发指南
  • 萌新必读
  • 后端手册
  • 中间件手册
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
  • 运维手册
  • 前端手册 Vue 3.x
  • 前端手册 Vben 5.x
  • 前端手册 Vue 2.x
  • 前端手册 Admin Uniapp
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
视频教程
  • Vue3 + element-plus (opens new window)
  • Vue3 + vben5(ant-design-vue、element-plus) (opens new window)
  • Vue2 + element-ui (opens new window)
微服务版 (opens new window)
作者博客 (opens new window)
GitHub (opens new window)
  • 萌新必读
  • 后端手册
  • 中间件手册
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
  • 运维手册
  • 前端手册 Vue 3.x
  • 前端手册 Vben 5.x
  • 前端手册 Vue 2.x
  • 前端手册 Admin Uniapp
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
视频教程
  • Vue3 + element-plus (opens new window)
  • Vue3 + vben5(ant-design-vue、element-plus) (opens new window)
  • Vue2 + element-ui (opens new window)
微服务版 (opens new window)
作者博客 (opens new window)
GitHub (opens new window)
  • 萌新必读

    • 简介
    • 交流群
    • 视频教程
    • 功能列表
    • 快速启动(后端项目)
    • 快速启动(前端项目)
    • 接口文档
    • 技术选型
    • 项目结构
    • 代码热加载
    • 一键改包
    • 迁移模块(适合新项目)
    • 删除功能(以租户为例)
    • 表结构变更(版本升级)
    • 国产信创数据库(DM 达梦、大金、OpenGauss、瀚高、OceanBase、TiDB、GaussDB、PolarDB、神通、Vastbase、MogDB、TongRDS、CacheDB)
    • 如何去除 Redis 缓存
    • 面试题、简历模版、简历优化
    • 项目外包
    • 文档 MCP
  • 后端手册

    • 新建模块
    • 代码生成【单表】(新增功能)
    • 代码生成【主子表】
    • 代码生成(树表)
    • 代码生成(移动端)
    • 功能权限
    • 数据权限
    • 用户体系
    • 三方登录
    • OAuth 2.0(SSO 单点登录)
    • SaaS 多租户【字段隔离】
    • SaaS 多租户【数据库隔离】
    • WebSocket 实时通信
    • 异常处理(错误码)
    • 参数校验、时间传参
    • 分页实现
    • VO 对象转换、数据翻译
    • 文件存储(上传下载)
    • Excel 导入导出
    • 操作日志、访问日志、异常日志
    • MyBatis 数据库
    • MyBatis 联表&分页查询
    • 多数据源(读写分离)、事务
    • Redis 缓存
    • 本地缓存
    • 异步任务
    • 分布式锁
    • 幂等性(防重复提交)
    • 请求限流(RateLimiter)
    • HTTP 接口签名(防篡改)
    • HTTP 接口加解密
    • 单元测试
    • 验证码
    • 工具类 Util
    • 配置管理
    • 数据库文档
  • 中间件手册

    • 定时任务
    • 消息队列(内存)
    • 消息队列(Redis)
    • 消息队列(RocketMQ)
    • 消息队列(RabbitMQ)
    • 消息队列(Kafka)
    • 限流熔断
    • 分库分表
    • 分布式事务
  • 工作流手册

    • 工作流演示
    • 功能开启
    • 工作流(达梦适配)
    • 审批接入(流程表单)
    • 审批接入(业务表单)
    • 流程设计器(BPMN)
    • 流程设计器(钉钉、飞书)
    • 选择审批人、发起人自选
    • 会签、或签、依次审批
    • 流程发起、取消、重新发起
    • 审批通过、不通过、驳回
    • 审批加签、减签
    • 审批转办、委派、抄送
    • 执行监听器、任务监听器
    • 流程表达式
    • 流程审批通知
    • 移动端审批
  • 报表与大屏手册

    • 功能总览
    • UReport2 报表
    • 积木报表与仪表盘
    • GoView 大屏
  • 支付手册

    • 功能开启
    • 支付宝支付接入
    • 微信公众号支付接入
    • 微信小程序支付接入
    • 支付宝、微信退款接入
    • 支付宝转账接入
    • 微信转账接入
    • 钱包充值、支付、退款
    • 模拟支付、退款
    • 移动端支付管理
  • 会员手册

    • 功能开启
    • 微信公众号登录
    • 微信小程序登录
    • 微信小程序订阅消息
    • 微信小程序码
    • 会员用户、标签、分组
    • 会员等级、积分、签到
    • 移动端会员管理
  • 商城手册

    • 商城演示
    • 功能开启
    • 商城装修
    • 在线客服
    • 【商品】商品分类
    • 【商品】商品属性
    • 【商品】商品 SPU 与 SKU
    • 【商品】商品评价
    • 【交易】购物车
    • 【交易】交易订单
    • 【交易】售后退款
    • 【交易】快递发货
    • 【交易】门店自提
    • 【交易】分销返佣
    • 【营销】优惠劵
    • 【营销】积分商城
    • 【营销】拼团活动
    • 【营销】秒杀活动
    • 【营销】砍价活动
    • 【营销】满减送活动
    • 【营销】限时折扣
    • 【营销】内容管理
    • 【统计】会员、商品、交易统计
    • 移动端商城管理
  • ERP手册

    • ERP 演示
    • 功能开启
    • 【产品】产品信息、分类、单位
    • 【库存】产品库存、库存明细
    • 【库存】其它入库、其它出库
    • 【库存】库存调拨、库存盘点
    • 【采购】采购订单、入库、退货
    • 【销售】销售订单、出库、退货
    • 【财务】采购付款、销售收款
    • 移动端 ERP
  • CRM手册

    • CRM 演示
    • 功能开启
    • 【线索】线索管理
    • 【客户】客户管理、公海客户
    • 【商机】商机管理、商机状态
    • 【合同】合同管理、合同提醒
    • 【回款】回款管理、回款计划
    • 【产品】产品管理、产品分类
    • 【通用】数据权限
    • 【通用】跟进记录、待办事项
    • 移动端 CRM
  • AI大模型手册

    • AI 大模型演示
    • 功能开启
    • AI 对话
    • AI 知识库
    • AI 工作流
    • AI 图片生成
    • AI 图片识别
    • AI 音乐生成
    • AI 语音生成
    • AI 语音识别
    • AI PPT 生成
    • AI 写作翻译
    • AI 思维导图
    • AI 工具(function calling)
    • Dify 工作流
    • FastGPT 工作流
    • Coze 智能体
    • AI 短剧制作
    • 推理模式(thinking)
    • 联网搜索
    • Skills 技能
    • MCP Client 客户端
    • MCP Server 服务端
    • 请求日志与 Token 用量
    • 【模型接入】Claude
    • 【模型接入】OpenAI
    • 【模型接入】谷歌 Gemini
    • 【模型接入】Grok
    • 【模型接入】通义千问
    • 【模型接入】DeepSeek
    • 【模型接入】字节豆包
    • 【模型接入】智谱 GLM
    • 【模型接入】月之暗面 Kimi
    • 【模型接入】MiniMax
    • 【模型接入】腾讯混元
    • 【模型接入】小米 MiMo
    • 【模型接入】硅基流动
    • 【模型接入】百川智能
    • 【模型接入】文心一言
    • 【模型接入】阶跃星辰
    • 【模型接入】讯飞星火
    • 【模型接入】LLAMA
    • 【模型接入】微软 OpenAI
    • 【模型接入】Stable Diffusion
    • 【模型接入】Midjourney
    • 【模型接入】Suno
    • 移动端 AI 大模型
  • IoT物联网手册

    • 功能开启
    • 产品管理
    • 设备管理
    • 物模型配置
    • 设备网关与子设备
    • 设备动态注册
    • 设备影子
    • 消息透传与数据解析
    • 设备接入(概述)
    • 设备接入(HTTP 协议)
    • 设备接入(MQTT 协议)
    • 设备接入(EMQX 协议)
    • 设备接入(TCP 协议)
    • 设备接入(UDP 协议)
    • 设备接入(WebSocket 协议)
    • 设备接入(CoAP 协议)
    • 设备接入(Modbus Client 模式)
    • 设备接入(Modbus Server 模式)
    • 设备接入(自定义协议)
    • 场景联动
    • 数据流转
    • 告警配置
    • OTA 固件升级
    • 移动端 IoT 物联网
    • 设备网关合并部署
  • MES手册

    • MES 演示
    • 功能开启
    • 【基础】物料产品、分类、计量单位
    • 【基础】客户管理、供应商管理
    • 【基础】车间设置、工作站设置
    • 【基础】编码规则
    • 【生产】工序设置、工艺流程
    • 【生产】生产工单
    • 【生产】生产排产、工序流转卡
    • 【生产】生产报工
    • 【生产】安灯配置、安灯呼叫
    • 【生产】工作记录
    • 【仓库】仓库与库区库位、条码赋码、SN码
    • 【仓库】批次管理、库存现有量、库存事务
    • 【仓库】到货通知、采购入库、采购退货
    • 【仓库】生产领料、生产退料、物料消耗
    • 【仓库】产品产出、产品入库
    • 【仓库】发货通知、销售出库、销售退货
    • 【仓库】外协发料、外协入库
    • 【仓库】其他入库、其他出库
    • 【仓库】调拨单、装箱管理
    • 【仓库】库存盘点
    • 【质量】检测项设置、常见缺陷
    • 【质量】质检方案
    • 【质量】来料检验(IQC)
    • 【质量】过程检验(IPQC)
    • 【质量】出货检验(OQC)
    • 【质量】退货检验(RQC)
    • 【质量】待检任务、检验结果、缺陷记录
    • 【设备】设备类型、设备台账
    • 【设备】点检保养项目、点检保养方案
    • 【设备】点检记录、保养记录、维修单
    • 【工具】工具类型、工装夹具台账
    • 【排班】班组设置、节假日设置
    • 【排班】排班计划、排班日历
    • 移动端 MES
  • WMS手册

    • WMS 演示
    • 功能开启
    • 【基础】仓库
    • 【基础】商品、SKU、分类、品牌
    • 【基础】往来企业(供应商、客户)
    • 【库存】库存记录、流水、统计
    • 【单据】入库
    • 【单据】出库
    • 【单据】移库
    • 【单据】盘库
    • 【其它】WMS、MES、ERP 对比
    • 移动端 WMS
  • HRM人力资源

    • HRM 演示
    • 功能开启
    • 【组织】工作台、组织架构
    • 【员工】员工管理
    • 【招聘】招聘管理
    • 【考勤】考勤管理
    • 【社保】社保管理
    • 【薪资】计薪设置、薪资档案
    • 【薪资】月度工资、工资条
    • 【绩效】绩效模板、绩效计划
    • 【绩效】绩效考核、绩效档案
    • 移动端 HRM
  • FMS财务管理

    • FMS 演示
    • 功能开启
    • 【设置】账套管理、财务参数、财务指标
    • 【设置】币别、科目、辅助核算、初始余额
    • 【设置】凭证字、常用摘要、凭证模板
    • 【凭证】凭证管理
    • 【账簿】账簿管理
    • 【报表】财务报表
    • 【结账】期末结账
    • 移动端 FMS
  • PMS项目管理

    • PMS 演示
    • 功能开启
    • 【项目中心】工作台与项目管理
    • 【项目中心】项目详情与迭代
    • 【项目中心】工作项与协作
    • 【知识中心】知识库管理
    • 【知识中心】文档与协作
    • 移动端 PMS
  • OA协同办公

    • OA 演示
    • 功能开启
    • 【协作】日程、任务、计划与汇报
    • 【协作】公告、讨论、通讯录与笔记
    • 【办公】企业邮箱
    • 【办公】企业云盘
    • 【行政】办公用品、用印管理
    • 【行政】会议室、车辆管理
    • 【流程】公文管理
    • 【流程】出差、费用报销
    • 【流程】考勤、请假、加班、转正与离职
    • 移动端 OA
  • IM即时通讯手册

    • IM 演示
    • 功能开启
    • 【好友】好友关系、好友申请
    • 【群聊】群组、群成员、入群申请
    • 【消息】私聊、群聊、频道消息
    • 【频道】频道、频道素材
    • 【内容】表情、敏感词
    • 【通话】语音通话、视频通话、共享屏幕
    • 【WebSocket】实时推送与离线消息
    • 移动端 IM 即时通讯
  • 公众号手册

    • 功能开启
    • 公众号接入
    • 公众号粉丝
    • 公众号标签
    • 公众号消息
    • 模版消息
    • 自动回复
    • 公众号菜单
    • 公众号素材
    • 公众号图文
    • 公众号统计
    • 移动端公众号管理
  • 系统手册

    • 短信配置
    • 邮件配置
    • 站内信配置
    • Webhook(钉钉、飞书、企微)
    • 数据脱敏、字段权限
    • 敏感词
    • 地区 & IP 库
  • 运维手册

    • 开发环境
    • Linux 部署
    • Docker 部署
    • Jenkins 部署
    • 宝塔部署
    • 1Panel 部署
    • Docker Compose 部署
    • Kubernetes 部署
    • HTTPS 证书
    • 服务监控
    • 生产环境安全
    • Tomcat WAR 部署
    • 东方通服务器部署(TongWeb、TongHttpServer)
    • 宝兰德服务器部署(BES AppServer)
    • 内网穿透
  • 前端手册 Vue 3.x

    • 开发规范
    • 菜单路由
    • Icon 图标
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
    • CRUD 组件
    • 国际化
    • IDE 调试
    • 代码格式化
  • 前端手册 Vben 5.x

    • 开发规范
    • 菜单路由
    • 图标、主题、国际化
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
    • IDE 调试
    • 代码格式化
  • 前端手册 Vue 2.x

    • 开发规范
    • 菜单路由
    • Icon 图标
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
  • 前端手册 Admin Uniapp

    • 开发规范
    • 菜单路由
    • 图标、主题、国际化
    • 字典数据
    • 系统组件
    • 通用方法
    • IDE 调试
    • 代码格式化
    • 运行发布
  • 更新日志

    • 【v2026-11】
    • 【v2026-10】
    • 【v2026-09】
    • 【v2026-08】
    • 【v2026-07】
    • 【v2026-06】
    • 【v2026-05】
    • 【v2026-04】
    • 【v2026-03】
    • 【v2026-01】
    • 【v2025-12】
    • 【v2025-11】
    • 【v2025-10】
    • 【v2025-09】
    • 【v2025-08】
  • 开发指南
  • AI大模型手册
芋道源码
2026-11-14
目录

AI 视频生成

AI 视频生成,基于各平台的视频生成模型,支持三种创作类型:

  • 视频生成:文生视频、图生视频、首尾帧、参考生视频
  • 数字人口播:人物图片 + 驱动音频,生成人物说话的视频
  • 动作模仿:人物图片 + 动作视频,让人物模仿视频中的动作

目前接入的是:

服务商 所属平台 模型标识示例 创作类型
火山方舟 Seedance 字节跳动(BYTEDANCE) doubao-seedance-2-0-260128、doubao-seedance-1-0-pro-fast-251015,或推理接入点 ep-xxx 视频生成
即梦视频 3.0 字节跳动(BYTEDANCE) jimeng_t2v_v30、jimeng_i2v_first_v30、jimeng_i2v_first_v30_1080、jimeng_i2v_first_tail_v30、jimeng_ti2v_v30_pro 视频生成
即梦 OmniHuman 字节跳动(BYTEDANCE) realman_avatar_picture_omni20_cvtob(OmniHuman 2.0) 数字人口播
即梦 DreamActor 字节跳动(BYTEDANCE) jimeng_dream_actor_m1_gen_video_cv、jimeng_dreamactor_m20_gen_video 动作模仿
可灵 可灵(KLING) 新版接口 kling-2.6、kling-2.5-turbo、kling-4.0;旧版接口 kling-v2-6 等 视频生成
MiniMax 海螺 MiniMax(MINIMAX) MiniMax-Hailuo-2.3、MiniMax-Hailuo-2.3-Fast、MiniMax-Hailuo-02、T2V-01、I2V-01、S2V-01 等 视频生成
MiniMax H3 MiniMax(MINIMAX) MiniMax-H3、MiniMax-H3-Highspeed、MiniMax-H3-Lite、MiniMax-H3-Max 视频生成
通义万相 阿里巴巴(ALIBABA) wan2.7-t2v、wan2.7-i2v 开头的模型,以及 wan2.6-t2v、wan2.6-i2v、wanx2.1-t2v-turbo 等 视频生成
HappyHorse 阿里巴巴(ALIBABA) happyhorse-1.1-t2v、happyhorse-1.1-i2v、happyhorse-1.1-r2v(以及 1.0 版本) 视频生成
Google Veo Gemini(GEMINI) veo-3.1-generate-001、veo-3.1-fast-generate-001、veo-3.1-lite-generate-001 视频生成

服务商的选择规则:

同一个平台下有多个服务商接口,后端按「平台 + 模型标识」选择,具体可见 yudao-module-ai 模块的 AiVideoServiceImpl、AiVideoUtils 类:

  • 字节跳动:jimeng_ 开头的模型,以及数字人口播、动作模仿,走即梦 Visual;其余走火山方舟 Seedance
  • 可灵:kling-v 加数字开头的模型(例如说 kling-v2-6)走旧版接口,其余走新版接口
  • MiniMax:MiniMax-H3 开头的模型走 v2 接口,其余走海螺 v1 接口
  • 阿里巴巴:happyhorse 开头的模型走 HappyHorse,其余走通义万相
  • Gemini:只支持 veo- 开头的模型,走 Vertex AI

数字人口播、动作模仿只支持字节跳动(即梦)的模型。OmniHuman 1.5(jimeng_realman_avatar_picture_omni_v15)需要先完成主体识别,暂不支持,请使用 OmniHuman 2.0。

「视频生成」类的模型,也用于 《AI 短剧制作》 的镜头视频。

整个功能,涉及到 3 个表:

  • 【配置】ai_api_key:API 密钥表
  • 【配置】ai_model:模型表
  • 【视频】ai_video:视频表

补充说明:

ai_api_key、ai_model 已经在 《功能开启》 讲解,就不重复赘述。

# 1. 前置准备

# 1.1 配置 API 密钥

在 [AI 大模型 -> 控制台 -> API 密钥] 菜单,新增对应平台的密钥:

服务商 所属平台 密钥 自定义 API URL
火山方舟 Seedance 字节跳动(BYTEDANCE) 火山方舟的 API Key,可以与豆包对话共用 为空时,使用 https://ark.cn-beijing.volces.com
即梦 Visual 字节跳动(BYTEDANCE) 火山引擎的 AccessKeyId|SecretAccessKey(签名方式),或 IAM 的 API Key,不是火山方舟的 API Key 为空时,签名方式使用 https://visual.volcengineapi.com,API Key 方式使用 https://openapi.cv.volces.com
可灵 可灵(KLING) 可灵的 API Key,或 AccessKey|SecretKey。AccessKey|SecretKey 按 JWT 签名,只适用于旧版接口(kling-v 开头的模型) 为空时,使用 https://api-singapore.klingai.com;国内站的地址,以可灵控制台为准
MiniMax MiniMax(MINIMAX) MiniMax 的 API Key 为空时,使用 https://api.minimax.cn;国际站填写 https://api.minimax.io,两站的密钥不通用
阿里云百炼 阿里巴巴(ALIBABA) 阿里云百炼的 API Key,可以与通义千问对话共用 为空时,使用 https://dashscope.aliyuncs.com;模型、地址、API Key 需要属于同一地域
Google Veo Gemini(GEMINI) Google Cloud 的 OAuth 访问令牌,例如说 gcloud auth print-access-token 的输出 必填,Vertex AI 地址(包含项目、地域),例如说 https://us-central1-aiplatform.googleapis.com/v1/projects/{项目 ID}/locations/us-central1

API 密钥配置

友情提示:

  • 同一平台的不同服务商使用不同的密钥时(例如说字节跳动的火山方舟、即梦),为该平台新建多条密钥,模型配置时选择对应的那一条即可
  • Veo 使用 Vertex AI 的正式接口,不使用 Gemini API(generativelanguage.googleapis.com)。项目不读取服务账号的凭证文件,只使用密钥里填写的访问令牌;访问令牌过期后,需要在 [API 密钥] 菜单更新

# 1.2 配置视频模型

在 [AI 大模型 -> 控制台 -> 模型配置] 菜单,新增视频模型:

  • 模型类型:选择「视频」,对应 AiModelTypeEnum 的 VIDEO(type 为 4)。生成时会校验模型必须是视频模型
  • 所属平台:字节跳动、可灵、MiniMax、阿里巴巴、Gemini,其它平台不支持视频生成
  • API 秘钥:选择同一平台的密钥。密钥的平台与模型的平台不一致时,生成会报错
  • 模型标识:见上文的表格。即梦的模型标识,填写即梦接口的 req_key
  • 模型名字:展示名称,会展示在创作页的模型下拉框里

视频模型配置

创作页按模型标识,把模型分到三个页签:

  • 「数字人口播」:字节跳动平台,模型标识包含 realman 或 omni,例如说 realman_avatar_picture_omni20_cvtob
  • 「动作模仿」:字节跳动平台,模型标识包含 dream_actor 或 dreamactor
  • 「视频生成」:其余的视频模型

# 1.3 开启定时任务

视频生成都是异步任务,需要定时执行 AiVideoSyncJob 任务(JobHandler 名字为 aiVideoSyncJob),查询服务商的生成结果,把视频转存到项目的文件服务,并把超时的任务更新为已失败。建议每 10 秒执行一次,即 Cron 表达式 0/10 * * * * ?。

在 [基础设施 -> 定时任务] 菜单,新增(或开启)「AI 视频同步 Job」任务即可。具体怎么配置定时任务,可以参考 《定时任务》 文档。未开启时,作品会一直停留在「生成中」。

定时任务

# 2. 视频创作

前端对应 [AI 大模型 -> AI 视频生成] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/video/index 目录,提供给普通用户使用。

左边是创作面板,顶部有【视频生成】【数字人口播】【动作模仿】三个页签;右边是【我的作品】【公开作品】。后端 HTTP 接口,由 yudao-module-ai 模块的 video 包的 AiVideoController 实现。

# 2.1 视频生成

选择【视频生成】页签,依次填写:

  • 服务商、模型:服务商为已开启视频模型的平台,切换服务商时,默认选中它的第一个模型。没有可用模型时,会提示先到 [模型配置] 添加「视频」类型的模型
  • 生成方式:「文生」「图生」「首尾帧」「参考」,所选模型不支持的方式置灰
  • 输入素材:图生上传首帧图片;首尾帧上传首帧、尾帧图片;参考上传参考图,以及模型支持时的参考视频(mp4、mov,不超过 50MB)、参考音频(mp3、wav,不超过 15MB)。图片不超过 10MB
  • 提示词:最多 2000 个字符。文生视频必填;部分模型的其它生成方式也必填,例如说 MiniMax H3 的全部方式、即梦视频 3.0 的图生(3.0 Pro 除外)、Veo 与 HappyHorse 的参考,表单会标记为必填
  • 生成参数:按所选模型、生成方式,展示可选的分辨率、比例、时长(秒),以及其它参数,例如说生成音频、水印、随机种子。部分模型的可选分辨率还随时长、生成音频变化(MiniMax 海螺选择 10 秒时只能选 768P,kling-2.6 打开生成音频时只能选 1080p)。切换生成方式、时长、生成音频时,不再可选的分辨率、比例、时长重置为默认值;提交时,只提交所选模型、生成方式支持的参数

填写完成后,点击底部的【开始生成】按钮提交。

视频生成

表单展示哪些生成方式、参数,由前端 @/views/ai/utils/video.ts 的 #getVideoModelCapability(...) 方法,按「平台 + 模型标识 + 生成方式」推断,只用于表单展示。参数是否合法,最终由后端各服务商的客户端校验,不通过时提示「视频参数不正确:xxx」,并且不会插入记录。

各服务商在表单中开放的能力,如下表所示:

服务商 生成方式 分辨率、比例、时长 其它参数
火山方舟 Seedance 按模型标识:t2v 只有文生;i2v 为图生、首尾帧、参考;pro-fast 为文生、图生;Seedance 2.0、2.5 支持全部四种;其余为文生、图生、首尾帧 分辨率 720p、480p、1080p(2.0 的 fast、mini 不支持 1080p);比例可选 adaptive,2.5 的图生、首尾帧只能 adaptive;时长 1.x 为 2 ~ 12 秒,2.0 为 4 ~ 15 秒,2.5 为 4 ~ 30 秒 水印;1.0 支持随机种子、固定镜头(参考不支持固定镜头);1.5 及以上支持生成音频;2.0、2.5 的参考支持参考图(最多 9 张)、参考视频、参考音频
即梦视频 3.0 按 req_key:t2v 文生;first_tail 首尾帧;ti2v 文生、图生;其余图生 只有文生可选比例;时长 5、10 秒 随机种子
可灵 文生、图生、首尾帧 新版接口:分辨率 720p、1080p(kling-2.6 的首尾帧只支持 1080p),只有文生可选比例,时长 5、10 秒;旧版接口:比例,时长 5、10 秒 新版接口:水印,kling-2.6 的文生、图生支持生成音频(打开后分辨率只能选 1080p);旧版接口:反向提示词、生成模式(标准 std、高品质 pro)
MiniMax H3 文生、图生、首尾帧、参考(参考图最多 9 张,以及参考视频、参考音频) 分辨率 MiniMax-H3 为 768P、2K,其余为 768P、480P;文生必须指定比例,其它方式可选 adaptive(MiniMax-H3-Lite 的参考除外);时长 MiniMax-H3-Max 为 5 ~ 15 秒,其余为 4 ~ 15 秒 只有 MiniMax-H3-Max 支持提示词扩写(关闭、均衡、质量)
MiniMax 海螺 按模型:MiniMax-Hailuo-2.3 为文生、图生;MiniMax-Hailuo-2.3-Fast 只有图生;MiniMax-Hailuo-02 为文生、图生、首尾帧;T2V-01 系列只有文生;I2V-01 系列只有图生;S2V-01 只有参考(1 张主体参考图) 时长 6、10 秒,分辨率 768P、1080P(选择 10 秒时只能选 768P,MiniMax-Hailuo-02 的图生另有 512P);T2V-01、I2V-01 系列只有 720P、6 秒;S2V-01 不能指定分辨率、时长 优化提示词
通义万相 按模型:wan2.7-t2v 开头为文生,wan2.7-i2v 开头为图生、首尾帧;2.6 及更早的 t2v 为文生,i2v 为图生 2.7 的文生:分辨率 720P、1080P,以及比例;2.6 及更早的文生:只有尺寸,例如说 1280*720;图生:只有分辨率,比例跟随首帧;时长 2.5 及以上为 5、10 秒,其余为 5 秒 反向提示词、优化提示词、水印、随机种子;2.6 支持镜头类型(单镜头、多镜头,不能关闭优化提示词);wan2.6-i2v-flash 支持生成音频
HappyHorse 按模型后缀:-t2v 文生,-i2v 图生,-r2v 参考(最多 9 张参考图) 分辨率 720P、480P、1080P;比例(图生跟随首帧);时长 3 ~ 15 秒 水印、随机种子
Google Veo 文生、图生、首尾帧、参考(最多 3 张参考图,Lite 不支持参考) 分辨率 720p、1080p,只有 veo-3.1-generate-001 开放 4k;比例 16:9、9:16;时长 4、6、8 秒,参考只支持 8 秒 反向提示词、生成音频、随机种子

# 2.2 数字人口播

选择【数字人口播】页签,使用即梦 OmniHuman 模型:

  • 人物图片:上传人物的图片
  • 驱动音频:上传口播的音频(mp3、wav,不超过 15MB),时长限制以所选模型为准
  • 提示词:可选,描述人物动作、表情或镜头

数字人口播没有分辨率、比例、时长等生成参数,作品的时长取服务商返回的时长。

数字人口播

# 2.3 动作模仿

选择【动作模仿】页签,使用即梦 DreamActor 模型:

  • 人物图片:上传人物的图片
  • 动作视频:上传动作视频(mp4、mov,不超过 50MB),人物将模仿视频中的动作,时长限制以所选模型为准

动作模仿没有提示词,也没有其它生成参数。

动作模仿

# 2.4 生成流程

提交后,后端的处理流程如下:

  • 校验模型、密钥、创作类型,并在本地构建、校验服务商的请求,通过后插入一条「待处理」的记录
  • 提交到服务商,拿到服务商的任务编号后,更新为「生成中」。提交失败时,直接更新为「已失败」;提交结果未知(例如说超时、网络中断)时,同样更新为「已失败」,并提示不要重复提交,不会自动重新提交
  • AiVideoSyncJob 定时查询服务商:生成成功的,更新为「转存中」,下载服务商返回的视频,保存到文件服务后,更新为「已完成」。服务商返回的视频地址是临时的,所以必须转存;转存失败时保持「转存中」,下一轮按任务编号重新查询,获得新的地址再转存,不会重新生成
  • 服务商确认失败、取消、过期的,更新为「已失败」,并记录失败原因;从创建开始超过 60 分钟仍未完成的,更新为「已失败」,失败原因为“任务超时”

输入素材的地址:

上传的图片、音频、视频,先保存到项目的文件服务,提交时把文件地址交给服务商下载(私有存储会使用预签名地址),所以服务商需要能访问这个地址。

Google Veo 例外:由后端下载图片后,以 base64 提交,并且只支持 PNG、JPEG 图片。

# 2.5 我的作品

在【我的作品】中,以卡片的形式分页展示自己的作品,可以按创作类型筛选。有作品未结束(待处理、生成中、转存中)时,每 5 秒自动刷新;提交新作品后,回到第 1 页。

  • 卡片:已完成的直接播放;未结束的展示状态;失败的展示失败原因
  • 操作:【详情】【做同款】【删除】(只能删除已结束的作品);已公开的作品展示「已公开」标记

我的作品

点击【做同款】,会把作品的创作类型、模型、生成方式、提示词和参数带回左侧表单,但不会带回输入素材,需要重新上传。原模型已不可用时,会切换为其它模型;所选模型、生成方式不再支持的参数,重置为默认值。

# 2.6 公开作品

由管理员在【视频管理】中公开的作品,会展示在【公开作品】中,同一租户的其它用户都可以播放、查看详情、做同款。普通用户不能自行公开、撤回。只展示已完成的作品,可以按创作类型、提示词筛选;其它用户的作品,不返回输入素材的地址。

# 2.7 作品详情

点击作品的【详情】,可以查看作品的完整信息:创作类型、状态、服务商、模型、生成方式、提示词、参数、输入文件、失败原因、创建时间、完成时间等。已完成的作品,可以【下载】视频。

作品详情

# 3. 视频管理

前端对应 [AI 大模型 -> 控制台 -> 视频管理] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/video/manager 目录,提供给管理员使用,查看所有用户的视频记录:

  • 筛选:用户、创作类型、平台、状态、是否公开、提示词(模糊匹配)、创建时间
  • 列表:视频(已完成的可以点击播放)、用户、创作类型、状态、平台、模型、提示词、时长、是否公开、失败原因等
  • 操作:查看详情(额外展示用户、API 密钥、服务商任务编号)、修改是否公开(只有已完成的视频可以公开)、删除(只能删除已结束的视频)

视频管理

视频管理详情

它的后端 HTTP 接口,同样由 AiVideoController 实现:

  • GET /ai/video/page:获得视频分页,对应权限 ai:video:query
  • GET /ai/video/get:获得视频详情,对应权限 ai:video:query
  • PUT /ai/video/update:修改是否公开,对应权限 ai:video:update
  • DELETE /ai/video/delete:删除视频,对应权限 ai:video:delete

而创作页使用的 /ai/video/generate、/ai/video/my-page、/ai/video/public-page、/ai/video/get-detail、/ai/video/delete-my 接口,只操作当前登录用户自己的作品,或已公开的作品。

# 4. 视频表

ai_video:视频表,每次生成一条记录,视频生成、数字人口播、动作模仿三种类型共用。

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

CREATE TABLE `ai_video` (
  `id`             bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `user_id`        bigint        NOT NULL COMMENT '用户编号',
  `type`           tinyint       NOT NULL COMMENT '创作类型:1 视频生成 2 数字人口播 3 动作模仿',
  `mode`           varchar(32)   NULL     COMMENT '生成方式:text / image / first_last / reference,只有视频生成使用',

  `platform`       varchar(32)   NOT NULL COMMENT '平台',
  `model_id`       bigint        NOT NULL COMMENT '模型编号',
  `model`          varchar(64)   NOT NULL COMMENT '模型标识(即梦为 req_key)',
  `api_key_id`     bigint        NOT NULL COMMENT 'API 密钥编号(提交时绑定)',

  `prompt`         text          NULL     COMMENT '提示词',
  `resolution`     varchar(16)   NULL     COMMENT '分辨率',
  `ratio`          varchar(16)   NULL     COMMENT '画面比例',
  `duration`       int           NULL     COMMENT '时长(秒):未指定时,完成后取服务商返回的时长',
  `options`        json          NULL     COMMENT '生成参数快照',
  `input_urls`     json          NULL     COMMENT '输入文件:键为角色,值为文件地址数组',

  `status`         tinyint       NOT NULL COMMENT '状态:10 待处理 20 生成中 30 转存中 40 已完成 50 已失败',
  `progress`       int           NOT NULL DEFAULT 0 COMMENT '进度(0-100)',
  `task_id`        varchar(128)  NULL     COMMENT '服务商任务编号',
  `error_message`  varchar(1024) NULL     COMMENT '错误信息',
  `finish_time`    datetime      NULL     COMMENT '完成时间',

  `video_url`      varchar(1024) NULL     COMMENT '视频地址(文件服务)',
  `cover_url`      varchar(1024) NULL     COMMENT '封面地址',
  `public_status`  bit(1)        NOT NULL DEFAULT b'0' COMMENT '是否公开',

  PRIMARY KEY (`id`),
  KEY `idx_user_id` (`user_id`),
  KEY `idx_status` (`status`),
  KEY `idx_public_status` (`public_status`, `status`)
) ENGINE=InnoDB COMMENT='AI 视频表';

① user_id 字段:对应 system_users 表的 id 字段,表示哪个用户的作品。

type 字段:创作类型,对应 AiVideoTypeEnum 枚举、ai_video_type 字典:1 视频生成、2 数字人口播、3 动作模仿。

mode 字段:生成方式,对应 AiVideoModeEnum 枚举,只有视频生成使用,默认为 text 文生:

值 生成方式 使用的输入角色
text 文生视频 无
image 图生视频 first_frame
first_last 首尾帧 first_frame、last_frame
reference 参考生视频 reference_image、reference_video、reference_audio

② platform、model_id、model、api_key_id 字段:提交时使用的模型和 API 密钥。之后查询生成结果,都使用提交时绑定的 api_key_id,即使模型后来换了密钥也不受影响;密钥只是停用时照常查询,被删除时作品更新为已失败。

③ prompt 字段:提示词,数字人口播可为空,动作模仿没有提示词。

resolution、ratio、duration 字段:分辨率、画面比例、时长(秒),只有视频生成使用,数字人口播、动作模仿不保存。duration 未指定时,完成后取服务商返回的时长。

options 字段:其它生成参数,JSON 格式,对应 AiVideoDO 的 Options 内部类,只有部分服务商支持,「做同款」时会带回表单。包括 size 尺寸(通义万相 2.6 及更早的文生模型)、seed 随机种子、watermark 水印、generateAudio 生成音频、cameraFixed 固定镜头(Seedance 1.0)、negativePrompt 反向提示词、promptExtend 优化提示词、promptExpansionMode 提示词扩写(MiniMax H3-Max)、quality 生成模式(可灵旧版接口)、shotType 镜头类型(通义万相 2.6)。

input_urls 字段:输入文件,JSON 格式,例如说 {"first_frame":["..."]}。键为 AiVideoInputRoleEnum 枚举的角色:first_frame 首帧、last_frame 尾帧、reference_image 参考图、reference_video 参考视频、reference_audio 参考音频、image 人物图片、audio 驱动音频、video 动作视频;值为文件服务的地址数组。提交时,只保留创作类型、生成方式使用的角色。

④ status 字段:状态,对应 AiVideoStatusEnum 枚举、ai_video_status 字典,流程见「2.4 生成流程」小节:

值 状态 说明
10 待处理 已插入记录,还没拿到服务商的任务编号
20 生成中 已提交服务商,task_id 非空,等待 AiVideoSyncJob 查询
30 转存中 服务商已生成成功,等待转存到文件服务
40 已完成 视频已转存到文件服务
50 已失败 提交失败、服务商确认失败,或超时

所有状态的更新,都只针对仍处于对应状态的记录,避免覆盖其它执行者的结果。

progress 字段:进度(0-100),完成时置为 100。

task_id 字段:服务商的任务编号,用于查询生成结果。

error_message 字段:错误信息,失败时记录失败原因。

finish_time 字段:完成时间,已完成、已失败时记录。

⑤ video_url 字段:视频地址,存储转存到文件服务后的地址,不保存服务商的临时地址。

cover_url 字段:封面地址。

public_status 字段:是否公开,默认为 false 不公开。只能由管理员在【视频管理】中公开,且只有已完成的作品可以公开,公开后展示在【公开作品】中。

最最最关键的代码!!!大家可以重点看看!!!

  • AiVideoServiceImpl:提交、查询、转存、超时的实现,以及按平台、模型选择服务商的客户端
  • AiVideoUtils(util 包):输入文件的过滤、服务商的路由判断、客户端的创建
  • framework/ai/core/video 包:各服务商的客户端,例如说 DouBaoSeedanceVideoApi、JimengVisualApi、KlingVideoApi、MiniMaxH3VideoApi、MiniMaxHailuoVideoApi、TongYiWanVideoApi、HappyHorseVideoApi、VertexVeoVideoApi
  • 前端 @/views/ai/utils/video.ts:各模型的表单能力

// TODO DONE @AI:下面不需要把?实际都没写把。(已删除代码位置汇总表,其它教程没有这张表;关键代码见上方的提示)

Theme by Vdoing | Copyright © 2019-2026 芋道源码 | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式
×