ruoyi-vue-pro 开发指南 ruoyi-vue-pro 开发指南
  • 萌新必读
  • 后端手册
  • 中间件手册
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
  • 运维手册
  • 前端手册 Vue 3.x
  • 前端手册 Vben 5.x
  • 前端手册 Vue 2.x
  • 前端手册 Admin Uniapp
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
视频教程
  • Vue3 + element-plus (opens new window)
  • Vue3 + vben5(ant-design-vue、element-plus) (opens new window)
  • Vue2 + element-ui (opens new window)
微服务版 (opens new window)
作者博客 (opens new window)
GitHub (opens new window)
  • 萌新必读
  • 后端手册
  • 中间件手册
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
  • 运维手册
  • 前端手册 Vue 3.x
  • 前端手册 Vben 5.x
  • 前端手册 Vue 2.x
  • 前端手册 Admin Uniapp
  • 工作流手册
  • 报表与大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • HRM 手册
  • FMS 手册
  • PMS 手册
  • OA 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
视频教程
  • Vue3 + element-plus (opens new window)
  • Vue3 + vben5(ant-design-vue、element-plus) (opens new window)
  • Vue2 + element-ui (opens new window)
微服务版 (opens new window)
作者博客 (opens new window)
GitHub (opens new window)
  • 萌新必读

    • 简介
    • 交流群
    • 视频教程
    • 功能列表
    • 快速启动(后端项目)
    • 快速启动(前端项目)
    • 接口文档
    • 技术选型
    • 项目结构
    • 代码热加载
    • 一键改包
    • 迁移模块(适合新项目)
    • 删除功能(以租户为例)
    • 表结构变更(版本升级)
    • 国产信创数据库(DM 达梦、大金、OpenGauss、瀚高、OceanBase、TiDB、GaussDB、PolarDB、神通、Vastbase、MogDB、TongRDS、CacheDB)
    • 如何去除 Redis 缓存
    • 面试题、简历模版、简历优化
    • 项目外包
    • 文档 MCP
  • 后端手册

    • 新建模块
    • 代码生成【单表】(新增功能)
    • 代码生成【主子表】
    • 代码生成(树表)
    • 代码生成(移动端)
    • 功能权限
    • 数据权限
    • 用户体系
    • 三方登录
    • OAuth 2.0(SSO 单点登录)
    • SaaS 多租户【字段隔离】
    • SaaS 多租户【数据库隔离】
    • WebSocket 实时通信
    • 异常处理(错误码)
    • 参数校验、时间传参
    • 分页实现
    • VO 对象转换、数据翻译
    • 文件存储(上传下载)
    • Excel 导入导出
    • 操作日志、访问日志、异常日志
    • MyBatis 数据库
    • MyBatis 联表&分页查询
    • 多数据源(读写分离)、事务
    • Redis 缓存
    • 本地缓存
    • 异步任务
    • 分布式锁
    • 幂等性(防重复提交)
    • 请求限流(RateLimiter)
    • HTTP 接口签名(防篡改)
    • HTTP 接口加解密
    • 单元测试
    • 验证码
    • 工具类 Util
    • 配置管理
    • 数据库文档
  • 中间件手册

    • 定时任务
    • 消息队列(内存)
    • 消息队列(Redis)
    • 消息队列(RocketMQ)
    • 消息队列(RabbitMQ)
    • 消息队列(Kafka)
    • 限流熔断
    • 分库分表
    • 分布式事务
  • 工作流手册

    • 工作流演示
    • 功能开启
    • 工作流(达梦适配)
    • 审批接入(流程表单)
    • 审批接入(业务表单)
    • 流程设计器(BPMN)
    • 流程设计器(钉钉、飞书)
    • 选择审批人、发起人自选
    • 会签、或签、依次审批
    • 流程发起、取消、重新发起
    • 审批通过、不通过、驳回
    • 审批加签、减签
    • 审批转办、委派、抄送
    • 执行监听器、任务监听器
    • 流程表达式
    • 流程审批通知
    • 移动端审批
  • 报表与大屏手册

    • 功能总览
    • UReport2 报表
    • 积木报表与仪表盘
    • GoView 大屏
  • 支付手册

    • 功能开启
    • 支付宝支付接入
    • 微信公众号支付接入
    • 微信小程序支付接入
    • 支付宝、微信退款接入
    • 支付宝转账接入
    • 微信转账接入
    • 钱包充值、支付、退款
    • 模拟支付、退款
    • 移动端支付管理
  • 会员手册

    • 功能开启
    • 微信公众号登录
    • 微信小程序登录
    • 微信小程序订阅消息
    • 微信小程序码
    • 会员用户、标签、分组
    • 会员等级、积分、签到
    • 移动端会员管理
  • 商城手册

    • 商城演示
    • 功能开启
    • 商城装修
    • 在线客服
    • 【商品】商品分类
    • 【商品】商品属性
    • 【商品】商品 SPU 与 SKU
    • 【商品】商品评价
    • 【交易】购物车
    • 【交易】交易订单
    • 【交易】售后退款
    • 【交易】快递发货
    • 【交易】门店自提
    • 【交易】分销返佣
    • 【营销】优惠劵
    • 【营销】积分商城
    • 【营销】拼团活动
    • 【营销】秒杀活动
    • 【营销】砍价活动
    • 【营销】满减送活动
    • 【营销】限时折扣
    • 【营销】内容管理
    • 【统计】会员、商品、交易统计
    • 移动端商城管理
  • ERP手册

    • ERP 演示
    • 功能开启
    • 【产品】产品信息、分类、单位
    • 【库存】产品库存、库存明细
    • 【库存】其它入库、其它出库
    • 【库存】库存调拨、库存盘点
    • 【采购】采购订单、入库、退货
    • 【销售】销售订单、出库、退货
    • 【财务】采购付款、销售收款
    • 移动端 ERP
  • CRM手册

    • CRM 演示
    • 功能开启
    • 【线索】线索管理
    • 【客户】客户管理、公海客户
    • 【商机】商机管理、商机状态
    • 【合同】合同管理、合同提醒
    • 【回款】回款管理、回款计划
    • 【产品】产品管理、产品分类
    • 【通用】数据权限
    • 【通用】跟进记录、待办事项
    • 移动端 CRM
  • AI大模型手册

    • AI 大模型演示
    • 功能开启
    • AI 对话
    • AI 知识库
    • AI 工作流
    • AI 图片生成
    • AI 图片识别
    • AI 音乐生成
    • AI 语音生成
    • AI 语音识别
    • AI PPT 生成
    • AI 写作翻译
    • AI 思维导图
    • AI 工具(function calling)
    • Dify 工作流
    • FastGPT 工作流
    • Coze 智能体
    • AI 短剧制作
      • 1. 前置准备
        • 1.1 配置模型
        • 1.2 安装 FFmpeg
        • 1.3 开启定时任务
      • 2. 短剧制作
        • 2.1 项目列表
        • 2.2 故事想法
        • 2.3 剧本审阅
        • 2.4 资产配置
        • 2.5 分镜与成片
        • 2.6 合成成片
        • 2.7 公开广场
      • 3. 短剧管理
        • 3.1 项目管理
        • 3.2 生成任务
      • 4. 短剧表
        • 4.1 短剧项目表
        • 4.2 短剧剧本表
        • 4.3 短剧角色表、角色形象表
        • 4.4 短剧场景表、视觉资产表
        • 4.5 短剧分镜表
        • 4.6 短剧音频表
    • 推理模式(thinking)
    • 联网搜索
    • Skills 技能
    • MCP Client 客户端
    • MCP Server 服务端
    • 请求日志与 Token 用量
    • 【模型接入】Claude
    • 【模型接入】OpenAI
    • 【模型接入】谷歌 Gemini
    • 【模型接入】Grok
    • 【模型接入】通义千问
    • 【模型接入】DeepSeek
    • 【模型接入】字节豆包
    • 【模型接入】智谱 GLM
    • 【模型接入】月之暗面 Kimi
    • 【模型接入】MiniMax
    • 【模型接入】腾讯混元
    • 【模型接入】小米 MiMo
    • 【模型接入】硅基流动
    • 【模型接入】百川智能
    • 【模型接入】文心一言
    • 【模型接入】阶跃星辰
    • 【模型接入】讯飞星火
    • 【模型接入】LLAMA
    • 【模型接入】微软 OpenAI
    • 【模型接入】Stable Diffusion
    • 【模型接入】Midjourney
    • 【模型接入】Suno
    • 移动端 AI 大模型
  • IoT物联网手册

    • 功能开启
    • 产品管理
    • 设备管理
    • 物模型配置
    • 设备网关与子设备
    • 设备动态注册
    • 设备影子
    • 消息透传与数据解析
    • 设备接入(概述)
    • 设备接入(HTTP 协议)
    • 设备接入(MQTT 协议)
    • 设备接入(EMQX 协议)
    • 设备接入(TCP 协议)
    • 设备接入(UDP 协议)
    • 设备接入(WebSocket 协议)
    • 设备接入(CoAP 协议)
    • 设备接入(Modbus Client 模式)
    • 设备接入(Modbus Server 模式)
    • 设备接入(自定义协议)
    • 场景联动
    • 数据流转
    • 告警配置
    • OTA 固件升级
    • 移动端 IoT 物联网
    • 设备网关合并部署
  • MES手册

    • MES 演示
    • 功能开启
    • 【基础】物料产品、分类、计量单位
    • 【基础】客户管理、供应商管理
    • 【基础】车间设置、工作站设置
    • 【基础】编码规则
    • 【生产】工序设置、工艺流程
    • 【生产】生产工单
    • 【生产】生产排产、工序流转卡
    • 【生产】生产报工
    • 【生产】安灯配置、安灯呼叫
    • 【生产】工作记录
    • 【仓库】仓库与库区库位、条码赋码、SN码
    • 【仓库】批次管理、库存现有量、库存事务
    • 【仓库】到货通知、采购入库、采购退货
    • 【仓库】生产领料、生产退料、物料消耗
    • 【仓库】产品产出、产品入库
    • 【仓库】发货通知、销售出库、销售退货
    • 【仓库】外协发料、外协入库
    • 【仓库】其他入库、其他出库
    • 【仓库】调拨单、装箱管理
    • 【仓库】库存盘点
    • 【质量】检测项设置、常见缺陷
    • 【质量】质检方案
    • 【质量】来料检验(IQC)
    • 【质量】过程检验(IPQC)
    • 【质量】出货检验(OQC)
    • 【质量】退货检验(RQC)
    • 【质量】待检任务、检验结果、缺陷记录
    • 【设备】设备类型、设备台账
    • 【设备】点检保养项目、点检保养方案
    • 【设备】点检记录、保养记录、维修单
    • 【工具】工具类型、工装夹具台账
    • 【排班】班组设置、节假日设置
    • 【排班】排班计划、排班日历
    • 移动端 MES
  • WMS手册

    • WMS 演示
    • 功能开启
    • 【基础】仓库
    • 【基础】商品、SKU、分类、品牌
    • 【基础】往来企业(供应商、客户)
    • 【库存】库存记录、流水、统计
    • 【单据】入库
    • 【单据】出库
    • 【单据】移库
    • 【单据】盘库
    • 【其它】WMS、MES、ERP 对比
    • 移动端 WMS
  • HRM人力资源

    • HRM 演示
    • 功能开启
    • 【组织】工作台、组织架构
    • 【员工】员工管理
    • 【招聘】招聘管理
    • 【考勤】考勤管理
    • 【社保】社保管理
    • 【薪资】计薪设置、薪资档案
    • 【薪资】月度工资、工资条
    • 【绩效】绩效模板、绩效计划
    • 【绩效】绩效考核、绩效档案
    • 移动端 HRM
  • FMS财务管理

    • FMS 演示
    • 功能开启
    • 【设置】账套管理、财务参数、财务指标
    • 【设置】币别、科目、辅助核算、初始余额
    • 【设置】凭证字、常用摘要、凭证模板
    • 【凭证】凭证管理
    • 【账簿】账簿管理
    • 【报表】财务报表
    • 【结账】期末结账
    • 移动端 FMS
  • PMS项目管理

    • PMS 演示
    • 功能开启
    • 【项目中心】工作台与项目管理
    • 【项目中心】项目详情与迭代
    • 【项目中心】工作项与协作
    • 【知识中心】知识库管理
    • 【知识中心】文档与协作
    • 移动端 PMS
  • OA协同办公

    • OA 演示
    • 功能开启
    • 【协作】日程、任务、计划与汇报
    • 【协作】公告、讨论、通讯录与笔记
    • 【办公】企业邮箱
    • 【办公】企业云盘
    • 【行政】办公用品、用印管理
    • 【行政】会议室、车辆管理
    • 【流程】公文管理
    • 【流程】出差、费用报销
    • 【流程】考勤、请假、加班、转正与离职
    • 移动端 OA
  • IM即时通讯手册

    • IM 演示
    • 功能开启
    • 【好友】好友关系、好友申请
    • 【群聊】群组、群成员、入群申请
    • 【消息】私聊、群聊、频道消息
    • 【频道】频道、频道素材
    • 【内容】表情、敏感词
    • 【通话】语音通话、视频通话、共享屏幕
    • 【WebSocket】实时推送与离线消息
    • 移动端 IM 即时通讯
  • 公众号手册

    • 功能开启
    • 公众号接入
    • 公众号粉丝
    • 公众号标签
    • 公众号消息
    • 模版消息
    • 自动回复
    • 公众号菜单
    • 公众号素材
    • 公众号图文
    • 公众号统计
    • 移动端公众号管理
  • 系统手册

    • 短信配置
    • 邮件配置
    • 站内信配置
    • Webhook(钉钉、飞书、企微)
    • 数据脱敏、字段权限
    • 敏感词
    • 地区 & IP 库
  • 运维手册

    • 开发环境
    • Linux 部署
    • Docker 部署
    • Jenkins 部署
    • 宝塔部署
    • 1Panel 部署
    • Docker Compose 部署
    • Kubernetes 部署
    • HTTPS 证书
    • 服务监控
    • 生产环境安全
    • Tomcat WAR 部署
    • 东方通服务器部署(TongWeb、TongHttpServer)
    • 宝兰德服务器部署(BES AppServer)
    • 内网穿透
  • 前端手册 Vue 3.x

    • 开发规范
    • 菜单路由
    • Icon 图标
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
    • CRUD 组件
    • 国际化
    • IDE 调试
    • 代码格式化
  • 前端手册 Vben 5.x

    • 开发规范
    • 菜单路由
    • 图标、主题、国际化
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
    • IDE 调试
    • 代码格式化
  • 前端手册 Vue 2.x

    • 开发规范
    • 菜单路由
    • Icon 图标
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
  • 前端手册 Admin Uniapp

    • 开发规范
    • 菜单路由
    • 图标、主题、国际化
    • 字典数据
    • 系统组件
    • 通用方法
    • IDE 调试
    • 代码格式化
    • 运行发布
  • 更新日志

    • 【v2026-11】
    • 【v2026-10】
    • 【v2026-09】
    • 【v2026-08】
    • 【v2026-07】
    • 【v2026-06】
    • 【v2026-05】
    • 【v2026-04】
    • 【v2026-03】
    • 【v2026-01】
    • 【v2025-12】
    • 【v2025-11】
    • 【v2025-10】
    • 【v2025-09】
    • 【v2025-08】
  • 开发指南
  • AI大模型手册
芋道源码
2026-11-14
目录

AI 短剧制作

AI 短剧制作,把一句故事想法,一步步做成一条可以播放、下载的短剧成片。整个流程分为四步:

  • ① 故事想法:填写想法、画风、画幅,使用对话模型生成剧本
  • ② 剧本审阅:修改剧本,或使用对话模型按修改意见打磨;确认后,从剧本中分析出角色、场景、道具
  • ③ 资产配置:使用绘画模型,为角色形象、场景、道具出图;可选地,使用语音模型为角色生成样音
  • ④ 分镜与成片:使用对话模型从剧本生成分镜,使用视频模型逐个生成镜头视频,最后由 FFmpeg 拼接为成片,可选旁白、水印

成片完成后,由管理员在【短剧管理】中公开,公开的作品会展示在【公开广场】中。

它组合使用了多种模型,各自的配置可见对应的文档:

环节 模型类型 说明
生成剧本、打磨剧本、分析资产、生成分镜 对话(CHAT) 见 《功能开启》
角色形象、场景、道具出图 绘画(IMAGE) 见 《AI 图片生成》,不支持 Midjourney
镜头视频 视频(VIDEO) 见 《AI 视频生成》,只能选择「视频生成」类的模型
角色样音、旁白(可选) 语音(VOICE) 见 《AI 语音生成》
成片合成 无 由后端调用本机的 FFmpeg 完成

整个功能,涉及到 10 个表:

  • 【配置】ai_api_key:API 密钥表
  • 【配置】ai_model:模型表
  • 【短剧】ai_drama_project:短剧项目表
  • 【短剧】ai_drama_script:短剧剧本表
  • 【短剧】ai_drama_character:短剧角色表
  • 【短剧】ai_drama_character_appearance:短剧角色形象表
  • 【短剧】ai_drama_location:短剧场景表
  • 【短剧】ai_drama_visual_asset:短剧视觉资产表
  • 【短剧】ai_drama_storyboard:短剧分镜表
  • 【短剧】ai_drama_audio:短剧音频表

补充说明:

ai_api_key、ai_model 已经在 《功能开启》 讲解,就不重复赘述。

AI 短剧需要导入对应的 SQL,包括:上述 8 个 ai_drama_ 开头的表,[AI 大模型 -> AI 短剧制作]、[AI 大模型 -> 控制台 -> 短剧管理] 菜单及其按钮权限,ai_drama_status、ai_drama_step、ai_drama_task_type 字典,以及「AI 短剧同步 Job」定时任务。

# 1. 前置准备

# 1.1 配置模型

在 [AI 大模型 -> 控制台 -> API 密钥]、[模型配置] 菜单,准备好以下模型:

  • 对话模型:至少一个可用的「对话」模型。剧本、资产、分镜都要求模型返回 JSON,建议使用指令遵循较好的模型,例如说 DeepSeek、通义千问。DeepSeek 平台在生成剧本、打磨剧本、分析资产时,会开启 JSON 输出模式
  • 绘画模型:至少一个「绘画」模型。字节跳动平台(Seedream)走火山方舟接口,输出 2048x2048 的图片,并会把角色、场景的参考图一起传给模型;其它平台按文生图处理,输出 1024x1024 的图片,不使用参考图。Midjourney 不支持
  • 视频模型:至少一个「视频生成」类的视频模型,密钥与模型的配置见 《AI 视频生成》 的「1. 前置准备」小节。数字人口播、动作模仿类的模型不会出现在下拉框中
  • 语音模型:可选,用于角色样音、旁白,配置见 《AI 语音生成》。生成为同步调用,需要在时限内返回音频的模型

# 1.2 安装 FFmpeg

成片由后端调用 ffmpeg、ffprobe 命令合成,所以运行后端的机器需要安装 FFmpeg,并具备以下能力:

  • 编码:libx264(H.264 视频)、AAC 音频
  • 滤镜:xfade、acrossfade(转场)、amix(混入旁白)、drawtext(水印,依赖编译时开启 libfreetype)

可以执行 ffmpeg -hide_banner -filters 确认滤镜是否存在,执行 ffmpeg -hide_banner -encoders | grep libx264 确认编码器是否存在。

默认直接执行 PATH 中的 ffmpeg、ffprobe 命令,也可以在 application.yaml 中指定:

yudao:
  ai:
    drama:
      ffmpeg-path: /usr/local/bin/ffmpeg # ffmpeg 命令,默认 ffmpeg
      ffprobe-path: /usr/local/bin/ffprobe # ffprobe 命令,默认 ffprobe
      font-file: /usr/share/fonts/noto-cjk/NotoSansCJK-Regular.ttc # 水印字体文件,默认为空

font-file 为空时,水印字体由 FFmpeg 按 fontconfig 选择,可能无法显示中文。需要中文水印时,请配置一个中文字体文件(例如说 Noto Sans CJK、思源黑体),并确认后端进程有权限读取。

友情提示:

使用 Docker 部署时,FFmpeg、字体需要安装在后端的容器镜像里,而不是宿主机上。

# 1.3 开启定时任务

镜头视频是服务商的异步任务,需要定时执行 AiDramaSyncJob 任务(JobHandler 名字为 aiDramaSyncJob),查询服务商的生成结果,把视频转存到项目的文件服务;同时把超过 60 分钟仍未结束的镜头视频、出图、成片合成任务,更新为已失败(失败原因为「任务超时」)。建议每 10 秒执行一次,即 Cron 表达式 0/10 * * * * ?。

在 [基础设施 -> 定时任务] 菜单,新增(或开启)「AI 短剧同步 Job」任务即可。具体怎么配置定时任务,可以参考 《定时任务》 文档。未开启时,镜头视频会一直停留在「生成中」。

# 2. 短剧制作

前端对应 [AI 大模型 -> AI 短剧制作] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/drama/project 目录,提供给普通用户使用。

后端 HTTP 接口,由 yudao-module-ai 模块的 drama 包实现,按项目、剧本、资产、分镜拆分为 AiDramaProjectController、AiDramaScriptController、AiDramaAssetController、AiDramaStoryboardController。用户只能操作自己的项目。

# 2.1 项目列表

列表页有【我的项目】【公开广场】两个页签。【我的项目】可以按项目名称、当前步骤、成片状态筛选,列表展示画风、画幅、当前步骤、镜头视频的完成数、成片状态等。

  • 点击【新建项目】,打开新建页面,即下文的项目表单
  • 点击项目名称或【编辑】,打开该项目的项目表单,查看、修改都在这里完成
  • 【删除】会一并删除项目的剧本、角色、形象、场景、道具、音频与分镜

项目列表

新建、编辑共用一个独立的项目表单页面,对应 @/views/ai/drama/project/form/index.vue,新建的路由为 /ai/drama/project/create,已有项目的路由为 /ai/drama/project/:id。顶部是「故事想法 → 剧本审阅 → 资产配置 → 分镜与成片」四个步骤,可以随时点击切换,当前步骤会保存到项目上,下次进入时直接回到这一步。有出图、镜头视频、成片合成在进行时,页面会自动刷新。

# 2.2 故事想法

左侧填写或修改项目名称、故事想法、画风、画幅(9:16、16:9、4:3、3:4、1:1,默认 9:16),点击右下角的【保存】。

右侧「生成剧本」区域,选择对话模型(为空时使用默认的对话模型),点击【生成剧本】,会先保存左侧的修改,再由对话模型按想法、画风,生成剧名、叙事基调、剧情大纲、剧本正文。每个项目只有一份剧本,已有剧本时按钮变为【重新生成剧本】,会覆盖当前的剧本;点击【查看剧本,进入剧本审阅】进入下一步。

新建时只能填写这一步:点击【保存】或【生成剧本】后创建项目,并切换到该项目的页面,再继续后面的步骤。

// DONE @AI:这里要截图一下么?(已补充「故事想法」截图)

故事想法

# 2.3 剧本审阅

左侧可以直接修改剧名、叙事基调、剧情大纲、剧本正文,点击右下角的【保存剧本】。

右侧「AI 打磨」区域,选择对话模型,填写修改意见,点击【按意见打磨】,由对话模型按意见改写剧本。每次的修改意见都会记录下来,展示在下方,方便回顾。

剧本确定后,点击「下一步」区域的【分析资产,进入资产配置】,由对话模型从剧本中提取角色、场景、道具,以及它们的设定与出图提示词。重复分析时,只追加名称不重复的资产,不会覆盖已有的。也可以点击【跳过分析,直接配置资产】,手动添加。

剧本审阅

# 2.4 资产配置

顶部选择绘画模型,下方是【角色】【场景】【道具】三个页签,并统计各自的出图进度。点击【一键补齐图片】,会为所有还没有图片的角色形象、场景、道具提交出图,已在出图中的会跳过。

  • 角色:一个角色可以有多个形象(例如说「雨夜,湿透的风衣」),每个形象可以多次【出图】,出图结果作为候选图保留,从中选用一张。可以填写角色设定、出图提示词(为空时使用角色设定),上传参考图(字节跳动 Seedream 出图时作为参考)
  • 场景:同样支持设定、出图提示词、参考图、多张候选图选用
  • 道具:填写名称与出图提示词,出图后保存一张图片

出图时,会把项目的画风,以及角色、形象的设定拼接到提示词中。出图在后端异步执行,完成后转存到项目的文件服务。

角色还可以添加「样音」:上传音频,或选择语音模型、音色(例如说 longxiaochun)、语速与文本生成,再选用其中一条作为角色的声音。样音作为角色的声音设定保存,生成镜头视频、合成成片时不会使用。

素材管理

# 2.5 分镜与成片

页面最上方是「成片」区域,展示成片的状态、时长、画幅与镜头数,可以在线播放、【下载】、【合成成片】;下方是分镜的操作栏与镜头列表。

选择对话模型,点击【从剧本生成分镜】,由对话模型把剧本拆为镜头:每个镜头包含场次、标题、景别、运镜、时长、画面描述、台词,以及出场的角色形象、场景、道具。重新生成会替换现有的全部镜头(包括已生成的视频);有镜头视频在生成中时,不允许重新生成。

也可以【新增镜头】,或【编辑】已有的镜头,手动调整上述内容。「起始帧」可以选择使用某个资产图:

  • 有起始帧时,按图生视频提交
  • 没有起始帧时,按文生视频提交

选择视频模型后,点击某个镜头的【生成视频】,或【批量生成视频】为所有未生成、已失败的镜头提交(参数不被模型支持的镜头,直接记为已失败,不影响其它镜头)。提交时,会把画面描述、景别运镜、场景、角色形象、道具、台词、画风拼接为提示词,画幅使用项目的画幅,时长使用镜头的时长。视频的生成、转存由「1.3 开启定时任务」小节的任务完成,失败的镜头可以查看失败原因,再次生成。

分镜与成片

# 2.6 合成成片

至少 2 个镜头的视频完成后,点击「成片」区域的【合成成片】,在弹窗中填写:

  • 镜头:默认全选已完成的镜头,可以取消勾选部分镜头,至少保留 2 个;按场次顺序拼接
  • 画幅:成片的画幅,默认为项目的画幅。镜头的画幅不一致时,等比缩放并补黑边
  • 转场:无、溶解、黑场淡入淡出、滑动;有转场时填写转场时长,0.1 ~ 2 秒,并且需要短于每个镜头
  • 旁白:可选,选择本项目的一条旁白音频;也可以在弹窗中上传,或使用语音模型生成。旁白与镜头原有的声音混合,超出成片长度的部分会被截断
  • 水印:可选,最多 32 个字符,显示在画面右下角

成片参数

提交后,后端异步执行合成:画布短边为 720 像素、30 帧,编码为 H.264 + AAC,完成后转存到项目的文件服务,并记录成片的时长、画幅与镜头数。成片完成后,可以在线播放、【下载】,也可以调整参数【重新合成】。合成失败时,展示失败原因。

镜头选择、旁白、水印只用于本次合成,不会保存;转场类型与时长会记录到项目上。

# 2.7 公开广场

成片已完成、并由管理员公开的项目,会展示在【公开广场】中,同一租户的其它用户都可以播放、查看详情、下载。普通用户不能自行公开、撤回。

可以按名称或画风搜索,按成片的画幅、时长(30 秒内、30-60 秒、1 分钟以上)筛选。详情展示作者、时长、画风、画幅与镜头数、剧情大纲(取剧本的大纲)、出场角色(取选用的形象图)。公开接口只返回这些字段,不返回剧本正文、提示词与资产配置。

公开广场

# 3. 短剧管理

前端对应 [AI 大模型 -> 控制台 -> 短剧管理] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/drama/manager 目录,提供给管理员使用,分为【项目管理】【生成任务】两个页签。

# 3.1 项目管理

查看所有用户的短剧项目:

  • 筛选:用户、项目名称、当前步骤、成片状态、是否公开、画幅、创建时间
  • 列表:项目名称、用户、画风、画幅、当前步骤、镜头数、成片(可以点击播放)、是否公开等
  • 操作:查看详情(故事想法、剧本、角色、场景与道具、镜头、成片等)、修改是否公开(只有成片已完成的项目可以公开,取消公开不限制)、删除

短剧管理

# 3.2 生成任务

把角色形象、场景图、视觉资产(道具)、镜头视频、成片合成五类任务,汇总到一个列表中查看。任务没有单独的表,直接取自各自记录上的状态、任务编号、失败原因。

  • 筛选:任务类型、状态、用户、项目编号、模型、更新时间
  • 列表:类型、项目、用户、名称、状态(超过 60 分钟未结束的,标记「超时」)、模型、提示词、服务商任务、结果、失败原因
  • 操作:
    • 【重新提交】:只有已失败的任务可以操作,使用上次的模型重新提交。成片合成会使用该项目全部已完成的镜头(至少 2 个),以及项目的画幅、转场,不带旁白、水印
    • 【同步状态】:只有进行中的镜头视频可以操作,立即向服务商查询一次结果
    • 【标记失败】:把进行中的任务更新为已失败

它的后端 HTTP 接口,由 AiDramaProjectController、AiDramaTaskController 实现。

# 4. 短剧表

以项目为中心:一个项目,对应一份剧本,以及多个角色、场景、视觉资产、分镜、音频;一个角色,对应多个形象。

各类任务的状态,统一对应 AiDramaStatusEnum 枚举、ai_drama_status 字典:

值 状态 说明
10 待处理 已创建,尚未提交给服务商
20 生成中 出图、生成视频、合成中
30 转存中 镜头视频已完成,正在转存到文件服务
40 已完成 结果已转存到文件服务
50 已失败 失败、超时,或被管理员标记失败,失败原因记录在 error_message 中

# 4.1 短剧项目表

// DONE @AI:表结构的说明,应该对齐其它文章的;(已按《AI 视频生成》等文章,改为「建表 SQL + 分组的字段说明」)

ai_drama_project:短剧项目表,同时记录成片的结果。

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

CREATE TABLE `ai_drama_project` (
  `id`                                  bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `user_id`                             bigint        NOT NULL COMMENT '用户编号',
  `name`                                varchar(64)   NOT NULL COMMENT '项目名称',
  `idea`                                text          NULL     COMMENT '故事想法',
  `style`                               varchar(255)  NULL     COMMENT '画风',
  `aspect_ratio`                        varchar(16)   NOT NULL DEFAULT '9:16' COMMENT '画幅',
  `status`                              tinyint       NOT NULL DEFAULT 1 COMMENT '当前步骤:1 故事想法 2 剧本审阅 3 资产配置 4 分镜与成片',
  `public_status`                       bit(1)        NOT NULL DEFAULT b'0' COMMENT '是否公开',

  `compose_transition_type`             tinyint       NULL     COMMENT '成片转场类型:0 无 1 溶解 2 黑场淡入淡出 3 滑动',
  `compose_transition_duration_seconds` decimal(4, 2) NULL     COMMENT '成片转场时长(秒)',
  `compose_status`                      tinyint       NULL     COMMENT '成片状态:20 生成中 40 已完成 50 已失败;为空表示未合成',
  `compose_task_id`                     varchar(64)   NULL     COMMENT '合成任务编号',
  `compose_file_url`                    varchar(1024) NULL     COMMENT '成片地址(文件服务)',
  `compose_duration`                    decimal(8, 2) NULL     COMMENT '成片时长(秒)',
  `compose_aspect_ratio`                varchar(16)   NULL     COMMENT '成片画幅:成片实际使用的',
  `compose_storyboard_count`            int           NULL     COMMENT '成片镜头数:成片实际拼接的',
  `compose_error_message`               varchar(1024) NULL     COMMENT '合成失败原因',

  PRIMARY KEY (`id`),
  KEY `idx_user_id` (`user_id`),
  KEY `idx_public_status` (`public_status`, `compose_status`),
  KEY `idx_compose_status` (`compose_status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧项目表';

① user_id 字段:对应 system_users 表的 id 字段,表示哪个用户的项目。

② name、idea、style、aspect_ratio 字段:「故事想法」步骤填写的项目名称、故事想法、画风、画幅。

status 字段:当前步骤,对应 AiDramaProjectStepEnum 枚举、ai_drama_step 字典。

public_status 字段:是否公开,只能由管理员修改,且只有成片已完成的项目可以公开。

③ compose_ 开头的字段:成片合成的参数与结果。

  • compose_transition_type、compose_transition_duration_seconds 字段:最近一次合成的转场类型(对应 AiDramaTransitionTypeEnum 枚举)、转场时长
  • compose_status、compose_task_id、compose_error_message 字段:合成的状态、本次合成的任务编号、失败原因。异步合成回写时比对任务编号,被标记失败后重新提交的,旧的合成结果不会覆盖新任务
  • compose_file_url、compose_duration、compose_aspect_ratio、compose_storyboard_count 字段:成片地址、时长、实际画幅、实际拼接的镜头数

# 4.2 短剧剧本表

ai_drama_script:短剧剧本表,每个项目一份。

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

CREATE TABLE `ai_drama_script` (
  `id`             bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `project_id`     bigint        NOT NULL COMMENT '项目编号',
  `title`          varchar(255)  NULL     COMMENT '剧本标题',
  `tone`           varchar(255)  NULL     COMMENT '叙事基调',
  `outline`        text          NULL     COMMENT '剧情大纲',
  `content`        mediumtext    NULL     COMMENT '剧本正文',
  `revision_notes` json          NULL     COMMENT '打磨意见:[{note, time}]',
  PRIMARY KEY (`id`),
  KEY `idx_project_id` (`project_id`)
) ENGINE=InnoDB COMMENT='AI 短剧剧本表';

① project_id 字段:对应 ai_drama_project 表的 id 字段。下文其它表的 project_id 字段相同,不再重复说明。

② outline 字段:剧情大纲,公开广场中作为剧情简介展示。

revision_notes 字段:AI 打磨的修改意见记录,JSON 数组,每项包含意见 note 与时间 time。

# 4.3 短剧角色表、角色形象表

ai_drama_character:短剧角色表,记录角色的基础设定。

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

CREATE TABLE `ai_drama_character` (
  `id`                  bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `project_id`          bigint        NOT NULL COMMENT '项目编号',
  `name`                varchar(128)  NOT NULL COMMENT '角色名称',
  `description`         text          NULL     COMMENT '角色设定',
  `prompt`              text          NULL     COMMENT '出图提示词',
  `reference_image_url` varchar(1024) NULL     COMMENT '参考图地址',
  PRIMARY KEY (`id`),
  KEY `idx_project_id` (`project_id`)
) ENGINE=InnoDB COMMENT='AI 短剧角色表';

① prompt 字段:出图提示词,为空时使用角色设定 description。

② reference_image_url 字段:参考图地址,字节跳动 Seedream 出图时作为参考。

ai_drama_character_appearance:短剧角色形象表,一个角色可以有多个形象,分镜引用的是形象。

CREATE TABLE `ai_drama_character_appearance` (
  `id`               bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `character_id`     bigint        NOT NULL COMMENT '角色编号',
  `appearance_index` int           NOT NULL COMMENT '形象序号,从 1 开始',
  `description`      text          NULL     COMMENT '形象设定',
  `prompt`           text          NULL     COMMENT '出图提示词',
  `candidates`       json          NULL     COMMENT '候选图:[{url, description, modelId}]',
  `selected_index`   int           NULL     COMMENT '选用的候选图下标',
  `task_id`          varchar(64)   NULL     COMMENT '出图任务编号',
  `status`           tinyint       NULL     COMMENT '出图状态:20 生成中 40 已完成 50 已失败;为空表示未出图',
  `error_message`    varchar(1024) NULL     COMMENT '失败原因',
  PRIMARY KEY (`id`),
  KEY `idx_character_id` (`character_id`),
  KEY `idx_status` (`status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧角色形象表';

① character_id 字段:对应 ai_drama_character 表的 id 字段。

appearance_index 字段:形象序号,前端展示为「形象 N」。

② candidates 字段:候选图,JSON 数组,每项包含图片地址、描述、出图的模型编号;每次出图追加一项。

selected_index 字段:选用的候选图下标;首次出图成功时,自动选用。

③ task_id、status、error_message 字段:出图的任务编号、状态、失败原因。下文场景、视觉资产表的同名字段相同。

# 4.4 短剧场景表、视觉资产表

ai_drama_location:短剧场景表,字段与角色、角色形象类似。

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

CREATE TABLE `ai_drama_location` (
  `id`                  bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `project_id`          bigint        NOT NULL COMMENT '项目编号',
  `name`                varchar(128)  NOT NULL COMMENT '场景名称',
  `description`         text          NULL     COMMENT '场景设定',
  `prompt`              text          NULL     COMMENT '出图提示词',
  `candidates`          json          NULL     COMMENT '候选图:[{url, description, modelId}]',
  `selected_index`      int           NULL     COMMENT '选用的候选图下标',
  `reference_image_url` varchar(1024) NULL     COMMENT '参考图地址',
  `task_id`             varchar(64)   NULL     COMMENT '出图任务编号',
  `status`              tinyint       NULL     COMMENT '出图状态:20 生成中 40 已完成 50 已失败;为空表示未出图',
  `error_message`       varchar(1024) NULL     COMMENT '失败原因',
  PRIMARY KEY (`id`),
  KEY `idx_project_id` (`project_id`),
  KEY `idx_status` (`status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧场景表';

ai_drama_visual_asset:短剧视觉资产表,目前用于道具。

CREATE TABLE `ai_drama_visual_asset` (
  `id`            bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `project_id`    bigint        NOT NULL COMMENT '项目编号',
  `kind`          varchar(32)   NULL     COMMENT '资产类型,目前为 prop(道具)',
  `title`         varchar(255)  NOT NULL COMMENT '资产名称',
  `prompt`        text          NULL     COMMENT '出图提示词',
  `image_url`     varchar(1024) NULL     COMMENT '图片地址(文件服务)',
  `model_id`      bigint        NULL     COMMENT '绘画模型编号',
  `task_id`       varchar(128)  NULL     COMMENT '出图任务编号',
  `status`        tinyint       NULL     COMMENT '出图状态:20 生成中 40 已完成 50 已失败;为空表示未出图',
  `error_message` varchar(1024) NULL     COMMENT '失败原因',
  PRIMARY KEY (`id`),
  KEY `idx_project_id` (`project_id`),
  KEY `idx_status` (`status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧视觉资产表';

① image_url、model_id 字段:图片地址、出图的模型编号。与角色形象、场景不同,只保存一张,重新出图会覆盖。

# 4.5 短剧分镜表

ai_drama_storyboard:短剧分镜表,每个镜头一条记录。

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

CREATE TABLE `ai_drama_storyboard` (
  `id`               bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `project_id`       bigint        NOT NULL COMMENT '项目编号',
  `script_id`        bigint        NULL     COMMENT '剧本编号',
  `scene_no`         int           NOT NULL COMMENT '场次(播放顺序)',
  `title`            varchar(255)  NULL     COMMENT '镜头标题',
  `shot_type`        varchar(64)   NULL     COMMENT '景别',
  `camera_move`      varchar(128)  NULL     COMMENT '运镜',
  `duration`         int           NULL     COMMENT '时长(秒)',
  `video_prompt`     text          NULL     COMMENT '画面描述',
  `dialogues`        json          NULL     COMMENT '台词:[{characterId, line}]',
  `appearance_ids`   json          NULL     COMMENT '引用的角色形象编号:[id]',
  `location_id`      bigint        NULL     COMMENT '引用的场景编号',
  `visual_asset_ids` json          NULL     COMMENT '引用的视觉资产编号:[id]',
  `first_frame_url`  varchar(1024) NULL     COMMENT '起始帧地址;为空时文生视频',

  `video_model_id`   bigint        NULL     COMMENT '视频模型编号',
  `task_id`          varchar(128)  NULL     COMMENT '任务编号:待处理时为提交编号,提交后为服务商任务编号',
  `video_status`     tinyint       NULL     COMMENT '视频状态:10 待处理 20 生成中 30 转存中 40 已完成 50 已失败;为空表示未生成',
  `video_url`        varchar(1024) NULL     COMMENT '视频地址(文件服务)',
  `error_message`    varchar(1024) NULL     COMMENT '失败原因',

  PRIMARY KEY (`id`),
  KEY `idx_project_id` (`project_id`),
  KEY `idx_video_status` (`video_status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧分镜表';

① scene_no 字段:场次,也是播放、合成成片时的拼接顺序。

② dialogues 字段:台词,JSON 数组,每项包含说话的角色编号 characterId(为空表示旁白)、台词 line。

appearance_ids、location_id、visual_asset_ids 字段:出场的角色形象编号数组、场景编号、道具编号数组,生成视频时拼接到提示词中。

first_frame_url 字段:起始帧图片地址,有值时按图生视频提交,否则按文生视频提交。

③ video_model_id、task_id、video_status、error_message 字段:视频模型编号、任务编号、视频状态、失败原因。

video_url 字段:镜头视频地址,存储转存到文件服务后的地址。

镜头视频复用 《AI 视频生成》 的服务商客户端提交、查询,但结果记录在分镜表上,不会写入 ai_video 视频表,也不会出现在【视频管理】中。

# 4.6 短剧音频表

ai_drama_audio:短剧音频表,包括角色样音与旁白。

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

CREATE TABLE `ai_drama_audio` (
  `id`           bigint        NOT NULL AUTO_INCREMENT COMMENT '编号',
  `project_id`   bigint        NOT NULL COMMENT '项目编号',
  `character_id` bigint        NULL     COMMENT '角色编号;旁白为空',
  `type`         tinyint       NOT NULL COMMENT '类型:1 角色样音 2 选用的样音 3 旁白',
  `file_url`     varchar(1024) NOT NULL COMMENT '文件地址',
  PRIMARY KEY (`id`),
  KEY `idx_project_id` (`project_id`),
  KEY `idx_character_id` (`character_id`)
) ENGINE=InnoDB COMMENT='AI 短剧音频表';

① type 字段:类型,对应 AiDramaAudioTypeEnum 枚举。选用的样音,每个角色最多一条。

最最最关键的代码!!!大家可以重点看看!!!

  • AiDramaScriptServiceImpl:生成剧本、AI 打磨、分析资产、生成分镜的提示词与 JSON 解析
  • AiDramaAssetServiceImpl:角色形象、场景、道具的异步出图,以及样音、旁白的生成
  • AiDramaStoryboardServiceImpl:镜头视频的提交、同步、转存、超时
  • AiDramaProjectServiceImpl:成片合成的提交、异步执行、重新合成
  • AiFfmpegUtils(util 包):FFmpeg 合成命令的构建,包括画布、转场、旁白、水印
  • AiDramaTaskServiceImpl:生成任务的汇总、重新提交、同步、标记失败、超时

// DONE @AI:感觉这个文档的风格,和其它文档不太一样,是不是得让 opus5.5 在改改噢。(对照《AI 视频生成》《AI PPT 生成》等调整:「2. 短剧制作」的小节统一为三级标题,故事想法、剧本审阅按当前界面重写并补截图;「4. 短剧表」改为建表 SQL + 分组的字段说明)

Coze 智能体
推理模式(thinking)

← Coze 智能体 推理模式(thinking)→

Theme by Vdoing | Copyright © 2019-2026 芋道源码 | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式
×