AI 短剧制作
AI 短剧制作,把一句故事想法,一步步做成一条可以播放、下载的短剧成片。整个流程分为四步:
- ① 故事想法:填写想法、画风、画幅,使用对话模型生成剧本
- ② 剧本审阅:修改剧本,或使用对话模型按修改意见打磨;确认后,从剧本中分析出角色、场景、道具
- ③ 资产配置:使用绘画模型,为角色形象、场景、道具出图;可选地,使用语音模型为角色生成样音
- ④ 分镜与成片:使用对话模型从剧本生成分镜,使用视频模型逐个生成镜头视频,最后由 FFmpeg 拼接为成片,可选旁白、水印
成片完成后,由管理员在【短剧管理】中公开,公开的作品会展示在【公开广场】中。
它组合使用了多种模型,各自的配置可见对应的文档:
| 环节 | 模型类型 | 说明 |
|---|---|---|
| 生成剧本、打磨剧本、分析资产、生成分镜 | 对话(CHAT) | 见 《功能开启》 |
| 角色形象、场景、道具出图 | 绘画(IMAGE) | 见 《AI 图片生成》,不支持 Midjourney |
| 镜头视频 | 视频(VIDEO) | 见 《AI 视频生成》,只能选择「视频生成」类的模型 |
| 角色样音、旁白(可选) | 语音(VOICE) | 见 《AI 语音生成》 |
| 成片合成 | 无 | 由后端调用本机的 FFmpeg 完成 |
整个功能,涉及到 10 个表:
- 【配置】
ai_api_key:API 密钥表 - 【配置】
ai_model:模型表 - 【短剧】
ai_drama_project:短剧项目表 - 【短剧】
ai_drama_script:短剧剧本表 - 【短剧】
ai_drama_character:短剧角色表 - 【短剧】
ai_drama_character_appearance:短剧角色形象表 - 【短剧】
ai_drama_location:短剧场景表 - 【短剧】
ai_drama_visual_asset:短剧视觉资产表 - 【短剧】
ai_drama_storyboard:短剧分镜表 - 【短剧】
ai_drama_audio:短剧音频表
补充说明:
ai_api_key、ai_model 已经在 《功能开启》 讲解,就不重复赘述。
AI 短剧需要导入对应的 SQL,包括:上述 8 个 ai_drama_ 开头的表,[AI 大模型 -> AI 短剧制作]、[AI 大模型 -> 控制台 -> 短剧管理] 菜单及其按钮权限,ai_drama_status、ai_drama_step、ai_drama_task_type 字典,以及「AI 短剧同步 Job」定时任务。
# 1. 前置准备
# 1.1 配置模型
在 [AI 大模型 -> 控制台 -> API 密钥]、[模型配置] 菜单,准备好以下模型:
- 对话模型:至少一个可用的「对话」模型。剧本、资产、分镜都要求模型返回 JSON,建议使用指令遵循较好的模型,例如说 DeepSeek、通义千问。DeepSeek 平台在生成剧本、打磨剧本、分析资产时,会开启 JSON 输出模式
- 绘画模型:至少一个「绘画」模型。字节跳动平台(Seedream)走火山方舟接口,输出 2048x2048 的图片,并会把角色、场景的参考图一起传给模型;其它平台按文生图处理,输出 1024x1024 的图片,不使用参考图。Midjourney 不支持
- 视频模型:至少一个「视频生成」类的视频模型,密钥与模型的配置见 《AI 视频生成》 的「1. 前置准备」小节。数字人口播、动作模仿类的模型不会出现在下拉框中
- 语音模型:可选,用于角色样音、旁白,配置见 《AI 语音生成》。生成为同步调用,需要在时限内返回音频的模型
# 1.2 安装 FFmpeg
成片由后端调用 ffmpeg、ffprobe 命令合成,所以运行后端的机器需要安装 FFmpeg,并具备以下能力:
- 编码:
libx264(H.264 视频)、AAC 音频 - 滤镜:
xfade、acrossfade(转场)、amix(混入旁白)、drawtext(水印,依赖编译时开启libfreetype)
可以执行 ffmpeg -hide_banner -filters 确认滤镜是否存在,执行 ffmpeg -hide_banner -encoders | grep libx264 确认编码器是否存在。
默认直接执行 PATH 中的 ffmpeg、ffprobe 命令,也可以在 application.yaml 中指定:
yudao:
ai:
drama:
ffmpeg-path: /usr/local/bin/ffmpeg # ffmpeg 命令,默认 ffmpeg
ffprobe-path: /usr/local/bin/ffprobe # ffprobe 命令,默认 ffprobe
font-file: /usr/share/fonts/noto-cjk/NotoSansCJK-Regular.ttc # 水印字体文件,默认为空
font-file 为空时,水印字体由 FFmpeg 按 fontconfig 选择,可能无法显示中文。需要中文水印时,请配置一个中文字体文件(例如说 Noto Sans CJK、思源黑体),并确认后端进程有权限读取。
友情提示:
使用 Docker 部署时,FFmpeg、字体需要安装在后端的容器镜像里,而不是宿主机上。
# 1.3 开启定时任务
镜头视频是服务商的异步任务,需要定时执行 AiDramaSyncJob 任务(JobHandler 名字为 aiDramaSyncJob),查询服务商的生成结果,把视频转存到项目的文件服务;同时把超过 60 分钟仍未结束的镜头视频、出图、成片合成任务,更新为已失败(失败原因为「任务超时」)。建议每 10 秒执行一次,即 Cron 表达式 0/10 * * * * ?。
在 [基础设施 -> 定时任务] 菜单,新增(或开启)「AI 短剧同步 Job」任务即可。具体怎么配置定时任务,可以参考 《定时任务》 文档。未开启时,镜头视频会一直停留在「生成中」。
# 2. 短剧制作
前端对应 [AI 大模型 -> AI 短剧制作] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/drama/project 目录,提供给普通用户使用。
后端 HTTP 接口,由 yudao-module-ai 模块的 drama 包实现,按项目、剧本、资产、分镜拆分为 AiDramaProjectController、AiDramaScriptController、AiDramaAssetController、AiDramaStoryboardController。用户只能操作自己的项目。
# 2.1 项目列表
列表页有【我的项目】【公开广场】两个页签。【我的项目】可以按项目名称、当前步骤、成片状态筛选,列表展示画风、画幅、当前步骤、镜头视频的完成数、成片状态等。
- 点击【新建项目】,打开新建页面,即下文的项目表单
- 点击项目名称或【编辑】,打开该项目的项目表单,查看、修改都在这里完成
- 【删除】会一并删除项目的剧本、角色、形象、场景、道具、音频与分镜

新建、编辑共用一个独立的项目表单页面,对应 @/views/ai/drama/project/form/index.vue,新建的路由为 /ai/drama/project/create,已有项目的路由为 /ai/drama/project/:id。顶部是「故事想法 → 剧本审阅 → 资产配置 → 分镜与成片」四个步骤,可以随时点击切换,当前步骤会保存到项目上,下次进入时直接回到这一步。有出图、镜头视频、成片合成在进行时,页面会自动刷新。
# 2.2 故事想法
左侧填写或修改项目名称、故事想法、画风、画幅(9:16、16:9、4:3、3:4、1:1,默认 9:16),点击右下角的【保存】。
右侧「生成剧本」区域,选择对话模型(为空时使用默认的对话模型),点击【生成剧本】,会先保存左侧的修改,再由对话模型按想法、画风,生成剧名、叙事基调、剧情大纲、剧本正文。每个项目只有一份剧本,已有剧本时按钮变为【重新生成剧本】,会覆盖当前的剧本;点击【查看剧本,进入剧本审阅】进入下一步。
新建时只能填写这一步:点击【保存】或【生成剧本】后创建项目,并切换到该项目的页面,再继续后面的步骤。
// DONE @AI:这里要截图一下么?(已补充「故事想法」截图)

# 2.3 剧本审阅
左侧可以直接修改剧名、叙事基调、剧情大纲、剧本正文,点击右下角的【保存剧本】。
右侧「AI 打磨」区域,选择对话模型,填写修改意见,点击【按意见打磨】,由对话模型按意见改写剧本。每次的修改意见都会记录下来,展示在下方,方便回顾。
剧本确定后,点击「下一步」区域的【分析资产,进入资产配置】,由对话模型从剧本中提取角色、场景、道具,以及它们的设定与出图提示词。重复分析时,只追加名称不重复的资产,不会覆盖已有的。也可以点击【跳过分析,直接配置资产】,手动添加。

# 2.4 资产配置
顶部选择绘画模型,下方是【角色】【场景】【道具】三个页签,并统计各自的出图进度。点击【一键补齐图片】,会为所有还没有图片的角色形象、场景、道具提交出图,已在出图中的会跳过。
- 角色:一个角色可以有多个形象(例如说「雨夜,湿透的风衣」),每个形象可以多次【出图】,出图结果作为候选图保留,从中选用一张。可以填写角色设定、出图提示词(为空时使用角色设定),上传参考图(字节跳动 Seedream 出图时作为参考)
- 场景:同样支持设定、出图提示词、参考图、多张候选图选用
- 道具:填写名称与出图提示词,出图后保存一张图片
出图时,会把项目的画风,以及角色、形象的设定拼接到提示词中。出图在后端异步执行,完成后转存到项目的文件服务。
角色还可以添加「样音」:上传音频,或选择语音模型、音色(例如说 longxiaochun)、语速与文本生成,再选用其中一条作为角色的声音。样音作为角色的声音设定保存,生成镜头视频、合成成片时不会使用。

# 2.5 分镜与成片
页面最上方是「成片」区域,展示成片的状态、时长、画幅与镜头数,可以在线播放、【下载】、【合成成片】;下方是分镜的操作栏与镜头列表。
选择对话模型,点击【从剧本生成分镜】,由对话模型把剧本拆为镜头:每个镜头包含场次、标题、景别、运镜、时长、画面描述、台词,以及出场的角色形象、场景、道具。重新生成会替换现有的全部镜头(包括已生成的视频);有镜头视频在生成中时,不允许重新生成。
也可以【新增镜头】,或【编辑】已有的镜头,手动调整上述内容。「起始帧」可以选择使用某个资产图:
- 有起始帧时,按图生视频提交
- 没有起始帧时,按文生视频提交
选择视频模型后,点击某个镜头的【生成视频】,或【批量生成视频】为所有未生成、已失败的镜头提交(参数不被模型支持的镜头,直接记为已失败,不影响其它镜头)。提交时,会把画面描述、景别运镜、场景、角色形象、道具、台词、画风拼接为提示词,画幅使用项目的画幅,时长使用镜头的时长。视频的生成、转存由「1.3 开启定时任务」小节的任务完成,失败的镜头可以查看失败原因,再次生成。

# 2.6 合成成片
至少 2 个镜头的视频完成后,点击「成片」区域的【合成成片】,在弹窗中填写:
- 镜头:默认全选已完成的镜头,可以取消勾选部分镜头,至少保留 2 个;按场次顺序拼接
- 画幅:成片的画幅,默认为项目的画幅。镜头的画幅不一致时,等比缩放并补黑边
- 转场:无、溶解、黑场淡入淡出、滑动;有转场时填写转场时长,0.1 ~ 2 秒,并且需要短于每个镜头
- 旁白:可选,选择本项目的一条旁白音频;也可以在弹窗中上传,或使用语音模型生成。旁白与镜头原有的声音混合,超出成片长度的部分会被截断
- 水印:可选,最多 32 个字符,显示在画面右下角

提交后,后端异步执行合成:画布短边为 720 像素、30 帧,编码为 H.264 + AAC,完成后转存到项目的文件服务,并记录成片的时长、画幅与镜头数。成片完成后,可以在线播放、【下载】,也可以调整参数【重新合成】。合成失败时,展示失败原因。
镜头选择、旁白、水印只用于本次合成,不会保存;转场类型与时长会记录到项目上。
# 2.7 公开广场
成片已完成、并由管理员公开的项目,会展示在【公开广场】中,同一租户的其它用户都可以播放、查看详情、下载。普通用户不能自行公开、撤回。
可以按名称或画风搜索,按成片的画幅、时长(30 秒内、30-60 秒、1 分钟以上)筛选。详情展示作者、时长、画风、画幅与镜头数、剧情大纲(取剧本的大纲)、出场角色(取选用的形象图)。公开接口只返回这些字段,不返回剧本正文、提示词与资产配置。

# 3. 短剧管理
前端对应 [AI 大模型 -> 控制台 -> 短剧管理] 菜单,对应 yudao-ui-admin-vue3 项目的 @/views/ai/drama/manager 目录,提供给管理员使用,分为【项目管理】【生成任务】两个页签。
# 3.1 项目管理
查看所有用户的短剧项目:
- 筛选:用户、项目名称、当前步骤、成片状态、是否公开、画幅、创建时间
- 列表:项目名称、用户、画风、画幅、当前步骤、镜头数、成片(可以点击播放)、是否公开等
- 操作:查看详情(故事想法、剧本、角色、场景与道具、镜头、成片等)、修改是否公开(只有成片已完成的项目可以公开,取消公开不限制)、删除

# 3.2 生成任务
把角色形象、场景图、视觉资产(道具)、镜头视频、成片合成五类任务,汇总到一个列表中查看。任务没有单独的表,直接取自各自记录上的状态、任务编号、失败原因。
- 筛选:任务类型、状态、用户、项目编号、模型、更新时间
- 列表:类型、项目、用户、名称、状态(超过 60 分钟未结束的,标记「超时」)、模型、提示词、服务商任务、结果、失败原因
- 操作:
- 【重新提交】:只有已失败的任务可以操作,使用上次的模型重新提交。成片合成会使用该项目全部已完成的镜头(至少 2 个),以及项目的画幅、转场,不带旁白、水印
- 【同步状态】:只有进行中的镜头视频可以操作,立即向服务商查询一次结果
- 【标记失败】:把进行中的任务更新为已失败
它的后端 HTTP 接口,由 AiDramaProjectController、AiDramaTaskController 实现。
# 4. 短剧表
以项目为中心:一个项目,对应一份剧本,以及多个角色、场景、视觉资产、分镜、音频;一个角色,对应多个形象。
各类任务的状态,统一对应 AiDramaStatusEnum 枚举、ai_drama_status 字典:
| 值 | 状态 | 说明 |
|---|---|---|
| 10 | 待处理 | 已创建,尚未提交给服务商 |
| 20 | 生成中 | 出图、生成视频、合成中 |
| 30 | 转存中 | 镜头视频已完成,正在转存到文件服务 |
| 40 | 已完成 | 结果已转存到文件服务 |
| 50 | 已失败 | 失败、超时,或被管理员标记失败,失败原因记录在 error_message 中 |
# 4.1 短剧项目表
// DONE @AI:表结构的说明,应该对齐其它文章的;(已按《AI 视频生成》等文章,改为「建表 SQL + 分组的字段说明」)
ai_drama_project:短剧项目表,同时记录成片的结果。
省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段
CREATE TABLE `ai_drama_project` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`user_id` bigint NOT NULL COMMENT '用户编号',
`name` varchar(64) NOT NULL COMMENT '项目名称',
`idea` text NULL COMMENT '故事想法',
`style` varchar(255) NULL COMMENT '画风',
`aspect_ratio` varchar(16) NOT NULL DEFAULT '9:16' COMMENT '画幅',
`status` tinyint NOT NULL DEFAULT 1 COMMENT '当前步骤:1 故事想法 2 剧本审阅 3 资产配置 4 分镜与成片',
`public_status` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否公开',
`compose_transition_type` tinyint NULL COMMENT '成片转场类型:0 无 1 溶解 2 黑场淡入淡出 3 滑动',
`compose_transition_duration_seconds` decimal(4, 2) NULL COMMENT '成片转场时长(秒)',
`compose_status` tinyint NULL COMMENT '成片状态:20 生成中 40 已完成 50 已失败;为空表示未合成',
`compose_task_id` varchar(64) NULL COMMENT '合成任务编号',
`compose_file_url` varchar(1024) NULL COMMENT '成片地址(文件服务)',
`compose_duration` decimal(8, 2) NULL COMMENT '成片时长(秒)',
`compose_aspect_ratio` varchar(16) NULL COMMENT '成片画幅:成片实际使用的',
`compose_storyboard_count` int NULL COMMENT '成片镜头数:成片实际拼接的',
`compose_error_message` varchar(1024) NULL COMMENT '合成失败原因',
PRIMARY KEY (`id`),
KEY `idx_user_id` (`user_id`),
KEY `idx_public_status` (`public_status`, `compose_status`),
KEY `idx_compose_status` (`compose_status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧项目表';
① user_id 字段:对应 system_users 表的 id 字段,表示哪个用户的项目。
② name、idea、style、aspect_ratio 字段:「故事想法」步骤填写的项目名称、故事想法、画风、画幅。
status 字段:当前步骤,对应 AiDramaProjectStepEnum 枚举、ai_drama_step 字典。
public_status 字段:是否公开,只能由管理员修改,且只有成片已完成的项目可以公开。
③ compose_ 开头的字段:成片合成的参数与结果。
compose_transition_type、compose_transition_duration_seconds字段:最近一次合成的转场类型(对应 AiDramaTransitionTypeEnum 枚举)、转场时长compose_status、compose_task_id、compose_error_message字段:合成的状态、本次合成的任务编号、失败原因。异步合成回写时比对任务编号,被标记失败后重新提交的,旧的合成结果不会覆盖新任务compose_file_url、compose_duration、compose_aspect_ratio、compose_storyboard_count字段:成片地址、时长、实际画幅、实际拼接的镜头数
# 4.2 短剧剧本表
ai_drama_script:短剧剧本表,每个项目一份。
省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段
CREATE TABLE `ai_drama_script` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`project_id` bigint NOT NULL COMMENT '项目编号',
`title` varchar(255) NULL COMMENT '剧本标题',
`tone` varchar(255) NULL COMMENT '叙事基调',
`outline` text NULL COMMENT '剧情大纲',
`content` mediumtext NULL COMMENT '剧本正文',
`revision_notes` json NULL COMMENT '打磨意见:[{note, time}]',
PRIMARY KEY (`id`),
KEY `idx_project_id` (`project_id`)
) ENGINE=InnoDB COMMENT='AI 短剧剧本表';
① project_id 字段:对应 ai_drama_project 表的 id 字段。下文其它表的 project_id 字段相同,不再重复说明。
② outline 字段:剧情大纲,公开广场中作为剧情简介展示。
revision_notes 字段:AI 打磨的修改意见记录,JSON 数组,每项包含意见 note 与时间 time。
# 4.3 短剧角色表、角色形象表
ai_drama_character:短剧角色表,记录角色的基础设定。
省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段
CREATE TABLE `ai_drama_character` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`project_id` bigint NOT NULL COMMENT '项目编号',
`name` varchar(128) NOT NULL COMMENT '角色名称',
`description` text NULL COMMENT '角色设定',
`prompt` text NULL COMMENT '出图提示词',
`reference_image_url` varchar(1024) NULL COMMENT '参考图地址',
PRIMARY KEY (`id`),
KEY `idx_project_id` (`project_id`)
) ENGINE=InnoDB COMMENT='AI 短剧角色表';
① prompt 字段:出图提示词,为空时使用角色设定 description。
② reference_image_url 字段:参考图地址,字节跳动 Seedream 出图时作为参考。
ai_drama_character_appearance:短剧角色形象表,一个角色可以有多个形象,分镜引用的是形象。
CREATE TABLE `ai_drama_character_appearance` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`character_id` bigint NOT NULL COMMENT '角色编号',
`appearance_index` int NOT NULL COMMENT '形象序号,从 1 开始',
`description` text NULL COMMENT '形象设定',
`prompt` text NULL COMMENT '出图提示词',
`candidates` json NULL COMMENT '候选图:[{url, description, modelId}]',
`selected_index` int NULL COMMENT '选用的候选图下标',
`task_id` varchar(64) NULL COMMENT '出图任务编号',
`status` tinyint NULL COMMENT '出图状态:20 生成中 40 已完成 50 已失败;为空表示未出图',
`error_message` varchar(1024) NULL COMMENT '失败原因',
PRIMARY KEY (`id`),
KEY `idx_character_id` (`character_id`),
KEY `idx_status` (`status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧角色形象表';
① character_id 字段:对应 ai_drama_character 表的 id 字段。
appearance_index 字段:形象序号,前端展示为「形象 N」。
② candidates 字段:候选图,JSON 数组,每项包含图片地址、描述、出图的模型编号;每次出图追加一项。
selected_index 字段:选用的候选图下标;首次出图成功时,自动选用。
③ task_id、status、error_message 字段:出图的任务编号、状态、失败原因。下文场景、视觉资产表的同名字段相同。
# 4.4 短剧场景表、视觉资产表
ai_drama_location:短剧场景表,字段与角色、角色形象类似。
省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段
CREATE TABLE `ai_drama_location` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`project_id` bigint NOT NULL COMMENT '项目编号',
`name` varchar(128) NOT NULL COMMENT '场景名称',
`description` text NULL COMMENT '场景设定',
`prompt` text NULL COMMENT '出图提示词',
`candidates` json NULL COMMENT '候选图:[{url, description, modelId}]',
`selected_index` int NULL COMMENT '选用的候选图下标',
`reference_image_url` varchar(1024) NULL COMMENT '参考图地址',
`task_id` varchar(64) NULL COMMENT '出图任务编号',
`status` tinyint NULL COMMENT '出图状态:20 生成中 40 已完成 50 已失败;为空表示未出图',
`error_message` varchar(1024) NULL COMMENT '失败原因',
PRIMARY KEY (`id`),
KEY `idx_project_id` (`project_id`),
KEY `idx_status` (`status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧场景表';
ai_drama_visual_asset:短剧视觉资产表,目前用于道具。
CREATE TABLE `ai_drama_visual_asset` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`project_id` bigint NOT NULL COMMENT '项目编号',
`kind` varchar(32) NULL COMMENT '资产类型,目前为 prop(道具)',
`title` varchar(255) NOT NULL COMMENT '资产名称',
`prompt` text NULL COMMENT '出图提示词',
`image_url` varchar(1024) NULL COMMENT '图片地址(文件服务)',
`model_id` bigint NULL COMMENT '绘画模型编号',
`task_id` varchar(128) NULL COMMENT '出图任务编号',
`status` tinyint NULL COMMENT '出图状态:20 生成中 40 已完成 50 已失败;为空表示未出图',
`error_message` varchar(1024) NULL COMMENT '失败原因',
PRIMARY KEY (`id`),
KEY `idx_project_id` (`project_id`),
KEY `idx_status` (`status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧视觉资产表';
① image_url、model_id 字段:图片地址、出图的模型编号。与角色形象、场景不同,只保存一张,重新出图会覆盖。
# 4.5 短剧分镜表
ai_drama_storyboard:短剧分镜表,每个镜头一条记录。
省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段
CREATE TABLE `ai_drama_storyboard` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`project_id` bigint NOT NULL COMMENT '项目编号',
`script_id` bigint NULL COMMENT '剧本编号',
`scene_no` int NOT NULL COMMENT '场次(播放顺序)',
`title` varchar(255) NULL COMMENT '镜头标题',
`shot_type` varchar(64) NULL COMMENT '景别',
`camera_move` varchar(128) NULL COMMENT '运镜',
`duration` int NULL COMMENT '时长(秒)',
`video_prompt` text NULL COMMENT '画面描述',
`dialogues` json NULL COMMENT '台词:[{characterId, line}]',
`appearance_ids` json NULL COMMENT '引用的角色形象编号:[id]',
`location_id` bigint NULL COMMENT '引用的场景编号',
`visual_asset_ids` json NULL COMMENT '引用的视觉资产编号:[id]',
`first_frame_url` varchar(1024) NULL COMMENT '起始帧地址;为空时文生视频',
`video_model_id` bigint NULL COMMENT '视频模型编号',
`task_id` varchar(128) NULL COMMENT '任务编号:待处理时为提交编号,提交后为服务商任务编号',
`video_status` tinyint NULL COMMENT '视频状态:10 待处理 20 生成中 30 转存中 40 已完成 50 已失败;为空表示未生成',
`video_url` varchar(1024) NULL COMMENT '视频地址(文件服务)',
`error_message` varchar(1024) NULL COMMENT '失败原因',
PRIMARY KEY (`id`),
KEY `idx_project_id` (`project_id`),
KEY `idx_video_status` (`video_status`, `update_time`)
) ENGINE=InnoDB COMMENT='AI 短剧分镜表';
① scene_no 字段:场次,也是播放、合成成片时的拼接顺序。
② dialogues 字段:台词,JSON 数组,每项包含说话的角色编号 characterId(为空表示旁白)、台词 line。
appearance_ids、location_id、visual_asset_ids 字段:出场的角色形象编号数组、场景编号、道具编号数组,生成视频时拼接到提示词中。
first_frame_url 字段:起始帧图片地址,有值时按图生视频提交,否则按文生视频提交。
③ video_model_id、task_id、video_status、error_message 字段:视频模型编号、任务编号、视频状态、失败原因。
video_url 字段:镜头视频地址,存储转存到文件服务后的地址。
镜头视频复用 《AI 视频生成》 的服务商客户端提交、查询,但结果记录在分镜表上,不会写入 ai_video 视频表,也不会出现在【视频管理】中。
# 4.6 短剧音频表
ai_drama_audio:短剧音频表,包括角色样音与旁白。
省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段
CREATE TABLE `ai_drama_audio` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',
`project_id` bigint NOT NULL COMMENT '项目编号',
`character_id` bigint NULL COMMENT '角色编号;旁白为空',
`type` tinyint NOT NULL COMMENT '类型:1 角色样音 2 选用的样音 3 旁白',
`file_url` varchar(1024) NOT NULL COMMENT '文件地址',
PRIMARY KEY (`id`),
KEY `idx_project_id` (`project_id`),
KEY `idx_character_id` (`character_id`)
) ENGINE=InnoDB COMMENT='AI 短剧音频表';
① type 字段:类型,对应 AiDramaAudioTypeEnum 枚举。选用的样音,每个角色最多一条。
最最最关键的代码!!!大家可以重点看看!!!
- AiDramaScriptServiceImpl:生成剧本、AI 打磨、分析资产、生成分镜的提示词与 JSON 解析
- AiDramaAssetServiceImpl:角色形象、场景、道具的异步出图,以及样音、旁白的生成
- AiDramaStoryboardServiceImpl:镜头视频的提交、同步、转存、超时
- AiDramaProjectServiceImpl:成片合成的提交、异步执行、重新合成
- AiFfmpegUtils(
util包):FFmpeg 合成命令的构建,包括画布、转场、旁白、水印 - AiDramaTaskServiceImpl:生成任务的汇总、重新提交、同步、标记失败、超时
// DONE @AI:感觉这个文档的风格,和其它文档不太一样,是不是得让 opus5.5 在改改噢。(对照《AI 视频生成》《AI PPT 生成》等调整:「2. 短剧制作」的小节统一为三级标题,故事想法、剧本审阅按当前界面重写并补截图;「4. 短剧表」改为建表 SQL + 分组的字段说明)