ruoyi-vue-pro 开发指南 ruoyi-vue-pro 开发指南
  • 萌新必读
  • 后端手册
  • 中间件手册
  • 工作流手册
  • 大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
  • 运维手册
  • 前端手册 Vue 3.x
  • 前端手册 Vben 5.x
  • 前端手册 Vue 2.x
  • 前端手册 Admin Uniapp
  • 工作流手册
  • 大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
视频教程
  • Vue3 + element-plus (opens new window)
  • Vue3 + vben5(ant-design-vue、element-plus) (opens new window)
  • Vue2 + element-ui (opens new window)
微服务版 (opens new window)
作者博客 (opens new window)
GitHub (opens new window)
  • 萌新必读
  • 后端手册
  • 中间件手册
  • 工作流手册
  • 大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
  • 运维手册
  • 前端手册 Vue 3.x
  • 前端手册 Vben 5.x
  • 前端手册 Vue 2.x
  • 前端手册 Admin Uniapp
  • 工作流手册
  • 大屏手册
  • 支付手册
  • 会员手册
  • 商城手册
  • ERP 手册
  • CRM 手册
  • MES 手册
  • WMS 手册
  • IM 即时通讯手册
  • AI 大模型手册
  • IoT 物联网手册
  • 公众号手册
  • 系统手册
视频教程
  • Vue3 + element-plus (opens new window)
  • Vue3 + vben5(ant-design-vue、element-plus) (opens new window)
  • Vue2 + element-ui (opens new window)
微服务版 (opens new window)
作者博客 (opens new window)
GitHub (opens new window)
  • 萌新必读

    • 简介
    • 交流群
    • 视频教程
    • 功能列表
    • 快速启动(后端项目)
    • 快速启动(前端项目)
    • 接口文档
    • 技术选型
    • 项目结构
    • 代码热加载
    • 一键改包
    • 迁移模块(适合新项目)
    • 删除功能(以租户为例)
    • 表结构变更(版本升级)
    • 国产信创数据库(DM 达梦、大金、OpenGauss、瀚高)
    • 如何去除 Redis 缓存
    • 内网穿透
    • 面试题、简历模版、简历优化
    • 项目外包
  • 后端手册

    • 新建模块
    • 代码生成【单表】(新增功能)
    • 代码生成【主子表】
    • 代码生成(树表)
    • 代码生成(移动端)
    • 功能权限
    • 数据权限
    • 用户体系
    • 三方登录
    • OAuth 2.0(SSO 单点登录)
    • SaaS 多租户【字段隔离】
    • SaaS 多租户【数据库隔离】
    • WebSocket 实时通信
    • 异常处理(错误码)
    • 参数校验、时间传参
    • 分页实现
    • VO 对象转换、数据翻译
    • 文件存储(上传下载)
    • Excel 导入导出
    • 操作日志、访问日志、异常日志
    • MyBatis 数据库
    • MyBatis 联表&分页查询
    • 多数据源(读写分离)、事务
    • Redis 缓存
    • 本地缓存
    • 异步任务
    • 分布式锁
    • 幂等性(防重复提交)
    • 请求限流(RateLimiter)
    • HTTP 接口签名(防篡改)
    • HTTP 接口加解密
    • 单元测试
    • 验证码
    • 工具类 Util
    • 配置管理
    • 数据库文档
  • 中间件手册

    • 定时任务
    • 消息队列(内存)
    • 消息队列(Redis)
    • 消息队列(RocketMQ)
    • 消息队列(RabbitMQ)
    • 消息队列(Kafka)
    • 限流熔断
  • 工作流手册

    • 工作流演示
    • 功能开启
    • 工作流(达梦适配)
    • 审批接入(流程表单)
    • 审批接入(业务表单)
    • 流程设计器(BPMN)
    • 流程设计器(钉钉、飞书)
    • 选择审批人、发起人自选
    • 会签、或签、依次审批
    • 流程发起、取消、重新发起
    • 审批通过、不通过、驳回
    • 审批加签、减签
    • 审批转办、委派、抄送
    • 执行监听器、任务监听器
    • 流程表达式
    • 流程审批通知
    • 移动端审批
  • 大屏手册

    • 报表设计器
    • 大屏设计器
  • 支付手册

    • 功能开启
    • 支付宝支付接入
    • 微信公众号支付接入
    • 微信小程序支付接入
    • 支付宝、微信退款接入
    • 支付宝转账接入
    • 微信转账接入
    • 钱包充值、支付、退款
    • 模拟支付、退款
  • 会员手册

    • 功能开启
    • 微信公众号登录
    • 微信小程序登录
    • 微信小程序订阅消息
    • 微信小程序码
    • 会员用户、标签、分组
    • 会员等级、积分、签到
  • 商城手册

    • 商城演示
    • 功能开启
    • 商城装修
    • 在线客服
    • 【商品】商品分类
    • 【商品】商品属性
    • 【商品】商品 SPU 与 SKU
    • 【商品】商品评价
    • 【交易】购物车
    • 【交易】交易订单
    • 【交易】售后退款
    • 【交易】快递发货
    • 【交易】门店自提
    • 【交易】分销返佣
    • 【营销】优惠劵
    • 【营销】积分商城
    • 【营销】拼团活动
    • 【营销】秒杀活动
    • 【营销】砍价活动
    • 【营销】满减送活动
    • 【营销】限时折扣
    • 【营销】内容管理
    • 【统计】会员、商品、交易统计
  • ERP手册

    • ERP 演示
    • 功能开启
    • 【产品】产品信息、分类、单位
    • 【库存】产品库存、库存明细
    • 【库存】其它入库、其它出库
    • 【库存】库存调拨、库存盘点
    • 【采购】采购订单、入库、退货
    • 【销售】销售订单、出库、退货
    • 【财务】采购付款、销售收款
  • CRM手册

    • CRM 演示
    • 功能开启
    • 【线索】线索管理
    • 【客户】客户管理、公海客户
    • 【商机】商机管理、商机状态
    • 【合同】合同管理、合同提醒
    • 【回款】回款管理、回款计划
    • 【产品】产品管理、产品分类
    • 【通用】数据权限
    • 【通用】跟进记录、待办事项
  • AI大模型手册

    • AI 大模型演示
    • 功能开启
    • AI 聊天对话
    • AI 绘画创作
    • AI 知识库(RAG)
    • AI 音乐创作
    • AI 写作助手
    • AI 思维导图
    • AI 工具(function calling)
    • AI 工作流
    • Dify 工作流
    • FastGPT 工作流
    • Coze 智能体
    • 推理模式(thinking)
    • 联网搜索
    • MCP Client 客户端
    • MCP Server 服务端
    • 【模型接入】Claude
    • 【模型接入】OpenAI
    • 【模型接入】通义千问
    • 【模型接入】DeepSeek
    • 【模型接入】字节豆包
    • 【模型接入】腾讯混元
    • 【模型接入】硅基流动
    • 【模型接入】MiniMax
    • 【模型接入】月之月面
    • 【模型接入】百川智能
    • 【模型接入】文心一言
    • 【模型接入】LLAMA
    • 【模型接入】智谱 GLM
    • 【模型接入】讯飞星火
    • 【模型接入】微软 OpenAI
    • 【模型接入】谷歌 Gemini
    • 【模型接入】Stable Diffusion
    • 【模型接入】Midjourney
    • 【模型接入】Suno
  • IoT物联网手册

    • 功能开启
    • 产品管理
    • 设备管理
    • 物模型配置
    • 设备网关与子设备
    • 设备动态注册
    • 设备接入(概述)
    • 设备接入(HTTP 协议)
    • 设备接入(MQTT 协议)
    • 设备接入(EMQX 协议)
    • 设备接入(TCP 协议)
    • 设备接入(UDP 协议)
    • 设备接入(WebSocket 协议)
    • 设备接入(CoAP 协议)
    • 设备接入(Modbus Client 模式)
    • 设备接入(Modbus Server 模式)
    • 设备接入(自定义协议)
    • 场景联动
    • 数据流转
    • 告警配置
    • OTA 固件升级
  • MES手册

    • MES 演示
    • 功能开启
    • 【基础】物料产品、分类、计量单位
    • 【基础】客户管理、供应商管理
    • 【基础】车间设置、工作站设置
    • 【基础】编码规则
    • 【生产】工序设置、工艺流程
    • 【生产】生产工单
    • 【生产】生产排产、工序流转卡
    • 【生产】生产报工
    • 【生产】安灯配置、安灯呼叫
    • 【生产】工作记录
    • 【仓库】仓库与库区库位、条码赋码、SN码
    • 【仓库】批次管理、库存现有量、库存事务
    • 【仓库】到货通知、采购入库、采购退货
    • 【仓库】生产领料、生产退料、物料消耗
    • 【仓库】产品产出、产品入库
    • 【仓库】发货通知、销售出库、销售退货
    • 【仓库】外协发料、外协入库
    • 【仓库】其他入库、其他出库
    • 【仓库】调拨单、装箱管理
    • 【仓库】库存盘点
    • 【质量】检测项设置、常见缺陷
    • 【质量】质检方案
    • 【质量】来料检验(IQC)
    • 【质量】过程检验(IPQC)
    • 【质量】出货检验(OQC)
    • 【质量】退货检验(RQC)
    • 【质量】待检任务、检验结果、缺陷记录
    • 【设备】设备类型、设备台账
    • 【设备】点检保养项目、点检保养方案
    • 【设备】点检记录、保养记录、维修单
    • 【工具】工具类型、工装夹具台账
    • 【排班】班组设置、节假日设置
    • 【排班】排班计划、排班日历
  • WMS手册

    • WMS 演示
    • 功能开启
    • 【基础】仓库
    • 【基础】商品、SKU、分类、品牌
    • 【基础】往来企业(供应商、客户)
    • 【库存】库存记录、流水、统计
    • 【单据】入库
    • 【单据】出库
    • 【单据】移库
    • 【单据】盘库
    • 【其它】WMS、MES、ERP 对比
  • IM即时通讯手册

    • IM 演示
    • 功能开启
    • 【好友】好友关系、好友申请
    • 【群聊】群组、群成员、入群申请
    • 【消息】私聊、群聊、频道消息
    • 【频道】频道、频道素材
    • 【内容】表情、敏感词
    • 【通话】语音通话、视频通话、桌面共享
      • 1. 表结构
        • 1.1 通话记录
        • 1.2 通话参与者
      • 2. 通话状态机
        • 2.1 通话状态
        • 2.2 参与者状态
        • 2.3 结束原因
      • 3. 通话流程与 LiveKit
      • 4. 用户侧
        • 4.1 私聊通话(一对一)
        • 4.2 群聊通话(多人)
        • 4.3 通话记录
      • 5. 运营侧
    • 【WebSocket】实时推送与离线消息
  • 公众号手册

    • 功能开启
    • 公众号接入
    • 公众号粉丝
    • 公众号标签
    • 公众号消息
    • 模版消息
    • 自动回复
    • 公众号菜单
    • 公众号素材
    • 公众号图文
    • 公众号统计
  • 系统手册

    • 短信配置
    • 邮件配置
    • 站内信配置
    • Webhook(钉钉、飞书、企微)
    • 数据脱敏、字段权限
    • 敏感词
    • 地区 & IP 库
  • 运维手册

    • 开发环境
    • Linux 部署
    • Docker 部署
    • Jenkins 部署
    • 宝塔部署
    • 1Panel 部署
    • HTTPS 证书
    • 服务监控
    • Tomcat WAR 部署
  • 前端手册 Vue 3.x

    • 开发规范
    • 菜单路由
    • Icon 图标
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
    • CRUD 组件
    • 国际化
    • IDE 调试
    • 代码格式化
  • 前端手册 Vben 5.x

    • 开发规范
    • 菜单路由
    • 图标、主题、国际化
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
    • IDE 调试
    • 代码格式化
  • 前端手册 Vue 2.x

    • 开发规范
    • 菜单路由
    • Icon 图标
    • 字典数据
    • 系统组件
    • 通用方法
    • 配置读取
  • 前端手册 Admin Uniapp

    • 开发规范
    • 菜单路由
    • 图标、主题、国际化
    • 字典数据
    • 系统组件
    • 通用方法
    • IDE 调试
    • 代码格式化
    • 运行发布
  • 更新日志

    • 【v2026-06】
    • 【v2026-05】
    • 【v2026-04】
    • 【v2026-03】
    • 【v2026-01】
    • 【v2025-12】
    • 【v2025-11】
    • 【v2025-10】
    • 【v2025-09】
    • 【v2025-08】
    • 【v2-6-1】2025-07-19
    • 【v2-6-0】2025-06-07
    • 【v2.5.0】2025-05-13
    • 【v2.4.2】2025-04-12
    • 【v2.4.1】2025-02-09
    • 【v2.4.0】2024-12-31
    • 【v2.3.0】2024-10-07
    • 【v2.2.0】2024-08-02
    • 【v2.1.0】2024-05-05
    • 【v2.0.1】2024-03-01
    • 【v2.0.0】2024-01-26
  • 开发指南
  • IM即时通讯手册
芋道源码
2026-06-17
目录

【通话】语音通话、视频通话、桌面共享

通话提供实时音视频能力:私聊一对一、群聊多人,支持语音、视频与桌面共享。通话模块由 yudao-module-im 后端模块的 rtc 包实现,用户侧前端在 @/views/im/home 的通话组件里。

本篇是「手册 + 原理」合篇:通话的「怎么用」很薄(发起 / 接听 / 挂断 + 通话记录),「怎么实现」(状态机、LiveKit 接入、信令与兜底)才是主体,所以一起讲。

信令走 IM,媒体走 LiveKit

芋道 IM 不自己传音视频流,而是外接开源 SFU LiveKit (opens new window):呼叫、接听、挂断等信令通过 IM 的 WebSocket 走,真正的音视频媒体流由客户端直连 LiveKit 房间。所以 RTC 是一个相对独立的子系统,不与文本消息的推送管线交织。

为什么选 LiveKit:自研 SFU(音视频选择性转发、级联、拥塞控制)成本极高,而 LiveKit 是开源、可自托管的 WebRTC SFU,提供成熟的多端 SDK(Web / 移动 / 桌面)、服务端 token 鉴权与房间事件 webhook,接入快、生态活跃;OpenAI 的实时语音(Realtime API / ChatGPT 语音)等方案也基于它,可靠性经过验证。芋道 IM 只负责「信令 + 业务状态」,把媒体面整体交给 LiveKit。

本文涉及通话记录表 im_rtc_call、通话参与者表 im_rtc_participant:一通通话一条主记录(im_rtc_call),通话里每个参与者一条明细(im_rtc_participant),通过 room(业务通话编号)关联。

  • 通话记录:一通通话的主信息,含会话类型、媒体类型、发起人、状态、结束原因、各阶段时间。
  • 通话参与者:通话中每个人的明细,含角色、参与状态、被邀请 / 接听 / 离开时间。

# 1. 表结构

省略 creator/create_time/updater/update_time/deleted/tenant_id 等通用字段

# 1.1 通话记录

通话记录,用户侧由 ImRtcCallController 提供接口(/im/rtc)。

CREATE TABLE `im_rtc_call` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',

  `room` varchar(64) NOT NULL COMMENT '业务通话编号',
  `conversation_type` tinyint NOT NULL COMMENT '会话类型(1=私聊,2=群聊)',
  `media_type` tinyint NOT NULL COMMENT '媒体类型(1=语音,2=视频)',
  `inviter_user_id` bigint NOT NULL COMMENT '发起人用户编号',
  `group_id` bigint DEFAULT NULL COMMENT '群编号(群通话时)',

  `status` tinyint NOT NULL COMMENT '通话状态',
  `end_reason` tinyint DEFAULT NULL COMMENT '结束原因',

  `start_time` datetime NOT NULL COMMENT '发起时间',
  `accept_time` datetime DEFAULT NULL COMMENT '接通时间',
  `end_time` datetime DEFAULT NULL COMMENT '结束时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_room` (`room`)
) ENGINE=InnoDB COMMENT='IM 通话记录表';

① room 业务通话编号,全局唯一,是一通通话的稳定标识,也是 LiveKit 的房间名。

② conversation_type 私聊 / 群聊;media_type 语音 / 视频(枚举 ImRtcCallMediaTypeEnum);桌面共享是视频通话里的一路屏幕轨道,不单独占媒体类型。group_id 仅群通话有值。

③ status 通话状态、end_reason 结束原因,见 §2 状态机;start_time / accept_time / end_time 分别是发起 / 接通 / 结束时间,通话时长 = end_time - accept_time。

# 1.2 通话参与者

CREATE TABLE `im_rtc_participant` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '编号',

  `call_id` bigint NOT NULL COMMENT '通话编号',
  `room` varchar(64) NOT NULL COMMENT '业务通话编号',
  `user_id` bigint NOT NULL COMMENT '参与者用户编号',

  `role` tinyint NOT NULL COMMENT '参与角色',
  `status` tinyint NOT NULL COMMENT '参与状态',

  `invite_time` datetime NOT NULL COMMENT '被邀请时间',
  `accept_time` datetime DEFAULT NULL COMMENT '接听时间',
  `leave_time` datetime DEFAULT NULL COMMENT '离开时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_room_user` (`room`, `user_id`)
) ENGINE=InnoDB COMMENT='IM 通话参与者表';

① call_id / room 关联通话,唯一键 (room, user_id) 保证一通通话里一个人一条明细。

② role 参与角色,枚举 ImRtcParticipantRoleEnum(1=发起人,2=被邀请者,3=主动加入者;主动加入仅群通话——旁观者点「N 人正在通话」胶囊条加入)。

③ status 参与状态,见 §2.2。

# 2. 通话状态机

通话有两套互相配合的状态机:主表 im_rtc_call.status(整通通话)与明细 im_rtc_participant.status(每个人)。

# 2.1 通话状态

枚举 ImRtcCallStatusEnum:

状态值 枚举 说明 可执行操作
10 CREATED 已创建(私聊等被叫接听;群聊发起人已进房) 接听、拒绝、取消、加入
20 RUNNING 进行中(首个非发起人接通后) 离开、追加邀请
30 ENDED 已结束 —

通话状态流转

createCall ──→ 创建(10) ──首个被叫接听──→ 进行中(20) ──任一方挂断/最后一人离开──→ 已结束(30)
                  │
                  └──无人接听 / 主叫取消 / 全部拒绝──→ 已结束(30)
  • 发起(createCall):落 im_rtc_call(CREATED)+ 参与者明细(发起人 JOINED、被叫 INVITING),并推来电信令。
  • 接听(acceptCall):被叫接通,首个接通把通话推进到 RUNNING。
  • 拒绝 / 取消(rejectCall / cancelCall):接通前,被叫拒接或主叫取消。
  • 离开(leaveCall):接通后挂断;最后一人离开则通话 ENDED。
  • 追加邀请 / 加入(inviteCall / joinCall):仅群通话,通话中拉人或旁观者主动加入。

# 2.2 参与者状态

枚举 ImRtcParticipantStatusEnum:

状态值 枚举 说明
10 INVITING 邀请中(已发出 invite,等响应)
20 JOINED 已加入(已进 LiveKit 房间)
30 REJECTED 已拒绝(接通前点拒接)
40 NO_ANSWER 未应答(通话结束仍未接)
50 LEFT 已离开(接通后挂断 / 兜底)

通话结束时,所有参与者明细必收敛到 LEFT / REJECTED / NO_ANSWER 三个终态之一。

# 2.3 结束原因

通话结束时按场景写 end_reason(枚举 ImRtcCallEndReasonEnum),并据此生成通话历史消息文案:

值 原因 场景
1 通话结束 接通后任一方主动挂断
2 已拒绝 被叫接通前点拒接
3 已取消 主叫接通前主动取消
4 无人接听 振铃超时未接通(参与者超时 Job 触发)
5 对方正忙 私聊呼叫时对方在另一通话
9 通话异常 网络中断、设备失败等

# 3. 通话流程与 LiveKit

TODO @codex:"把本节私聊视频呼叫时序画成更直观的流程图:主叫 createCall → 服务端落库 + 推来电信令 → 被叫 acceptCall → 双方进 LiveKit 房间媒体互通 → 挂断 leaveCall 落『通话结束』消息;左右分栏标注『信令走 IM』『媒体走 LiveKit』。"

以私聊视频呼叫为例,端到端时序如下:

sequenceDiagram
  participant 主叫
  participant 服务端 as IM 服务端
  participant LK as LiveKit
  participant 被叫
  主叫->>服务端: createCall(落 im_rtc_call CREATED + 参与者 INVITING)
  服务端->>被叫: WebSocket 推送来电信令(RTC_CALL)
  服务端-->>主叫: 返回 LiveKit token + url
  主叫->>LK: 用 token 进房(等待)
  被叫->>服务端: acceptCall(参与者 → JOINED)
  服务端-->>被叫: 返回 token + url
  被叫->>LK: 进房,媒体互通(status → RUNNING)
  LK-->>服务端: webhook participant_joined / left(兜底状态)
  被叫->>服务端: leaveCall(status → ENDED,落「通话结束」消息)

几个关键点:

  • Token 签发:buildCallRespVO 在 invite / join / accept 时按当前用户签 LiveKit token(signCallToken)并下发 livekitUrl;通话已结束(ENDED)则不签发,前端据此判定「通话已结束」。
  • Webhook 兜底:LiveKit 的 participant_joined / participant_left 回调(由 ImRtcLiveKitController 接收)会兜底纠正参与者状态,防止客户端异常退出导致状态卡住。
  • 振铃超时:被叫长时间不接,由后端超时 Job 把参与者置 NO_ANSWER、通话置 ENDED(end_reason=无人接听);前端 RUNNING 端也会调 noAnswerCallCheck 兜底触发。
  • 通话信令不入库:来电 / 参与者加入离开等信令(ImContentTypeEnum 的 1601 / 1602 / 1603)仅 WebSocket 推送、不入库;只有「通话开始」「通话结束」(1610 / 1611)入消息流,用于在聊天里渲染通话记录气泡 / 提示。信令推送机制详见 《WebSocket 实时推送与离线消息》。

# 4. 用户侧

# 4.1 私聊通话(一对一)

在好友资料卡或私聊会话里点「语音通话 / 视频通话」发起,对端收到来电后可接听 / 拒绝;接通后进入音视频窗口,可静音、开关摄像头、共享桌面(视频通话中开启屏幕共享轨道)、挂断。

发起通话

# 4.2 群聊通话(多人)

在群里发起多人通话、勾选成员邀请,通话中还可继续追加邀请(inviteCall)。群里正在进行的通话会在群顶部显示「N 人正在通话」胶囊条(getActiveCall),旁观成员点击即可加入(joinCall)。

通话窗口

# 4.3 通话记录

无论私聊还是群聊,通话结束后都会在聊天里留下一条记录(如「通话时长 02:51」「已取消」「无人接听」),由 RTC_CALL_START / RTC_CALL_END 两条消息在聊天流里渲染。

# 5. 运营侧

运营侧在 [IM 即时通讯 -> 通话记录] 下,对应 @/views/im/manager/rtc 目录,由 ImRtcCallManagerController 提供只读分页查询:可按会话类型、媒体类型、通话状态、结束原因、时间等筛选,查看通话记录与参与人、通话时长。运营侧不发起 / 不干预通话。

通话记录

【内容】表情、敏感词
【WebSocket】实时推送与离线消息

← 【内容】表情、敏感词 【WebSocket】实时推送与离线消息→

Theme by Vdoing | Copyright © 2019-2026 芋道源码 | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式
×