(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211036628.8 (22)申请日 2022.08.29 (71)申请人 四川天启智能科技有限公司 地址 610000 四川省成 都市金牛高新技术 产业园区金科东路50号,振兴西一路 15号5栋6层602号 申请人 西南交通大 学 (72)发明人 苟先太　顾凡　魏峰　曾开心　 蒋晓凤　程丽红　苟瀚文　 (74)专利代理 机构 成都正德明志知识产权代理 有限公司 513 60 专利代理师 杨木梅 (51)Int.Cl. B25J 9/16(2006.01) B25J 11/00(2006.01)A63F 9/20(2006.01) (54)发明名称 一种基于视听协同的麻将机器人系统及其 使用方法 (57)摘要 本发明公开了一种基于视听协同的麻将机 器人系统及其使用方法， 使用一台RGB相机采集 RGB图片， 一个麦克风采集语音信息， 并采用视听 信息结合的方式， 代替人眼和人耳进行牌局场景 的感知和数据采集。 使用所属玩家判断模块、 记 牌器模块、 打牌决策模块、 图片预处理模块等模 块紧密结合的方式， 代替人脑做数据处理， 总体 而言， 具有智能程度高、 硬件成本低、 占用空间 小、 感知无遗漏的优点。 权利要求书4页 说明书12页 附图1页 CN 115107041 A 2022.09.27 CN 115107041 A 1.一种基于 视听协同的麻将机器人系统， 其特 征在于， 包括： 模型训练模块， 用于搭建并训练麻将机器人系统工作 过程中所涉及的所有人工智能模 型； 信息存储模块， 用于进行 各个模块之间的各类型 数据的存 储和分发； 视听感知模块， 用于调用视 觉和听觉模型， 输出 麻将牌信息； 所属玩家判断模块， 用于识别麻将牌所属玩家信息； 记牌器模块， 用于存 储麻将对弈 过程中的麻将牌决策信息； 打牌决策模块， 用于执 行打牌决策， 确定待抓取 麻将牌； 图片预处 理模块， 用于处 理待抓取 麻将牌像素信息； 位姿估计模块， 用于确定待抓取 麻将牌的位姿数据； 坐标转换模块， 用于确定待抓取麻将牌的位置数据， 为机械臂抓取麻将牌提供位置参 考； 以及机械臂抓取模块， 用于将麻将牌 抓取到指定位置 。 2.根据权利要求1所述的基于视听协同的麻将机器人系统， 其特征在于， 所述人工智能 模型包括麻将牌花色分类模 型、 麻将牌3D特征点估计模型、 视听模型、 打牌决策模 型以及碰 杠胡决策模型； 其中， 麻将牌花色分类模型用于识别麻将牌的花色， 其部署于视听感知模块； 麻将牌3D 特征点估计模型用于确定麻将牌的位姿信息， 其部署于位姿估计模块； 视听模型用于识别 玩家的出牌决策信息， 其部署于视听感知模块； 打牌决策模型用于确定麻将机器人系统的 麻将出牌决策， 其部署于 打牌决策模块； 碰杠胡决策模型用于确定麻将机器人的碰牌、 杠牌 或胡牌决策， 其部署于打牌决策模块； 所述信息存储模块存储的各类型数据包括记牌数据、 决策参考数据以及位姿数据； 其 中， 记牌数据包括时间信息、 出牌、 碰牌、 杠牌、 胡牌以及所属玩家信息， 决策参考数据包括 场牌信息和己方手牌信息， 位姿 数据包括机械臂 坐标系中的麻将牌位姿信息和相机坐标系 中的麻将牌 位姿信息； 所述视听感知模块输出的麻将牌信息包括麻将牌类型、 麻将牌花色 以及实时出牌、 碰 杠胡牌信息 。 3.一种基于权利要求1~2任一权利要求所述的基于视听协同的麻将机器人系统 的麻将 机器人系统工作方法， 其特 征在于， 包括以下步骤： S1、 预先训练麻将牌 花色分类模型及麻将牌3D特 征点估计模型； S2、 牌局开始， 采集当前牌面图片， 并通过麻将牌花色分类模型确定图片中所有麻将牌 的花色种类； S3、 对当前牌 面图片进行 麻将牌类型区域划分； 其中， 划分结果包括已方手牌、 上家手牌、 下家手牌、 对家手牌、 已方场牌、 上家场牌、 下 家场牌、 对家场牌和牌池； S4、 实时采集 牌局当前 麻将决策信息； 其中， 麻将决策信息包括出牌、 碰牌、 杠牌和胡牌信息； S5、 在获取麻将决策信息过程中， 根据麻将牌花色分类模型及麻将决策信息所属类型 区域， 确定其所属玩家；权　利　要　求　书 1/4 页 2 CN 115107041 A 2S6、 通过记牌器模块记录当前 麻将牌决策信息、 所属玩家及时间信息； S7、 根据记牌器模块当前记录的信息、 己方手牌以及场牌信 息， 执行训练好的出牌决策 模型和碰杠胡决策模型， 判断是否胡牌； 若是， 则进入步骤S13； 若否， 则进入步骤S 8； S8、 选择抓取 麻将牌， 并确定待抓取 麻将牌的花色及位置； S9、 确定待抓取 麻将牌的图片； S10、 基于带抓取麻将牌的图片， 调用麻将牌3D特征点估计模型确定待抓取麻将牌在相 机坐标系下的位姿数据； S11、 对待抓取麻将牌的位姿数据进行坐标系转换， 确定机械臂坐标下的待抓取麻将牌 的位置数据； S12、 根据待抓取麻将牌的位置数据， 控制机械臂抓取模块抓取麻将牌至指定位置， 返 回步骤S4； S13、 结束本局麻将对弈。 4.根据权利要求3所述的麻将机器人系统工作方法， 其特征在于， 所述步骤S1中的麻将 牌花色分类模型为基于 YOLOv5目标检测网络模型的改进模型； 其中， 麻将牌花色分类模型中Head网络中的边界框损失函数为CIOU_Loss损失函数， 其 表达式为： 式中， 为衡量预测边框与真实边框的重叠程度的值， 为正的权重参数， 为衡量 边界框长宽比一致性的参数， 为预测边框的中心坐标值， 为真实边框的中心坐标值， 为预测边框与真实边框的最小重叠框的对角线长度值， 用来计算两中心坐标值的欧 氏空间距离； 麻将牌花色分类模型Head网络中的加权NMS标准为DIOU_nms标准， 其选择最优预测框 的公式为： 式中， 是分类置信度， 为非极大值抑制的阈值， 为具有最高分类置信度的边框， 为包含所有待检测边框的列表 中的第 个边框， 用来计算边框 和边框 对 中心点距离的惩罚项。 5.根据权利要求3所述的麻将机器人系统工作 方法， 其特征在于， 所述步骤S1中的3D特 征点估计模型包括依次连接的特征提取层、 金字塔池化网络和多阶卷积块； 其中， 金字塔池 化网络和多阶卷积块中的卷积为深度可分离卷积； 所述特征提取层采用Res2Net特征估计网络的前三层作 为3D特征点估计模型的前馈 网 络提取图片的多尺度特 征， 每部分特 征的输出 为：权　利　要　求　书 2/4 页 3 CN 115107041 A 3