(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210295266.8 (22)申请日 2022.03.24 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 胡雨婷　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王宝筠 (51)Int.Cl. G06Q 30/02(2012.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/16(2006.01) G10L 25/63(2013.01) G06Q 10/06(2012.01) G06Q 40/02(2012.01) (54)发明名称 一种服务质量确定方法及装置 (57)摘要 本申请公开了一种服务质量确定方法， 可以 应用于金融领域或其它领域。 包括： 获取第一用 户使用智能柜台时的视频数据和音频数据， 而 后， 基于所述视频数据和音频数据， 确定所述第 一用户的情感效价和所述第一用户的情感唤醒 度， 即确定第一用户在使用智能柜台时的情感状 态。 进一步地， 基于所述第一用户的情感效价和 所述第一用户的情感唤醒度， 确定所述智能柜台 的服务质量。 由此可见， 利用本方案， 可以基于第 一用户使用智能柜台时的视频数据和音频数据 来确定智能柜台的服务质量， 相比于基于用户评 价来确定智能柜台的服务质量相比， 所参考的因 素更加完善， 因此， 利用本方案， 能够准确的确定 智能柜台的服 务质量。 权利要求书2页 说明书6页 附图2页 CN 114612161 A 2022.06.10 CN 114612161 A 1.一种服 务质量确定方法， 其特 征在于， 所述方法包括： 获取第一用户使用智能柜台时的视频 数据和音频 数据； 基于所述视频数据和音频数据， 确定所述第 一用户的情感效价和所述第 一用户的情感 唤醒度； 基于所述第 一用户的情感效价和所述第 一用户的情感 唤醒度， 确定所述智能柜台的服 务质量。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述视频数据和音频数据， 确定 所述第一用户的情感效价和所述第一用户的情感唤醒度， 包括： 对所述视频数据进行处理， 得到所述第一用户的面部表情和所述第一用户的姿态， 根 据所述音频 数据得到所述第一用户的语音； 根据所述第一用户的面部表情、 所述第一用户的姿态以及所述第一用户的语音， 确定 所述第一用户的情感效价和所述第一用户的情感唤醒度。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第一用户的面部表情、 所述 第一用户的姿态以及所述第一用户的语音， 确定所述第一用户的情感效价和所述第一用户 的情感唤醒度， 包括： 将所述第一用户的面部表情、 所述第一用户的姿态以及所述第一用户的语音， 输入机 器学习模型， 得到所述第一用户的情感效价和所述第一用户的情感唤醒度， 所述机器学习 模型， 用于根据所述第一用户的面部表情、 所述第一用户的姿态以及所述第一用户的语音， 得到所述第一用户的情感效价和所述第一用户的情感唤醒度。 4.根据权利要求3所述的方法， 其特征在于， 所述机器学习模型， 根据训练数据以及训 练数据对应的标签训练得到， 所述训练数据包括： 训练用户的面部表情、 所述训练用户的姿 态以及所述训练用户的语音， 所述训练数据的标签， 用于指示所述训练数据对应的情感效 价和所述训练数据对应的情感唤醒度。 5.根据权利要求4所述的方法， 其特征在于， 所述训练数据以及训练数据对应的标签， 从情感数据库中获得， 所述情感数据库中包括情感数据， 以及情感数据对应的情感效价和 情感数据对应的情感唤醒度。 6.一种服 务质量确定装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取第一用户使用智能柜台时的视频 数据和音频 数据； 第一确定单元， 用于基于所述视频数据和音频数据， 确定所述第一用户的情感效价和 所述第一用户的情感唤醒度； 第二确定单元， 用于基于所述第一用户的情感效价和所述第一用户的情感唤醒度， 确 定所述智能柜台的服 务质量。 7.根据权利要求6所述的装置， 其特 征在于， 所述第一确定单 元， 用于： 对所述视频数据进行处理， 得到所述第一用户的面部表情和所述第一用户的姿态， 根 据所述音频 数据得到所述第一用户的语音； 根据所述第一用户的面部表情、 所述第一用户的姿态以及所述第一用户的语音， 确定 所述第一用户的情感效价和所述第一用户的情感唤醒度。 8.根据权利要求7所述的装置， 其特征在于， 所述根据所述第一用户的面部表情、 所述 第一用户的姿态以及所述第一用户的语音， 确定所述第一用户的情感效价和所述第一用户权　利　要　求　书 1/2 页 2 CN 114612161 A 2的情感唤醒度， 包括： 将所述第一用户的面部表情、 所述第一用户的姿态以及所述第一用户的语音， 输入机 器学习模型， 得到所述第一用户的情感效价和所述第一用户的情感唤醒度， 所述机器学习 模型， 用于根据所述第一用户的面部表情、 所述第一用户的姿态以及所述第一用户的语音， 得到所述第一用户的情感效价和所述第一用户的情感唤醒度。 9.根据权利要求8所述的装置， 其特征在于， 所述机器学习模型， 根据训练数据以及训 练数据对应的标签训练得到， 所述训练数据包括： 训练用户的面部表情、 所述训练用户的姿 态以及所述训练用户的语音， 所述训练数据的标签， 用于指示所述训练数据对应的情感效 价和所述训练数据对应的情感唤醒度。 10.根据权利要求9所述的装置， 其特征在于， 所述训练数据以及训练数据对应的标签， 从情感数据库中获得， 所述情感数据库中包括情感数据， 以及情感数据对应的情感效价和 情感数据对应的情感唤醒度。权　利　要　求　书 2/2 页 3 CN 114612161 A 3