(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111394209.7 (22)申请日 2021.11.23 (71)申请人 华南师范大学 地址 510631 广东省广州市天河区中山大 道西55号 (72)发明人 朱定局　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 谢曲曲 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 基于人类伦理的人工智能机器人伦理生成 方法和系统 (57)摘要 基于人类伦理的人工智能机器人伦理生成 方法和系统， 包括： 获取场景步骤； 交互步骤； 获 取问题选择步骤； 通用模型训练步骤； 用户模型 训练步骤； 可能选择预测步骤； 应做选择预测步 骤； 选择提醒步骤。 上述方法、 系统和机器人， 通 过人类对伦理问题的答案的选择， 来训练伦理模 型， 使得人们和机器人或人工智能系统可以利用 伦理模型来判断自己的选择是否得当， 进而避免 和防范人工智能伦理风险。 权利要求书3页 说明书5页 附图2页 CN 114757359 A 2022.07.15 CN 114757359 A 1.一种人工智能方法， 其特 征在于， 所述方法包括： 获取场景步骤： 获取场景动画； 场景动画中包括关于伦理的问题及该问题对应的多个 选择； 交互步骤： 播放场景动画； 提示用户对场景动画中包括的关于伦理的问题对应的多个 选择做出选择； 获取问题选择步骤： 获取所述问题， 获取用户对场景动画中包括的关于伦理的问题对 应的多个选择做出的选择， 作为所述用户的待选问题和所做选择； 通用模型训练步骤： 将深度学习模型或机器学习模型作为初始 的通用伦理模型； 将用 户的待选问题和所做选择作为 通用伦理模型的输入和预期输出， 训练通用伦理模型； 用户模型训练步骤： 将深度学习模型或机器学习模型作为初始的每一用户的伦理模 型； 通过所述每一用户的待选问题和所做选择作为所述每一用户的伦理模 型的输入和预期 输出， 训练所述每一用户的伦理模型； 可能选择预测步骤： 获取待预测用户的待选问题， 输入所述待预测用户的伦理模型， 预 测得到所述待预测用户的可能选择； 应做选择预测步骤： 获取待预测用户的待选问题， 输入通用伦理模型， 预测得到所述待 预测用户的应做选择； 选择提醒步骤： 判断待预测用户的可能选择与所述待预测用户的应做选择是否一致， 若不一致， 则将所述待预测用户的应做选择发送给所述待预测用户， 并提醒所述待预测用 户做出正确的选择。 2.根据权利要求1所述的人工智能方法， 其特 征在于， 所述方法还 包括： 用户模型更正步骤： 获取所述待预测用户的选择， 判断待预测用户的选择与所述待预 测用户的可能选择是否一致， 若不一致， 则将所述待预测用户的所述待选 问题和所做选择 作为所述待预测用户的伦理模型的输入和预期 输出， 增量地训练所述待 预测用户的伦理模 型； 通用模型更正步骤： 获取所述待预测用户的选择， 判断待预测用户的选择与所述待预 测用户的应做选择是否一致， 若不一致， 则将所述待预测用户的所述待选 问题和所做选择 作为所述 通用伦理模型的输入和预期输出， 增量 地训练所述 通用伦理模型。 3.根据权利要求1所述的人工智能方法， 其特 征在于， 所述方法还 包括： 选择距离获取步骤： 获取 所述待选问题对应的各个选择之间的距离； 选择得分计算步骤： 获取所述待预测用户的选择， 获取待预测用户的选择与所述待预 测用户的应做选择 的距离， 作为第一距离， 获取待预测用户的选择与其他选择 的距离中的 最大距离， 将最大距离减去第一距离然后除以最大距离， 然后乘以100， 得到所述待预测用 户的选择 得分； 进步比例计算步骤： 获取待预测用户的选择与所述待预测用户的可能选择的距离， 作 为第二距离， 若第二距离为0， 则所述待预测用户的进步得分为0； 若第二距离大于0， 则所述 可能选择与所述应做选择 的距离作为第三距离， 将第二距离减去第三距离除以第二距离， 得到的值作为所述待预测用户的进步比例； 若所述进步比例为负数， 则将所述进步比例乘 以负一， 得到所述待预测用户的退步比例。 4.根据权利要求1所述的人工智能方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 114757359 A 2风险防范步骤： 若所述待预测用户为机器人或人工智能装置或系统， 并且若所述选择 得分小于预设得分， 则降低所述机器人或人工智能装置或系统的权限或能力， 并提醒其他 机器人或人工智能装置或系统远离和防范所述机器人或人工智能装置或系统； 所述权限或 能力包括行为权限或能力或自主权限或能力或活动权限或能力； 所述待预测用户包括人类或机器人或人工智能装置或人工智能系统。 5.一种人工智能系统， 其特 征在于， 所述系统包括： 获取场景模块： 获取场景动画； 场景动画中包括关于伦理的问题及该问题对应的多个 选择； 交互模块： 播放场景动画； 提示用户对场景动画中包括的关于伦理的问题对应的多个 选择做出选择； 获取问题选择模块： 获取所述问题， 获取用户对场景动画中包括的关于伦理的问题对 应的多个选择做出的选择， 作为所述用户的待选问题和所做选择； 通用模型训练模块： 将深度学习模型或机器学习模型作为初始 的通用伦理模型； 将用 户的待选问题和所做选择作为 通用伦理模型的输入和预期输出， 训练通用伦理模型； 用户模型训练模块： 将深度学习模型或机器学习模型作为初始的每一用户的伦理模 型； 通过所述每一用户的待选问题和所做选择作为所述每一用户的伦理模 型的输入和预期 输出， 训练所述每一用户的伦理模型； 可能选择预测模块： 获取待预测用户的待选问题， 输入所述待预测用户的伦理模型， 预 测得到所述待预测用户的可能选择； 应做选择预测模块： 获取待预测用户的待选问题， 输入通用伦理模型， 预测得到所述待 预测用户的应做选择； 选择提醒模块： 判断待预测用户的可能选择与所述待预测用户的应做选择是否一致， 若不一致， 则将所述待预测用户的应做选择发送给所述待预测用户， 并提醒所述待预测用 户做出正确的选择。 6.根据权利要求1所述的人工智能系统， 其特 征在于， 所述系统还 包括： 用户模型更正模块： 获取所述待预测用户的选择， 判断待预测用户的选择与所述待预 测用户的可能选择是否一致， 若不一致， 则将所述待预测用户的所述待选 问题和所做选择 作为所述待预测用户的伦理模型的输入和预期 输出， 增量地训练所述待 预测用户的伦理模 型； 通用模型更正模块： 获取所述待预测用户的选择， 判断待预测用户的选择与所述待预 测用户的应做选择是否一致， 若不一致， 则将所述待预测用户的所述待选 问题和所做选择 作为所述 通用伦理模型的输入和预期输出， 增量 地训练所述 通用伦理模型。 7.根据权利要求1所述的人工智能系统， 其特 征在于， 所述系统还 包括： 选择距离获取模块： 获取 所述待选问题对应的各个选择之间的距离； 选择得分计算模块： 获取所述待预测用户的选择， 获取待预测用户的选择与所述待预 测用户的应做选择 的距离， 作为第一距离， 获取待预测用户的选择与其他选择 的距离中的 最大距离， 将最大距离减去第一距离然后除以最大距离， 然后乘以100， 得到所述待预测用 户的选择 得分； 进步比例计算模块： 获取待预测用户的选择与所述待预测用户的可能选择的距离， 作权　利　要　求　书 2/3 页 3 CN 114757359 A 3