(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210302636.6 (22)申请日 2022.03.24 (71)申请人 香港大学深圳研究院 地址 518000 广东省深圳市南 山区粤海街 道深圳高新技术产业园区南区虚拟大 学园楼B402 (72)发明人 薛帆　叶嘉安　吴怡洁　杨仲泽　 (74)专利代理 机构 深圳市深可信专利代理有限 公司 44599 专利代理师 刘昌刚 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/00(2011.01) G06F 9/451(2018.01) (54)发明名称 一种基于BIM和视频监控的博物馆参观分析 的方法及系统 (57)摘要 本发明提供了一种基于BIM和视频监控的博 物馆参观分析的方法， S1、 对博物馆内部进行激 光点云扫描， 完成博物馆BIM建模， 生成体素模 型， 并将摄像头位姿拟合结果记录到BIM模型中； S2、 调用视频流， 截取对应的视频帧， 对摄像头的 内参数进行标定， 并将结果整合为矩阵相机内参 矩阵K； S3、 根据所述体素模型、 摄像头位姿以及 摄像头的内参K， 计算视频流各像素坐标对应的 三维体素坐标， 获取像素与体素间的对应关系， 完成监控视频图像与BIM模型的空间配准； S4、 对 视频帧中的人体 关键点进行检测， 保存人体关键 点结果中的双足节点像素位置， 并访问所述的像 素与体素间的对应关系， 对观众进行室内定位； S5、 获得所有展区和展品的被参观时长， 统计关 注度。 权利要求书3页 说明书9页 附图2页 CN 114820924 A 2022.07.29 CN 114820924 A 1.一种基于BIM和视频监控的博物馆参观分析的方法， 其特 征在于： 包括以下的步骤： S1、 BIM模型构 建模块对博物馆内部进行激光点云扫 描， 完成博物馆BIM建模， 生成体素 模型， 并将摄 像头位姿拟合结果记录 到BIM模型中； S2、 视频流获取与 标定模块调用视频流， 截取对应的视频帧， 对摄像头的内参数进行标 定， 并将结果整合 为矩阵相机内参矩阵K； S3、 空间配准模块根据所述体素模型、 摄像头位姿以及摄像头的内参K， 计算视频流各 像素坐标对应的三 维体素坐标， 获取像素与体素间的对应关系， 完成监控视频图像与BIM模 型的空间配准； S4、 观众检测与定位模块对视频帧中的人体关键点进行检测， 保存人体关键点结果中 的双足节点像素位置， 并访问所述的像素与体素间的对应关系， 确定观众双足所在的体素， 对观众进行室内定位； S5、 关注度分析模块根据 所述的观众定位结果， 获得所有展区和展品的被参观时长后， 对展区和展品的被参观时长数据进行归一 化处理， 统计关注度。 2.如权利要求1所述的一种基于BIM和视频监控的博物馆参观分析的方法， 其特征在 于： 还包括步骤S 6、 关注度分析模块对展区和展品进 行可达性分析， 所述步骤S 6包括以下的 步骤： S61、 计算博物馆出入口到展区的地面体素区域的最短路径； 计算博物馆出入口到展 品中心点的最短路径； 计算展区对应的地面体素数量； 计算展品体素的外包长方体体积； 计 算展品到墙体素之间最短距离的倒数； S62、 使用A*算法对所述步骤S61中的五个指标进行 计算； S63、 对所述五个指标进行归一 化处理， 得到展区和展品的可达性指标为： 展区可达性 ＝(1/展区路径长度) ×展区规模 展品可达性 ＝(1/展品路径长度) ×展品规模 ×展品中心性。 3.如权利要求1所述的一种基于BIM和视频监控的博物馆参观分析的方法， 其特征在 于： 所述步骤S1， 包括以下的步骤： S11、 采用移动激光雷达扫描设备对博物馆内部采用分段扫描方式进行激光 点云扫描； S12、 使用RandLA ‑Net算法对各分段点云进行三维语义分割， 划分出不同的BIM模型要 素； S13、 调用Open3D的Regist ration接口将各分段点云配准到统一的空间坐标基准下； S14、 对全局点云进行轴对齐操作； S15、 将博物馆已有的数字展品模型作为三维模板， 在点云中进行模板匹配和三维空间 位置拟合， 确定数字展品模型在点云中的位姿， 生成该数字展品的三 维点云， 使用数字展品 点云替换扫描所 得的展品点云； S16、 根据所拟合的展品三维模型及位姿， 创建展品在博物馆BIM模型坐标系下的体素 模型； S17、 对博物馆所使用的摄像头型号进行三维建模， 以摄像头三维模型为模板， 在点云 中进行模板匹配操作和三维位姿拟合， 计算摄像头在BIM坐标系下 的三维位置坐标和旋转 角度,即摄像头的外参T,三维位置坐标使用三维向量t表示,三维旋转角度使用三维矩阵R 表示， 并将此二者写为相机外参矩阵T＝[R|t]， 并将摄像头位姿拟合结果记录到BIM模型 中。 4.如权利要求3所述的一种基于BIM和视频监控的博物馆参观分析的方法， 其特征在权　利　要　求　书 1/3 页 2 CN 114820924 A 2于： 所述步骤S14中的轴对齐操作,即对点云的坐标系进 行绕z轴的旋转， 该旋转角度的计算 步骤如下： S141、 调用Open3D库中的EstimateNormal函数计算点云中所有点的法向量， 并对法向 量进行归一 化， 使各法向量的三维长度为1； S142、 计算法向量在水平方向上的投影方向和长度， 若长度大于阈值0.5， 则判断该点 属于垂直结构， 需保留参与旋转角度的计算， 若小于阈值0.5， 则剔除该点， 不参与旋转角计 算； S143、 建立优化目标函数： Δθi为所拟合角度与某点的法向量水平 投影角度之差,N 为参与旋转角度计算的点数量； S144、 采用无导数优化方法求 解， 调用n lopt库完成求 解过程， 获得旋转角度。 5.如权利要求4所述的一种基于BIM和视频监控的博物馆参观分析的方法， 其特征在 于： 所述步骤S2， 包括以下的步骤： S21、 确定博物馆中所使用的摄 像头型号， 在每 个型号中选一个 摄像头进行 标定； S22、 通过摄像头厂商所提供的API调用视频流， 将张正友标定棋盘置于各标定摄像头 前， 摄像头拍摄选取的固定位置， 并在该视频流中截取对应的视频帧； S23、 利用opencv库中的findChessboardCorners和calibrat eCamera函数， 进行摄像头 内参标定， 获得 各摄像头型号的内参K。 6.如权利要求5所述的一种基于BIM和视频监控的博物馆参观分析的方法， 其特征在 于： 所述步骤S3中， 计 算视频流各像素坐 标对应的三维体素坐 标， 像素坐 标Pi(u,v)和Pc的关 系为： 以相机光心作为原点， 以相机 正前方为z轴， 以成像平面的水平和垂直 方向分别为x和y轴， 建立相机坐标系， K即摄像头内参。 在相机坐标系中， 被拍摄点坐标为Pc (xc,yc,zc)， zc为被拍摄 点到相机 光心的距离， 被拍摄 点坐标Pc与该点在BIM模型坐 标系下的 坐标Pw(xw,yw,zw)存在空间关系为PC＝TPw， T为摄像机的外参， 即相机坐标系相对BIM模型坐 标系的旋转和平 移量[R|t]。 7.如权利要求6所述的一种基于BIM和视频监控的博物馆参观分析的方法， 其特征在 于： 所述步骤S4， 包括以下的步骤： S41、 采用计算机视觉 处理库Detectron中的Mask  R‑CNN对视频帧中的人体关键点进行 检测； S42、 制作视频图像的数据集， 对数据集中的观众进行实例轮廓与人体关键点标注,并 在Detect ron库的预训练模型 上进行训练； S43、 间隔性的运行检测， 保存人体关键点结果中的双足节点像素位置， 并访问所述的 像素与体素间的对应关系， 确定观众双足所在的体素， 对观众进行室内定位。 8.如权利要求7所述的一种基于BIM和视频监控的博物馆参观分析的方法， 其特征在 于： 所述步骤S5， 包括以下的步骤： S51、 在所述Mask  R‑CNN中添加是否观看展品分支， 在所述数据集中新增是否看展标 注， 并与所述的人体关键点检测分支同时进行训练； S52、 在检测新的视频流时， 同步输出观众的双足节点像素， 判断该观众是否在观看展权　利　要　求　书 2/3 页 3 CN 114820924 A 3