(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210339974.7 (22)申请日 2022.04.02 (65)同一申请的已公布的文献号 申请公布号 CN 114727064 A (43)申请公布日 2022.07.08 (73)专利权人 清华大学 地址 100084 北京市海淀区清华园 专利权人 北京城建集团有限责任公司 (72)发明人 方东平　古博韬　岳清瑞　李建华　 黄玥诚　郭红领　王尧　曹思涵　 刘云飞　曹海涛　 (74)专利代理 机构 北京中和立达知识产权代理 有限公司 1 1756 专利代理师 孟姣 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/232(2006.01) G06V 40/10(2022.01) G06V 20/10(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/20(2017.01) G06T 7/70(2017.01) (56)对比文件 CN 112508417 A,2021.0 3.16 CN 10243 6665 A,2012.0 5.02 CN 107667366 A,2018.02.0 6 CN 111210442 A,2020.0 5.29 US 201526 0541 A1,2015.09.17 US 201526 0541 A1,2015.09.17 CN 103295084 A,2013.09.1 1 WO 202104 4422 A1,2021.0 3.11 李冠杰.澳门某高层公共房屋建造项目施工 策划及关键 工艺研究. 《华侨大 学硕士论文》 .2020,全 文. 李建华， 张瑞.逆向工程关键技 术的研究与 应用. 《制造业自动化》 .20 08,全文. 审查员 吕洋 (54)发明名称 施工安全宏观监控系统及方法 (57)摘要 本发明是关于一种施工安全宏观监控系统 及方法， 系统包括： 数据采集模块， 用于通过摄像 装置采集施工现场的图像数据， 其中， 所述图像 数据包括工程机械进场前的第一图像数据和工 程机械进场后的第二图像数据； 校准模块， 用于 对所述摄像装置及其采集的图像数据进行校准， 并将所述图像数据与预设的施工平面布置图中 的数据进行对齐， 以得到处理后的图像数据； 识 别模块， 用于对所述处理后的图像数据进行识 别， 以确定施工现场的施工要素和施工作业； 可 视化模块， 用于对所述施工要素和所述施工作业 进行展示。 权利要求书4页 说明书9页 附图7页 CN 114727064 B 2022.11.25 CN 114727064 B 1.一种施工安全宏观监控系统， 其特 征在于， 包括： 数据采集模块， 用于通过摄像装置采集施工现场的图像数据， 其中， 所述图像数据包括 工程机械进场前的第一图像数据和工程机 械进场后的第二图像数据； 校准模块， 用于对所述摄像装置及其采集的图像数据进行校准， 并将所述图像数据与 预设的施工平面布置图中的数据进行对齐， 以得到处 理后的图像数据； 识别模块， 用于对所述处理后的图像数据进行识别， 以确定施工现场的施工要素和施 工作业， 其中， 施工要素包括施工人员和工程机 械； 可视化模块， 用于对所述施工要素和所述施工作业进行展示； 所述校准模块包括颜色校准模块， 摄 像装置校准模块和BIM系统对齐模块； 所述颜色校准模块， 用于采用完 美反射算法对所述图像数据进行颜色校准； 所述摄像装置校准模块， 用于采用多个定位色块对所述摄 像装置的位置进行 校准； 所述BIM系统对齐模块， 用于将校准后的图像数据插入BIM系统中预设的施工平面布置 图中， 并将所述图像数据与所述预设的施工平面布置图进行 数据对齐； 所述识别模块用于： 在识别所述施工作业时， 遍历所述图像数据所有的像素点； 计算全像素点RGB三分量亮度中的最大值， 将最大值记录为灰度值； 将所述摄像装置拍摄的图像每秒存储一帧， 以600秒为滑动窗口求每一帧灰度图中对 应像素的平均值， 将其记录为 BGi, i=0,1,……n， 其中第一个6 00秒对应BG0； 以60秒为滑动窗口求每一帧灰度图中对应 像素的平均值， 记录其 为TSi, i=0,1,……n; 将TSi与BGi做灰度值减运 算并求其绝对值， 得到每 个像素点的灰度差值； 当像素点的灰度差值大于灰度判定阈值时， 则将该像素点记录为变动点， 并存储对应 的坐标； 将存储的所有坐标做K ‑means无监督聚类， 通过轮廓系数最大值对应的聚类n值判定聚 类数量， 并计算每 类中心点 坐标， 在BIM系统中找到其对应点及场景信息 。 2.根据权利要求1所述的施工安全宏观监控系统， 其特征在于， 所述数据采集模块包括 第一数据采集子模块和第二数据采集子模块， 其中， 所述第一数据采集子模块用于采集工 程机械进场前的第一图像数据， 所述第二数据采集子模块用于采集工程机械进场后的第二 图像数据。 3.根据权利要求2所述的施工安全宏观监控系统， 其特征在于， 所述第 一数据采集子模 块包括摄 像装置、 云台、 系留飞艇、 遥控单 元和图传单 元； 所述第二数据采集子模块包括摄 像装置、 云台、 塔吊供电单 元、 遥控单 元和图传单 元； 其中， 所述摄 像装置用于对所述施工现场进行实时监控； 所述云台用于对所述摄 像装置的镜 头进行姿态校准， 保证镜 头的角度； 所述系留飞艇， 用于在所述工程机 械进场前为所述摄 像装置提供安装位置； 所述遥控单 元， 用于遥控所述摄 像装置的镜 头的转向； 所述图传单 元， 用于实时传输所述摄 像装置采集的图像数据至地 面工控机中； 所述塔吊供电单元， 用于在所述工程机械进场后， 为所述摄像装置、 云台、 遥控单元和 图传单元提供安装位置， 并进行 供电。 4.根据权利要求1所述的施工安全宏观监控系统， 其特 征在于，权　利　要　求　书 1/4 页 2 CN 114727064 B 2所述颜色校准模块具体用于： 在RGB空间中遍历图像数据中每 个图像中每一个 像素点， 计算 点(Xi, Yj)的像素和： Cij=Rij+Gij+Bij 找到图像中 Cij最大的点 Cm， 得到其RGB 值Rm, Gm, Bm， 按照C值大小计算分布在前的预设 数量的像素点的RGB均值 ， 计算图像的各像素增益系数： 从而得到各像素最后的RGB值： 。 5.根据权利要求3所述的施工安全宏观监控系统， 其特征在于， 所述摄像装置校准模块 用于： 在BIM系统内的施工平面布置图中设置三块定位色块， 其中， 每个色块的中心设置一面 镜子， 其中， 定位色块包括 正方形塑料板； 在所述系留飞艇升空后， 通过遥控单元调整所述摄像装置， 使得三个定位色块均位于 画面中， 并分布于[(0,0),  (2871,1536)],  [(2871,0),  (5742, 1536)], [(0, 1536),  (2871, 3072)], [(2871, 1536), (5742, 3072)]四部分， 并尽量保持色块之间的连线与 画面框平齐； 将RGB画面转化为HSV画面， 并在所述四部分画面中寻找符合预设要求的像素块， 并记 录其水平方向的最大值和最小值对应的像素块坐标， 并将两个像素块坐标加和求平均， 获 得三个定位色块中心点坐标， 记录为定位色块原始坐标； 其中， 所述预设要求包括： H∈ [125, 155], S∈[43, 255], V∈[46, 255]； 每隔预设时间间隔重新计算所述三个定位色块的中心点坐标， 并计算与所述原始坐标 之间的差值； 当所述差值超出预设值， 或者缺少任一个定位色块的中心点坐标时， 输出报 警提示， 提 示需要重新进行 校准。 6.根据权利要求1所述的施工安全宏观监控系统， 其特 征在于， 所述识别模块用于： 在识别所述施工要素 时， 通过预先收集和标注的施工图像， 基于Mask ‑RCNN与Deepsort 算法对工人、 移动式工程机械、 塔吊进 行训练， 以分钟为单位在施工现场的图像数据中分别 识别出工人、 移动式工程机械与塔吊的轮廓坐标， 并对每个识别对象加以追踪； 在数据库 中， 以分钟为单位分别统计识别出的工人、 移动式工程机械和塔吊的总 数量； 其中， 当识别权　利　要　求　书 2/4 页 3 CN 114727064 B 3