(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111296427.7 (22)申请日 2021.11.03 (65)同一申请的已公布的文献号 申请公布号 CN 114036607 A (43)申请公布日 2022.02.11 (73)专利权人 清华大学 地址 100084 北京市海淀区双清路3 0号清 华大学 (72)发明人 陆新征　赵鹏举　廖文杰　费一凡　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 蒋娟 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/27(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 17/00(2006.01) (56)对比文件 CN 111259804 A,2020.0 6.09 CN 110414140 A,2019.1 1.05 审查员 严荣 (54)发明名称 多模态输入深度神经网络、 框架结构梁柱设 计方法及装置 (57)摘要 本发明提供一种多模态输入深度神经网络、 框架结构 梁柱设计方法及装置， 其中所述多模态 输入深度神经网络包括： 卷积神经网络柱布置模 块和图神经网络梁布置模块； 卷积神经网络柱布 置模块包括特征编码融合网络以及图像生成网 络； 特征编码融合网络用于进行特征融合； 图像 生成网络用于基于融合特征生 成柱布置图像； 图 神经网络梁布置模块包括柱节点和边信息提取 网络以及图谱 特征生成网络； 柱节 点和边信息提 取网络用于从柱布置图像中提取节 点信息， 结合 柱布置图像、 建筑荷载分区图像信息、 建筑功能 分区图像信息提取边信息； 图谱 特征生成网络用 于基于所述节 点信息和边信息生成图谱特征。 本 发明根据关键建筑图像和设计信息， 能够快速完 成框架结构梁柱设计 。 权利要求书3页 说明书10页 附图3页 CN 114036607 B 2022.07.01 CN 114036607 B 1.一种多模态输入深度神经网络， 其特征在于， 包括卷积神经网络柱布置模块和图神 经网络梁布置模块； 其中， 所述卷积神经网络柱 布置模块包括特 征编码融合网络以及图像生成网络； 所述特征编码融合网络用于对建筑荷载分区图像信息、 建筑功能分区图像信息、 建筑 隔墙布置图像信息、 设计文本信息进 行特征提取并进 行特征融合， 得到融合特征； 所述图像 生成网络用于基于上述融合特 征生成柱 布置图像； 所述图神经网络梁布置模块包括柱 节点和边信息提取网络以及图谱特 征生成网络； 所述柱节点和边信 息提取网络用于从所述柱布置图像中提取节点信 息， 结合所述柱布 置图像、 建筑荷载分区图像信息、 建筑功能分区图像信息提取边信息； 所述图谱 特征生成网 络用于基于所述节点信息和边信息生成图谱特 征。 2.根据权利要求1所述的多模态输入深度神经网络， 其特征在于， 所述多模态输入深度 神经网络的形成包括： 将所述建筑荷载分区图像信息、 建筑功能分区图像信息、 建筑隔墙布置 图像信息分别 进行数字编码， 形成尺寸相同的三种图像信息的三维特征矩阵， 将三种图像信息的三维特 征矩阵进行拼接， 形成图像特 征矩阵； 将每一类设计文本信 息通过编码形成尺寸相同的一维设计信 息特征向量， 将各类一维 设计信息特征在维度为一的维度方向进行拼接， 形成二维矩阵， 将所述二维矩阵通过卷积 和反卷积运算扩展为与图像特征矩阵的图像长度维度和宽度维度 尺寸相同的二维矩阵， 将 所述二维矩阵通过复制拼接， 形成与图像特 征矩阵尺寸相同的设计信息矩阵； 将所述图像特征矩阵和所述设计信 息矩阵进行哈达玛积矩阵运算， 得到所述卷积神经 网络柱布置模块的第一输入特 征； 将所述第一输入特征输入至卷积神经网络柱布置模块， 通过卷积和反卷积运算， 映射 生成柱布置图像； 基于所述柱 布置图像和目标与轮廓检测算法， 得到柱轮廓的矩形轮廓坐标； 对所述柱轮廓的矩形轮廓坐标取中点坐标， 得到 图节点坐标特征； 将任两个节点之间 取边， 作为图的潜在边； 基于图的潜在边， 融合荷载分区图像特征， 形成每条边的平均荷载 特征， 融合功能分区图像特 征， 形成每条边的功能分区特 征； 将每条潜在边的平均荷载特征， 以及功能分区特征进行拼接， 形成图的边特征； 结合所 述图节点 坐标特征， 形成图神经网络梁布置模块的第二输入特 征； 将所述第二输入特征输入至所述图神经网络梁布置模块， 生成包含每条边为框架梁的 概率信息的图谱特 征。 3.根据权利要求2所述的多模态输入深度神经网络， 其特征在于， 所述基于图的潜在 边， 融合荷载分区图像特征， 形成每条边的平均荷载特征， 融合功能分区图像特征， 形成每 条边的功能分区特 征， 包括： 将每条边投影在荷载分区图像上， 以融合荷载分区信息到边的特征上， 根据每条边的 投影所跨越的荷载分区种类及各种类所对应的边长度， 采用加权平均计算每条边的平均荷 载特征； 将 每条边投影在功能分区图像上， 以融合功能分区信息到边的特征上， 对不同功能 分区采用数字不重复编号， 根据每条边的投影所跨越的功 能分区种类， 将每条边的投影所 跨越的功能分区种类总数及对应编号进行整理。权　利　要　求　书 1/3 页 2 CN 114036607 B 24.根据权利要求2所述的多模态输入深度神经网络， 其特征在于， 所述卷积神经网络柱 布置模块和图神经网络梁布置模块之 间通过所述目标与轮廓检测算法连接， 用于实现框架 结构梁柱 布置。 5.一种框架结构梁柱设计方法， 其特 征在于， 包括： 构建并训练如权利要求1所述的多模态输入深度神经网络； 获取待设计框架结构的建筑荷载分区图像信息、 建筑功能分区图像信息、 建筑隔墙布 置图像信息， 对图像信息进 行编码和组合， 形成图像特征矩阵； 获取待设计框架结构的设计 文本信息， 对设计文本信息进 行编码， 并与图像特征矩阵进 行运算， 形成所述卷积神经网络 柱布置模块待输入特 征； 将所述待输入特征输入多模态输入深度神经网络， 在其中卷积神经网络柱布置模块生 成柱子布置位置并通过目标与轮廓检测 算法输出柱子矩形轮廓坐标后， 将柱作为节点， 将 任两节点之 间作为潜在边， 将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特 征， 将节点坐标作为节点特征； 将节 点特征和边特征输入图神经网络梁布置模块， 生成包含 每条边为框架梁的概 率信息的图谱特 征， 实现框架结构梁柱设计。 6.根据权利要求5所述的框架结构梁柱设计方法， 其特 征在于， 所述方法还 包括： 对所述多模态输入深度神经网络进行性能评估， 将综合评价指标大于预先设定的综合 评价指标阈值的多模态输入深度神经网络用于 框架结构梁柱设计。 7.根据权利要求6所述的框架结构梁柱设计方法， 其特征在于， 所述综合评价指标的获 取方式为： ScoreFrame＝( ηcolumn×IOUcolumn+ ηgraph×Scoregraph) 式中， Scoregraph＝WLS(graphoutput+graphtarget) 其中， Acolumninter是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框 架柱交集面积， Acolumnunion是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像 的框架柱并集面积， Acolumnunion＝Acolumntar+Acolumnout‑Acolumninter； graphoutput为生成的梁柱设 计对应的图谱表达， graphtarget为目标梁柱设计对应的图谱表达， WLS为Graph相似度指标函 数。 8.一种框架结构梁柱设计装置， 其特 征在于， 包括： 网络构建模块， 用于构建并训练如权利要求1所述的多模态输入深度神经网络； 待输入特征获取模块， 用于获取待设计框架结构的建筑荷载分区图像信息、 建筑功能 分区图像信息、 建筑隔墙布置图像信息， 对图像信息进行编码和组合， 形成图像特征矩阵； 获取待设计框架结构的设计文本信息， 对设计文本信息进行编码， 并与图像特征矩阵进行 运算， 形成所述卷积神经网络柱 布置模块待输入特 征； 设计模块， 用于将所述待输入特征输入多模态输入深度神经网络， 在其中卷积神经网 络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后， 将 柱作为节点， 将任两节点之间作为潜在边， 将建筑荷载分区图像信息和建筑功能分区图像 信息耦合为边特征， 将节点坐标作为节点特征； 将节点特征和边特征输入图神经网络梁布权　利　要　求　书 2/3 页 3 CN 114036607 B 3