(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210637330.6 (22)申请日 2022.06.07 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 张晖　罗天翔　赵海涛　朱洪波　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 智慧医疗场景下时间相关特征挖掘的中草 药识别方法 (57)摘要 本发明公开了一种智慧医疗场景下时间相 关特征挖掘的中草药识别方法， 包括： 构建中草 药图像样 本数据集； 采用金字塔网络模型对导入 的中草药图片进行处理， 以输出具有空间敏感度 的高分辨率特征图， 减少空间流和语义流上特征 图进行特征融合时出现空间信息定位偏差； 构建 激活区域生成 网络， 获取中草药时间序列特征中 的时间不变特征； 构建特征映射结构块， 针对当 前生长周期的中草药特征与其余生长周期的中 草药特征建立映射关系； 构建中草药识别网络模 型， 得到中草药识别结果。 本发明通过在中草药 数据集上进行训练提取泛化的不同种类的中草 药所具有的特征表示， 提高对同一种类的相似中 草药的识别准确度和判断中草药质量参差的准 确度。 权利要求书7页 说明书15页 附图4页 CN 115100486 A 2022.09.23 CN 115100486 A 1.一种智慧医疗场景下时间相关特征挖掘的中草药识别方法， 其特征在于， 所述中草 药识别方法包括以下步骤： S1， 采集中草药图片， 在中草药图片上标注图片类别标签和生长周期标签， 生成中草药 图像样本， 构建中草药图像样 本数据集； 利用Ret inex图像增强算法对获取的图像数据集进 行预处理， 将各个样本图像按照预设比例分为用于训练中草药识别模型 的训练集、 以及用 于测试中草药识别模型的测试集； S2， 构建M层的金字塔网络模型， 采用金字塔网络模型对导入的中草药图片进行处理， 以输出具有空间敏感度的高分辨率特征图， 减少空间流和语义流上特征图进 行特征融合时 出现空间信息定位偏差； 该金字塔网络模型 由两条路径构成： 自底向上 的空间流路径和自 顶向下的语义流路径； 中草药图片经空间流路径处理得到相 应的特征图， 得到的特征图导 入语义流路径， 通过像素混洗和特 征感知重组， 生成目标 特征区域块； S3， 构建激活区域生成网络， 激活区域生成网络包括竞争性通道注意力模块、 空间注意 力模块和特征处理结构块； 竞争性通道注意力模块用于使语义流和空间流进行自适应竞 争， 得到空间流与语义流的通道依赖关系的激活权重矩阵； 空间注意力模块用于获取不同 层级之间局部特征和全局特征之间的激活权重矩阵， 并融合竞争性通道注意力模块中学习 的通道依赖关系激活权重矩阵， 得到激活区域生成网络输出 的激活特征图； 特征处理结构 块包括自注意力模块和特征分解模块； 自注意力模块用于捕捉时间序列上下文信息， 获取 序列中特 征的关联度； 特 征分解模块用于获取中草药时间序列特 征中的时间不变特 征； S4， 构建特征映射结构块， 针对当前生长周期的中草药特征与其余生长周期的中草药 特征建立映射关系； S5， 构建中草药识别网络模型， 利用训练集对中草药识别网络模型进行训练， 得到训练 好的中草药识别网络模型； 将测试集输入训练好的中草药识别网络模型中， 得到中草药识 别结果。 2.根据权利要求1所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法， 其特 征在于， 步骤S1中， 根据下述公式， 利用Retinex图像增强算法对获取的图像数据集进行预 处理： 式中， r(x,y)表示输出图像； R(x,y)表示反射图像； S(x,y)表示输入图像， L(x,y)表示 亮度图像； F(x,y)表 示高斯中心环绕函数； λ为归一化系数； q为高斯环绕尺度； x表 示图像像 素点横坐标； y表示图像 像素点纵坐标。 3.根据权利要求1所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法， 其特 征在于， 步骤S2中， 采用上采样模块对导入的中草药图片进 行处理， 以输出具有空间敏感度 的高分辨 率特征图的过程包括以下步骤： S21， 设置M层金字塔网络模型， 金字塔网络模型由两条路径构成： 自底向上的空间流路 径和自顶向下的语义流路径； 自底向上的空间流路径上， 第i层的特征通过上采样模块输出 特征图 其中， Hi、 Wi、 Cb分别表示第i层特征图的高、权　利　要　求　书 1/7 页 2 CN 115100486 A 2宽、 通道数； 自底向上的空间流路径中， 第i层金字塔的最后一个卷积层输出的特征为 S22， 将自底向上的空间流路径 中的第M层金字塔的最后一个卷积层输出的特征DM通过 通道调整后作为自顶向下的语义流路径的顶层特征 取特征图 上任意 像素位置 形成以z为中心且大小尺寸为kup×kup预定义特征区域块 通 过尺寸大小为1 ×1的卷积核对 进行通道调整， 公式如下： 式中， 代表经过1×1的卷积核 进行通道调整后的特 征； S23， 通过像素混洗算子将 的通道维度在空间维度展开， 获取特征图 的任意像素 位置 的区域上采样核， 公式如下： 式中， 表示坐标 的输出特征像素； α 表示升标因子， α kup表示区域卷积块大小； S24， 通过对特征图 上每个通道的所有像素位置进行像 素混洗操作， 得到 预测上采样 核 取特征图 上任意像素位置 对应于预测上采样核FM上的特 征像素块 通过通道重组操作将特征像素块Fz的通道维度转换为空间维度， 生成区域上采样核， 公式如下： F′z＝reshape(Fz) 式中， reshape( ·)代表通道重组操作； F ′z代表尺寸大小为α kup×α kup的区域上采样核； S25， 将预定义特征区域块 与区域上采样核F ′z通过特征感知重组模块生成 目标特征区域块， 公式如下： 式中， U′M‑1代表输入特征 图上的任意像素位置 在输出特征 图上的目标特征区 域块上的映射像素位置 z′＝(i′,j′)， α kup表示区域上采样核尺寸。 4.根据权利要求1所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法， 其特 征在于， 步骤S 3中， 采用竞争性通道注意力模块使语义流和空间流进 行自适应竞争， 得到空 间流与语义 流的通道 依赖关系的激活权 重矩阵的过程包括以下步骤： A31， 将自底向上的空间流 路径中第i层金字塔的最后一个卷积层输 出的特征Di通过1× 1的卷积操作实现横向连接后输出为 公式如下： 式中， 代表经过1 ×1的卷积核进行通道调整后的特征； i代表第i层； ·代 表卷积操作；权　利　要　求　书 2/7 页 3 CN 115100486 A 3