(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210934696.X (22)申请日 2022.08.04 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 杨秋妹　陈淼彬　肖德琴　刘啸虎　 康俊琪　黄一桂　周家鑫　刘克坚　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 高棋 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种猪只异常行为检测方法 (57)摘要 本发明提供一种猪只异常行为检测方法， 包 括以下步骤： S1： 从实时采集的猪只生活视频中 逐帧提取图像； S2： 采用改进的Yolov5n模型对 提 取的各帧图像进行目标检测和裁剪， 得到每帧图 像中各猪只的目标截图； S3： 通过双流卷积自编 码器提取特征向量； S4： 采用K ‑means和分类算法 对特征向量进行聚类和分类； S5： 通过分类器获 取当前帧所有目标的分类分数， 并将所有分类分 数组合形成异常预测图； S6： 对异常预测图进行 高斯滤波时序平滑， 得到的最高分类 分数记为当 前帧图像的异常分数； S7： 判断当前帧图像的异 常分数是否为正数； 若是， 则不存在异常行为， 反 之， 存在。 本发明提供的猪只异常行为检测方法 解决了目前的异常检测方法不能实现通用的猪 只异常行为检测的问题。 权利要求书4页 说明书13页 附图4页 CN 115359511 A 2022.11.18 CN 115359511 A 1.一种猪只异常行为检测方法， 其特 征在于， 包括以下步骤： S1： 实时采集猪只生活视频， 从猪只生活视频中逐帧提取图像； S2： 采用改进的Yolov5n网络模型对提取的各帧图像进行目标检测和裁剪， 分别得到每 帧图像中各猪只的目标截图； 所述改进的Yolov5n网络模型为： 在现有的Yolov5n网络模型的主干特征提取网络的第 4层、 第6层和第8层后加入通道注意力模块， 并将所述通道注意力模块与颈部网络的第18 层、 第22层和第26层的上采样层进行拼接， 以及在主干特征提取网络的第11层后加入C3层 和通道注意力模块； S3： 构建一个端到端可训练的基于对象为中心双流卷积自动编码器网络提取目标截图 中各猪只的外观特 征向量和运动特 征向量， 并进行 特征融合形成对应帧的特 征向量； 所述的双流卷积自动 编码器网络仅采用猪只正常行为的图像进行训练； S4： 采用K ‑means聚类算法对融合特征向量进行 聚类， 并将结果输入到二元分类器中训 练， 得到训练好的分类器； S5： 在每帧图像中， 通过分类器获取当前帧图像中所有目标截图 的分类分数， 并将所有分类分数组合形成当前帧图像的异常预测图； S6： 对当前帧图像的异常预测图进行高斯滤波时序平滑， 得到的最高分类分数记为当 前帧图像的异常 分数； S7： 判断当前帧图像的异常 分数是否为正数； 若是， 则当前帧图像中的猪只不存在异常行为； 若否， 则当前帧图像中的猪只存在异常行为。 2.根据权利要求1所述的一种猪只异常行为检测方法， 其特征在于， 所述通道注意力模 块中包括压缩、 激励和缩放操作； 其中， 压缩操作为： 使用全局平均池化将原 始特征层的维度H *W*C压缩为1*1* C； 激励操作 为： 使用两个全连接层融合各特征通道的特征图信息， 然后使用Sigmoid函数 对权值进行归一 化； 缩放操作为： 将激励操作后输出的权重映射为一组特征通道的权重， 然后与原始特征 图的特征相乘加权， 实现对原 始特征在通道维度上的特 征重标定 。 3.根据权利要求1所述的一种猪只异常行为检测方法， 其特征在于， 所述Yolov5n网络 模型的改进还 包括增加一个64 倍下采样检测层， 使输出的特 征图尺度为20 ×20。 4.根据权利要求1所述的一种猪只异常行为检测方法， 其特征在于， 在步骤S5中， 从当 前帧图像中选定一张目标截图， 通过步骤S3提取选定的目标截图的特征向量并聚类成k个 簇， 然后将聚类结果分别输入k个分类器中得到k个分类分数， 选出最高的分类分数作为选 定的目标截图的异常分数， 重复此步骤直至获取当前帧图像中所有目标截图的异常分类分 数。 5.根据权利要求4所述的一种猪只异常行为检测方法， 其特征在于， 所述分类器为二元 分类器， 第i个二元分类 器的定义如下： 其中， wj表示权重向量， b表示偏置值， x表示输入二元分类器的样本， x能被分类为正常权　利　要　求　书 1/4 页 2 CN 115359511 A 2样本或异常样本， xj表示样本的第j个元 素， m表示x的维度。 6.根据权利要求5所述的一种猪只异常行为检测方法， 其特征在于， 通过以下步骤训练 k个二元分类 器： A1： 从猪只生活视频中选出猪只正常行为的图像作为训练图像； A2： 采用改进的Yolov5n网络模型对训练图像进行目标检测和裁剪， 分别得到训练图像 中各猪只的目标截图； A3： 将目标截图转为灰度图像， 并通过与训练图像的相邻帧图像进行像素值相减得到 相应的帧差图像； A4： 根据步骤A3得到的灰度帧图和灰度帧差图分别作为以对象为中心的猪只异常行为 卷积自动编 码器网络中外观子网络和 动作子网络的输入， 通过该网络提取目标截图中各猪 只的外观特 征向量和动作特 征向量； 所述自动编码器网络包括外观子网络和动作子网络， 所述外观子网络用于从 目标截图 中提取外观特 征向量， 所述动作子网络用于从帧差图像中提取动作特 征向量； A5： 将外观特 征向量和动作特 征向量融合， 得到训练图像的融合特 征向量； A6： 将融合特 征向量进行k ‑means聚类， 得到聚类结果簇i， i ＝1， 2， ....， k； A7： 将聚类结果输入k个二元分类 器中， 得到k个训练好的二元分类 器。 7.根据权利要求6所述的一种猪只异常行为检测方法， 其特征在于， 所述针对运动和外 观训练以对 象为中心的双流卷积自动编码器网络， 该网络包括外观子网络和动作子网络， 两个子网络均包括基于注意力的卷积LSTM模块和内存记 忆模块； 其中， 所述注意力模块的计算公式为： ut， t′＝a(st‑1， ht′) 其中， ct表示t时刻的上下文向量， T表示总时间长度， αt， t′表示t时刻t ′邻域的注意力权 重， ht′表示第t′时刻的隐藏单元输出， α表示注意力权重， ut， t′表示t时刻t ′邻域的输出分 数， ut， k表示t时刻k邻域的输出分数， st‑1表示t‑1时刻的隐状态； 所述内存记忆模块包括M个内存项pm， m＝1， ...， M， 用于记录猪只正常行为数据的各种 原型特征模式； 对于每一个查询映射 通过对具有相应权重 的内存项pm进行加权平均来读取内 存项， 并获得 特征 其中， 表示内存项pm′的权重， pm′表示第m′个内存项；权　利　要　求　书 2/4 页 3 CN 115359511 A 3