1、第 14 卷 第 1 期2023 年 2 月Vol.14 No.1Feb.2023航空工程进展ADVANCES IN AERONAUTICAL SCIENCE AND ENGINEERING无人机航拍野生动物智能检测与统计方法综述祝宁华1，郑江滨2，张阳3（1.西北工业大学 工程实践训练中心，西安 710072）（2.西北工业大学 软件学院，西安 710072）（3.西安现代控制技术研究所，西安 710065）摘要：近年来无人机航拍技术逐步应用于野生动物保护，在很大程度上提高了考察效率。由于航拍图像与地面拍摄图像的特征差异较大，加之野生动物生存环境背景复杂，目前没有通用的方法可直接应用于野生动
2、物航拍图像的检测与统计。本文回顾了智能检测和统计技术近年来的发展，针对无人机航拍野生动物图像的大场景、小目标、多尺度、复杂背景等特点，介绍了无人机航拍动物群数据集的选取与建立方法，以及基于深度学习的检测与统计方法，并进行了深层次地分析，归纳了各类方法的优势和可应用场景，总结了各方法的特点和适用范围，同时针对存在的问题给出了改进方向。关键词：无人机航拍；生态保护；深度学习；迁移学习；目标检测；数量统计中图分类号：S863；V19 文献标识码：ADOI:10.16615/ki.1674-8190.2023.01.02Review of intelligent detection and stati
3、stical methods of wild animals in UAV aerial photographyZHU Ninghua1，ZHENG Jiangbin2，ZHANG Yang3（1.Engineering Practice Training Center，Northwestern Polytechnical University，Xi an 710072，China）（2.School of Software，Northwestern Polytechnical University，Xi an 710072，China）（3.Xi an Modern Control Tech
4、nology Research Institute，Xi an 710065，China）Abstract：Recently，UAV aerial photography technology has been gradually applied to wildlife protection，which has greatly improved the investigation efficiency.Due to the great difference in characteristics between aerial images and ground images，and the co
5、mplex background of wildlife living environment，there is no general method that can be directly applied to the detection and statistics of UAV aerial wildlife photography.In this paper，firstly，the development of intelligent detection and statistics technology in recent years is reviewed.Then，accordi
6、ng to the cha-racteristics of large scene，small target，multi scale and complex background of UAV aerial wildlife photography，the selection and establishment methods of UAV aerial wildlife dataset is introduced，and the detection and statistics methods based on deep learning as well.Finally，the advant
7、ages and applicable scenes of these methods are summarized，and the improvement direction is given.Key words：UAV aerial photography；ecological protection；deep learning；transfer learning；object detection；statistics文章编号：1674-8190（2023）01-013-14收稿日期：20220324；修回日期：20220728基金项目：陕西省重点研发计划(2021ZDLGY09-08)通信
8、作者：祝宁华,引用格式：祝宁华,郑江滨,张阳.无人机航拍野生动物智能检测与统计方法综述J.航空工程进展,2023,14(1):13-26.ZHU Ninghua,ZHENG Jiangbin,ZHANG Yang.Review of intelligent detection and statistical methods of wild animals in UAV aerial photographyJ.Advances in Aeronautical Science and Engineering,2023,14(1):13-26.(in Chinese)第 14 卷航空工程进展0引 言
9、无人机是航空技术和自动化技术发展的产物，正在向智能化方向发展，尤其是和航拍图像检测技术的结合，使得基于无人机航拍的自动统计技术逐渐成为当今的研究热点之一。在野生动物保护领域，采用无人机航拍、跟踪、检测与统计等技术，拥有人工考察和保护所无法比拟的优势，是近年来兴起的一种全新尝试。无人机航拍受环境和地形等自然条件限制小，机动、灵活，便于获得野生动物活动轨迹和栖息地范围等信息，还能及时了解野生动物的生存现状、迁徙途径，监控是否有野生动物被猎杀等情况1，具有监测面积广、多角度覆盖、效率高、成本低等优势。无人机航拍还可实现对野生动物的大尺度、多角度观察，进一步鉴别野生动物种类、性别、健康状况等。总的来说
10、，无人机航拍的应用是野生动物考察和保护中方便快捷的一种全新手段。然而，从航拍获取的图像中提取检测信息并进行统计，目前还依赖于人工识别，导致航拍的大量图像数据不能直接快速服务于生态保护。其原因主要归结于两点：第一，野生动物栖息在复杂的地形与多样的气候带，无人机航拍获取的野生动物群图像与地面拍摄不同，具有大场景、小目标、多尺度、复杂背景、遮挡重叠等特点，使得要从无人机航拍图像中智能、准确地检测、识别、统计出所关心的动物群的数量难度大；第二，模式识别和大数据等技术的发展，为地面拍摄人群与航拍车辆的检测与统计2-4提供了极大的便利，但在动物群的统计方面应用还很少，这主要是因为动物的特征相对人脸和车辆特
11、征少，还常常受野外背景环境与阳光照射影响而发生变化，并且在无人机航拍中，图像会因高度、视角等因素，出现目标动物特征的损失，使得检测统计难度更大。随着深度学习技术的深入发展，其与航拍动物群的智能检测结合，大幅推进了无人机航拍用于生态监测的成效。深度学习非常依赖有效的数据集，尽管近年来数据集的研究和基于深度学习的检测方法较多，但是航拍的特殊性约束了这些方法的使用。为此，本文通过对文献资料的深层分析，归纳和分析了有效的航拍动物数据集5的选取与建立方法，以及无人机航拍动物群的智能检测和数量统计方法；在此基础上剖析了各种方法的特点和适用场景，并针对存在的问题给出了改进方向。1航拍动物群数据集的选取与建立
12、应用深度学习进行无人机航拍动物群数量统计时，动物数据集的选取与建立至关重要，会直接影响统计结果的精确度。而航拍野生动物最难的是获取直接可供网络训练的样本，为此，本节围绕航拍动物群数据集的选取与建立开展研究。1.1动物类与航拍类数据集现状和存在的问题现有的较为常用的动物类数据集有：MSCOCO6、PASCAL VOC7、AWA8、kaggleanimals-10 等。这些数据集均为自然场景下的图像，视角以地面正视近景为主。而无人机航拍图像与地面相机等拍摄的自然场景图像不同，无人机从空中往地面拍摄时，其视角通常为斜视和俯视，并且视场广泛，目标体积相对变小，同时目标会呈现多形态的特点。这使得航拍图像
13、具有大视场、小目标的特点，与地面自然场景的近景、清晰大目标的特点完全不同。因此，若直接使用地面自然场景数据集训练的神经网络来检测、统计航拍动物群数量，将会带来很大误差。航拍图像数据集研究近几年才起步，数据集类别和标注量较少，同时航拍动物领域的数据集有所欠缺，常见的航拍数据集：DOTA9、UCAS-AOD10、NWPU VHR-1011以 及 RSOD-Dataset12等的研究目标为飞机、轮船、车辆、球场、桥、建筑等，基本上都是应用于交通工具的检测识别。另有少数的数据集，如 UC Merced Land-Use13和LEVIR14，为土地图像遥感数据集与人类居住环境类地面特征数据集。虽然都是航
14、拍图像，但不包含动物数据特征。因此，这些数据集不能应用于生态监测的动物数量统计研究中。1.2航拍动物类数据集的建立方法用于深度学习的数据集在采集和处理过程中，需满足目标标注量和目标类别的大规模性，来实现充分的网络训练，避免过拟合现象，以及平衡正负样本比例等。同时，图像还需要具备多样性，符合无人机航拍影像特点，与实际情景更贴合，如动物不同视角的不同形态和姿态，不同高度或远近距离产生的多尺度，树木和阴影的遮挡等。但14第 1 期祝宁华等：无人机航拍野生动物智能检测与统计方法综述现有数据集多无法直接使用，为此需要搭建符合应用场景的航拍动物数据集（正样本）。但航拍的有效动物数据集非常有限，经常存在样本
15、特征缺失的情况，如何建立有效的网络训练数据集，本文从样本单一和特征缺失两个方面介绍样本扩充与样本均衡的处理方法。（1）样本单一情况下的数据集扩充处理方法我们所能获取的野生动物航拍图片通常是某一个角度、某一个清晰度、某一个姿态的，如何利用有限样本进行特征扩充，可以采用信息增强处理方法（如图 1所示）。图 1（a）是一张羊群图像，而实际中，动物的相互位置、背景清晰度、可视尺度都是不同的，为了表达不同特征，在获取的图像样本上，通过缩放、翻转和增加模糊度等方法模拟出更多特征，添加进样本集，如此从单一样本扩充到了四副代表不同特征的图像数据，来实现有效训练数据集的扩充。这类样本增强15处理方法还可采用调节
16、图像亮度、对比度等参数，马赛克拼接，雾化背景环境，旋转图像等手段，利用有限的样本数据表达出更多的样本特征，来扩充有效样本集。扩充与均衡处理后的样本集增强了神经网络模型的鲁棒性，使数据集包含更全面的语义信息和更丰富的特征信息。其中，调节图片的亮度、饱和度、对比度及色调等，可体现不同光照和阴影下航拍的背景特征，以利于学习在不同的光照条件下或在阴影遮挡环境下动物的特征；通过不同比例缩放、裁剪等处理，可模拟不同位置、不同尺寸、不同分辨率的环境下动物的不同比例尺度；运用旋转的方式，可模拟不同角度拍摄的动物形态；增加 随 机 噪 声 可 以 模 拟 不 同 分 辨 率 相 机 拍 摄 的图像。（2）目标特征残缺情况下的数据集扩充处理方法在航拍视角下，动物目标特征容易缺失。马赛克拼接技术如图 2 所示，图 2（a）是一只大象，它的主要识别特征如耳朵、鼻子、腿都浸没在水中，信息特征缺失，如何使用该数据样本，可以尝试“移花接木”的马赛克拼接方法，如图 2（b）所示，如此处理后该图像信息就完整有效了。同时找到可选用的自然场景中完整的学习图像，如图 2（c）所示，进行局部特征学习，补充进航拍动物群数据集中，
