1、2023 年 2 月 25 日第 7 卷第 4 期现代信息科技Modern Information Technology Feb.2023 Vol.7 No.481812023.022023.02收稿日期：2022-10-03基金项目：国家重点研发计划项目（2019YFC1712301）；江西中医药大学校级科技创新团队发展计划（CXTD22015）小样本民族药植物图像识别综述叶青1，冯振乾1，朱彦陈1，方桦2（1.江西中医药大学，江西 南昌 330004；2.南昌大学教育技术与教学资源中心，江西 南昌 330031）摘 要：深度学习模型在图像识别领域的快速发展，使得它依赖大规模数据的特性愈发明
2、显。而民族药由于生长环境、生长周期等因素影响使得民族药图像数据采集困难，样本量过少。如何在样本量过少的情况下使用深度学习模型对民族药植物图像进行识别是目前亟须解决的重点难题。文章着眼于深度学习模型，详细讨论了几种民族药植物图像识别领域的小样本学习方法，包括基于数据增强的方法、基于迁移学习的方法和基于注意力机制的方法，同时根据所研究的藏药数据集进行实验和对比分析，总结阐述了现有方法在解决小样本民族药植物图像识别时的性能优劣。最后对小样本民族药植物图像识别领域存在的问题进行总结，并对未来发展方向进行展望。关键词：深度学习；小样本图像识别；数据增强；迁移学习；注意力机制中图分类号：TP391.4；T
3、P18 文献标识码：A 文章编号：2096-4706（2023）04-0081-06A Survey on Image Recognition of Small-Sample Ethnomedicine PlantsYE Qing1,FENG Zhenqian1,ZHU Yanchen1,FANG Hua2(1.Jiangxi University of Chinese Medicine,Nanchang 330004,China;2.Educational Technology and Instructional Resource Center of Nanchang University,
4、Nanchang 330031,China)Abstract:The rapid development of deep learning models in the field of image recognition makes it more and more obvious that they rely on large-scale data.However,due to factors such as the growth environment and growth cycle of ethnomedicine,it is hard to collect image data of
5、 ethnomedicine,and the sample size is too tiny.How to use the deep learning model to recognize the images of ethnomedicine plants when the sample size is too tiny is a key problem that needs to be resolved urgently.Focusing on deep learning models,this paper discusses in detail several small-sample
6、learning methods in the field of ethnomedicine plants image recognition,including methods based on data augmentation,methods based on transfer learning,and methods based on attention mechanisms.At the same time,according to the studied Tibetan medicine data set,it performs experiments and comparativ
7、e analysis to summarize and expound the performance of the existing methods in solving the image recognition of small-sample of ethnomedicine plants.Finally,the existing problems in the field of image recognition of small-sample ethnomedicine plants are summarized and the future development directio
8、n is proposed.Keywords:deep learning;small-sample image recognition;data augmentation;transfer learning;attention mechanism0 引 言民族药是我国传统中医药重要的组成部分，是少数民族经过长期实践、逐渐摸索出来的一种农业与日常生活相结合的中国特色传统医药学，为少数民族的卫生健康保障做出了巨大贡献，民族药在治疗某些疾病方面具有显著优势，如徐季轩1在关于缺血性心脏病的研究中提到蒙药阿古特-其其格能够治疗 ISO 诱导的心肌结构紊乱。在新冠疫情的防治过程中，民族药发挥了独特的显著优
9、势2，大大提高了病人的治愈率3。然而，市场上民族药的质量良莠不齐，人们由于专业知识、客观因素的限制，对于民族药的辨识能力不足，误用民族药可能会产生不良后果。因此，对于民族药的有效识别的研究迫在眉睫。DOI:10.19850/ki.2096-4706.2023.04.021在国内外现有的研究资料中，大多为民族药功效及用法研究，对于民族药植物图像的研究相对较少。本文整理现有的民族药植物图像识别技术并提出目前这一领域主要面对的难题是样本量过少引起的过拟合问题。为了更好理解小样本民族药植物图像识别的研究现状，本文从深度学习入手，总结梳理了民族药植物图像识别的小样本学习常用技术，以期望能为接下来民族药植
10、物图像识别研究提供新的思路。1 民族药植物图像识别1.1 民族药植物图像识别民族药植物图像识别是指采用计算机视觉相关技术，将民族药植物图像进行识别分类。按照识别过程的不同，主要分为传统识别算法和深度学习识别算法两大类。传统识别算法的一般步骤为：图像预处理、特征提取和特征分类，其中最主要的部分为特征提取和特征分类。传统的民族药图像识别算法中将特征提取与特征分类分开进行，研究人员在特征提取阶段手工设计特征提取分类器，主要提取民族药的形状纹理和颜色特征，然后对提取的底层特征使82822023.022023.02第 4 期现代信息科技用机器学习算法进行特征分类。如曾辉4在对麻黄、木通等民族药识别时，通
11、过提取颜色特征和纹理特征，辅以改进的K 近邻法进行识别分类。王耐5通过使用 HSV 颜色特征、几何不变矩和灰度共生矩进行特征融合，融合后的特征以BP神经网络作为分类器较好地完成了牛膝和川牛膝的分类。然而传统的民族药图像识别算法在特征提取中针对简单特征效果较好，稍微复杂的特征效果差强人意，使用手工设计特征提取主观性较大6，不具有普适性。因此，现阶段研究人员更加关注深度学习识别算法的研究。深度学习识别算法使用特征提取网络自动提取图像特征，通过一层一层的特征组合、抽象，形成高级语义特征，减少了特征提取时人为因素的干扰，客观性较强，准确率更高。深度学习民族药植物图像识别的一般步骤为：图像预处理、神经网
12、络训练、保存模型和测试集测试。深度学习在神经网络训练中将特征提取与特征分类融为一体，减少了特征选择和特征处理的过程，更具有客观性。然而深度学习仍存在一些不足，如深度学习的模型训练需要大量的样本数据，在民族药植物图像识别研究中，难以获取足量的训练数据，导致模型过拟合。因此，样本量过少是目前民族药植物图像识别亟须解决的难题。1.2 民族药植物图像识别小样本问题民族药植物图像识别研究中存在许多难题，包括多基原7、复杂背景8、样本量过少9和样本不均衡10等问题，其中最主要的难题是样本量过少的问题。民族药由于生长周期短，生长环境恶劣，分布地域狭窄且少有人罕至，导致民族药植物图像采集困难，样本量比较少，对
13、少量民族药植物图像进行机器学习的问题称为小样本问题。小样本问题在图像识别中又被称为小样本学习11，主要分为三类：零样本学习12、单样本学习13和少样本学习14。民族药植物图像数据集中包含有许多不同属的植物图像，每个属中又包含不同的种类，每个种类的植物图像不到 20 张，在进行模型训练时，极易因样本量过少产生过拟合。因此，民族药植物图像识别是一个典型的小样本问题。1.3 民族药植物图像识别小样本学习方法在现实场景中由于各种因素的限制无法进行大规模数据的获取，针对这一问题产生的小样本学习引发研究者的关注，许多研究人员提出各种技术来缓解小样本带来的困扰。在自然语言处理领域，赵凯琳15将解决小样本问题
14、的方法分为模型微调、数据增强和迁移学习三种。在图像识别领域，葛轶洲16提出数据增强、迁移学习和元学习的少量标注图像样本学习方法。根据现主流的深度学习框架下民族药植物图像识别小样本问题的研究，大致可以分为三种方法：基于数据增强的方法、基于迁移学习的方法和基于注意力机制的方法。在基于数据增强的方法中，分为图像基本处理技术、生成对抗网络和自动编码器的数据增强方法。在基于迁移学习的方法中，根据迁移的方式分为参数迁移、实例迁移和度量学习 3 种。本文在第 2 节中对上述三类方法的主要思想进行具体阐述，并通过一些代表性案例来说明上述技术在民族药植物图像识别上的应用。2 基于深度学习的方法2.1 基于数据增
15、强的方法数据增强又称为数据增广。数据增强是一种比较常见数据扩充方法。基于数据增强的方法是根据现有的数据集，在不另外收集更多样本数据的条件下，使用一定的操作产生更多的样本数据。数据增强不仅能够使样本数据量增加，而且能够对样本数据的特征进行“增强”。增强后的样本数据能够很好地缓解原始数据集中训练样本不足的问题。数据增强技术大致上可以分为三类，第一种是图像基本处理技术的数据增强，第二种是基于生成对抗网络的数据增强，第三种是基于自编码器的数据增强。2.1.1 图像基本处理技术的数据增强图像基本处理技术的数据增强方法通过简单的空间变换和颜色变换，将原始图像的像素信息映射到新的图像中。深度学习方法常常会在
16、图像预处理阶段使用此种方法对原始数据集进行数据扩充。常见的图像基本处理技术有：平移、镜像、缩放、旋转、裁剪和灰度化等。例如，黄方亮17在小样本中草药图像数据集上进行水平镜像、旋转添加噪声等操作，能够较好地满足卷积神经网络对数据的需求。吴冲18使用深度学习模型，通过对川贝母，山楂和半夏饮片图像裁剪，扩大了数据集的规模，然后对图像进行归一化，提高了特征的提取精度，有效地避免了模型过拟合。除了上述图像基本处理技术之外，还有形态学变换技术19、图像增强20和图像分割21等数据增强方法，但这些方法在民族药植物图像识别中使用较少。由于民族药植物图像的复杂性，形态学变换技术和图像增强对民族药植物图像的处理效果较差。图像分割作为图像处理技术中的一种重要手段，已有许多研究者对图像分割的方式进行改进。常见的图像分割算法对某一种植物叶片分割效果较好，如张宝文22对石楠叶片进行图像分割，成功将叶片与背景分离。对于相对复杂的民族药植物图像，已有的图像分割算法未能将藏药紫斑百合药材主体与背景分离。2.1.2 基于生成对抗网络的数据增强方法生成对抗网络是现阶段深度学习进行数据增强的主要方式之一。生成对抗网络提出的初