1、第 46 卷 第 4 期2023 年 4 月测绘与空间地理信息GEOMATICS&SPATIAL INFORMATION TECHNOLOGYVol.46,No.4Apr.,2023收稿日期:2021-11-08基金项目:典型自然资源要素遥感影像样本库建设方法研究(Y2020ZL07)资助作者简介:饶杨莉(1987-),女,四川成都人,高级工程师,硕士,2013 年毕业于西南交通大学地图学与地理信息系统专业,主要从事地理信息系统应用等方面的研究工作。面向深度学习的遥感影像样本库建设技术研究饶杨莉1,张玉金1,周兴霞1,陈 飞2(1.自然资源部第三航测遥感院,四川 成都 610100;2.北京超
2、图软件股份有限公司,北京 100015)摘要:针对深度学习样本制作技术稀缺以及样本复用性差等问题,本文围绕自然资源督察业务、测绘生产项目等需求,面向深度学习算法和模型,基于多源多时相卫星遥感影像,结合已有地理国情监测数据、基础地理信息数据等资料,对水体、林地、推填土等典型自然资源要素,开展了遥感影像处理、样本数据制作、质量控制、成果入库等方面的技术研究,初步建立了一套面向深度学习的遥感影像样本库建设技术体系,有效促进了样本数据的统一管理、重复利用和动态更新。关键词:深度学习;遥感影像样本库;自然资源要素;多源多时相影像中图分类号:P209 文献标识码:A 文章编号:1672-5867(2023
3、)04-0038-05Research on the Construction Technology of Remote Sensing Image Sample Database for Deep LearningRAO Yangli1,ZHANG Yujin1,ZHOU Xingxia1,CHEN Fei2(1.The Third Institute of Photogrammetry and Remote Sensing,MNR,Chengdu 610100,China;2.SuperMap Software Co.,Ltd.,Beijing 100015,China)Abstract:
4、In view of the scarcity of deep learning sample production technology and the poor reusability of samples,the research focu-ses on the needs of natural resource inspection business,surveying and mapping production projects,etc.,for deep learning algo-rithms and models.Based on multi-source and multi
5、-temporal satellite remote sensing images,combined with existing geographic conditions monitoring data,basic geographic information data and other data,the technical research on remote sensing image process-ing,sample data production,quality control,and storage of results has been carried out for ty
6、pical natural resource elements such as water,forest land and push fill.A set of remote sensing image sample database construction technology system oriented to deep learn-ing has been initially established,which effectively promots the unified management,reuse and dynamic update of sample data.Key
7、words:deep learning;remote sensing image sample database;natural resource elements;multi-source and multi-temporal ima-ges0 引 言深度学习作为人工智能(Artificial Intelligence,AI)的核心技术,近年来在图像分类、目标检测等领域展现出巨大优势,利用深度学习技术进行影像解译、视觉分析等方面的研究也越来越多1。深度学习用于智能识别的技术主要包括场景分类、语义分割和目标检测2,三者所利用的样本形式有很大区别,本次研究主要采用语义分割技术。国内外已有的语义分
8、割样本数据集大多针对房屋建筑,要素类型单一,且在采用影像、采集标准、存储方式等方面存在差异。此外,样本数据作为深度学习智能分类除模型算法外最重要的支撑,其质量和数量在很大程度上决定了自动提取的精度。但是,目前国内外对于面向深度学习的样本制作技术方面的研究很少,还没有一定的建库标准可供参照,样本的复用性较差。随着 AI+遥感技术的广泛应用,自然资源要素的智能识别与提取成为构建自然资源监管决策应用体系、实现实时监测与精准督察新模式、提升地表覆盖相关业务效能、提高自然资源测绘地理信息数据保障的重要途径。因此,研究基于多源多时相卫星遥感影像,结合已有基础数据资料,围绕水体、林地、推填土等典型自然资源要
9、素,面向深度学习算法和模型,初步建立了一套切实可行的样本规模化生产技术体系,实现了多源多时相自然资源要素遥感影像样本库构建,能够有效统一管理样本数据,提高其重复利用率,提高样本训练模型的普适性,进而提升自然资源要素智能化提取能力,推动自然资源调查与监管智能化建设3。1 样本设计1.1 样本内容面向深度学习的遥感影像样本库数据内容主要包含以下几类:1)样本矢量图斑(shp):根据遥感影像采集的各类自然资源要素图斑,包括水体、林地、推填土等,坐标系及投影信息与对应的原始影像一致。2)样本标签(label):由样本矢量图斑通过数据转换得到栅格格式的标签数据,NoData 值设置为 127,分辨率、坐
10、标系及投影信息与对应的原始影像一致。3)样本影像(src):利用样本标签裁剪原始遥感影像并经降位处理所得,大小与样本标签完全一致,数据深度为 8 bit,NoData 值设置为 255,分辨率、坐标系及投影信息同对应的原始遥感影像。4)标准尺寸样本数据:样本标签和样本影像经过裁切所得的尺寸为 600600 个像素,可直接用于模型训练的数据,包括标准尺寸样本影像数据集及其对应的标准尺寸标签。5)深度学习模型(model):包括模型文件及其配置文件,两者需配套使用进行后续智能分类。1.2 样本大小深度学习通常由低层到高层从影像中提取特征,分别获取其边缘特征、局部特征、整体特征,样本需能够体现地物的
11、全部特征4。因此,单块样本建议越大越好,尽可能包含丰富多样的地物特征信息,具体实施过程中样本大小应不小于 3 5003 500 个像素,特殊情况的分类需求应确保单块样本不小于 600600 个像素。1.3 样本规模成功训练一个深度网络需要训练大量样本,因此,样本规模原则上越大越好,考虑到实际生产效率问题,具体实施时样本量尽可能控制在 0.20.5 景,可在一景影像中选取一块满足样本规模要求的区域,也可选取多块区域,累加后满足样本规模需求即可。1.4 样本类别综合考虑影像上呈现的地表覆盖状况、生产效率、算法实现可能性等因素,为提高各类样本数据的多样性、增强训练模型的鲁棒性和泛化能力5,确定样本类
12、别为单一类型,即对水体、林地、推填土等要素类型分别进行样本数据的采集制作。2 资料收集2.1 多源遥感影像收集到覆盖成都市的多源多时相遥感影像,具体包括分辨率为 0.5 m 的高景一号(GJ-1),分辨率为 0.8 m的北京二号(BJ-2)、高分二号(GF-2)以及分辨率为 2 m的资源三号(ZY-3)、高分一号(GF-1)卫星影像,主要来源于 20162020 年地理国情监测项目以及四川省遥感影像统筹推送,包括未经正射纠正的原始全色影像和多光谱影像以及经正射纠正后的融合影像,获取时间涵盖春夏秋冬 4 个季节。该数据主要用于典型自然资源要素样本采集与制作。2.2 地理国情监测数据收集到成都市的
13、地理国情监测数据,内含地表覆盖分类图斑,现势性为 2020 年 6 月 30 日。国情数据地表覆盖分类体系共分为 8 个一级类、47 个二级类和 88 个三级类,其中,一级类的分类体系见表 1。表 1 地理国情监测地表覆盖分类体系(一级类)Tab.1 Land cover classification system for geographical conditions monitoring(first class)编码名称01种植土地03林草覆盖05房屋建筑(区)06铁路与道路07构筑物08人工堆掘地09荒漠与裸露地10水域 提取该数据地表覆盖分类图斑中与林地、水体、推填土等相关的要素数据,
14、作为样本矢量图斑采集的本底数据或参考数据。2.3 基础地理信息数据收集到成都市的基础地理信息数据,主要包括 1 1 000、12 000、110 000 等比例尺的 DLG 数据,数据格式有 DWG/MDB/GDB,内含点、线、面 3 种几何类型。针对不同比例尺、不同项目的需求不同,其 DLG 分类体系也有所差异,一般分为 10 个一级类、59 个二级类、多个三级类,其中,一级类的分类体系见表 2。表 2 数字线划图(DLG)分类体系(一级类)Tab.2 Digital Line Graphic(DLG)classification system(first class)编码名称01定位基础0
15、2水系及附属设施03居民地及附属设施04交通及附属设施05管线06境界与政区07地貌与土质08植被09地名10符号及辅助 提取该数据面状图斑中与林地、水体、推填土等相关的要素数据,作为样本矢量图斑采集的本底数据或参考数据。93第 4 期饶杨莉等:面向深度学习的遥感影像样本库建设技术研究3 建库技术流程遥感影像样本库建设总体工艺流程如图 1 所示。图 1 遥感影像样本库建设总体工艺流程Fig.1 Overall technological process of remote sensing image sample database construction3.1 遥感影像处理3.1.1 影像纠
16、正针对收集影像中还未正射纠正的原始卫星影像(包含全色影像和多光谱影像),数据分发时已经过辐射定标、大气校正等处理,实际使用时还需对其进行纠正与融合处理。一般采用人工刺点或影像特征匹配的方式获取影像控制点、连接点,经区域网平差后解算出高精度外参数,然后使用解算的外参数和 DEM 数据进行全色影像正射纠正,再利用纠正后的全色影像对多光谱影像进行配准纠正,得到整景全色、多光谱数字正射影像成果,最后经融合处理得到整景多波段融合影像,具体如图 2 所示。图 2 遥感影像正射纠正流程Fig.2 Ortho rectification process of remote sensing image3.1.2 影像增强为提升模型训练以及智能解译精度,还需对多源正射影像进行系列增强处理,改善影像质量,增强影像特征,减少辐射值差异,主要包括影像降位、直方图匹配、多尺度重采样等处理。1)影像降位研究所用影像均为 RGB 的 16 位无符号整型数据,各波段数值在0,65 535之间,数据分布范围较广,各像元特征差异较大,模型训练时较难正确提取学习影像特征信息,易造成训练结果不可靠;另外,16 位的遥感影像数据
