1、第 卷，第期 光谱学与光谱分析 ，年月 ，一种 联合双树复小波的水质紫外可见光谱去噪算法研究汪仁杰，冯鹏，杨兴，安乐，黄盼，罗燕，何鹏，汤斌，重庆大学光电技术及系统教育部重点实验室，重庆 重庆市光纤传感与光电检测重点实验室，重庆 成都理工大学计算机与网络安全学院，四川 成都 摘要紫外可见吸收光谱法测量水质化学需氧量（），本质是对大量水质光谱数据建模，以此模型为基础引入待测的水质光谱数据进行预测的过程。而实测的邻苯二甲酸氢钾 标准溶液在 存在两个特征吸收峰，标准溶液在不同浓度下的峰值也不同，利用此特性对该波段进行特征波长的选择，用其表征光谱信息，降低数据冗余度的同时提高了预测精度。针对实测水质光
2、谱信号容易受到仪器本身和外界干扰，光谱数据存在大量非平稳噪声，且特征吸收峰及其临近信号频率较高，常规去噪算法直接舍弃高频信号以及无法准确判断信噪分量界限，导致有效信号缺失这一实际问题。提出了一种基于完全自适应噪声集合经验模态分解（）和双树复小波变换（）的联合去噪算法。该联合算法利用 将信号分解为本征模态函数（），并通过归一化自相关函数和互相关系数进行线性相关性分析，得到各阶 分量之间的自相关性以及 分量与原始信号的互相关系数，以确定高频含噪分量与低频信号分量的界限；进而应用 阈值去噪算法对含噪高频 分量进行处理，将 处理之后的 高频分量与 分解得到的 低频分量进行信号重构，获得最终去噪后的水质
3、光谱信号。实验结果表明：基于 联合双树复小波变换的去噪算法适用于紫外可见光谱水质检测的数据处理。对于化学需氧量 标液为 的邻苯二甲酸氢钾溶液，将实测的紫外可见光谱数据应用该算法去噪后的 ，不仅去噪效果显著优于 和双树复小波阈值算法，还有效地保留了原始 标液的吸收特征峰，遏制了平移敏感性现象，提高了重构信号的平滑度，改善了重构信号质量。为紫外可见光谱法检测水质 提供了一种新的数据预处理方法。关键词水质检测；紫外可见光谱；完全自适应噪声集合经验模态分解（）；双树复小波变换；相关分析中图分类号：文献标识码：（）收稿日期：，修订日期：基金项目：国家 自然科学基金青年科学基金项目（），重 庆市研究生科研
4、创新项目（），重 庆 市 自 然 科 学 基 金 项 目（）资助作者简介：汪仁杰，年生，重庆理工大学现代光电检测技术与仪器重点实验室硕士研究生 ：通讯作者 ：；引言随着我国工业化和城镇化规模的的不断扩大，水环境污染问题愈发严重。因此对水体环境水质进行检测和监测，实现实时预警，已尤为迫切。目前，化学需氧量（，）是用以评估水体有机污染程度应用最为广泛的指标，其被定义为由强氧化剂（如重铬酸盐、高锰酸盐）氧化水体中还原性物质所消耗的氧的当量。数值与污水的有机物污染程度成正比，数值越大，对水环境的破坏越严重。国标法规定检测 的方法主要为重铬酸钾氧化法和高锰酸盐指数法，虽然检测精度较高，但化学方法存在操作
5、复杂、测量周期长、产出废液等缺点。近年来，采用紫外可见光谱法进行水质 检测已成为研究热点，这是一种无需化学试剂、无二次污染的绿色无损检测技术，受到国内外广泛关注。实测水质光谱信号会受到来自于光源、光路、光电转换器件、外界干扰等多个方面的噪声影响，严重影响光谱信号特征峰的定位与识别，降低水质预测模型的准确性和适应性。近年来，不少国内外学者在拉曼光谱、近红外光谱去噪领域有着广泛深入的研究。李卿等采用经验模态分解（，）方法，不失真分解和重构拉曼光谱信号，相比传统小波变换，具有自适应性，无需人为选定小波基、阈值和分解层数，但易引起模态混叠和端点效应等问题；等提出了总体经验模态分解（，）的方法，缓解了
6、模态混叠的问题，但增加了计算时间；等提出了互补集合经验模态分解（，），进一步减弱模态混叠效应且提高了计算效率；等也对 进行了改进，提出了完全自适应噪声集合经验模态分解（，），具有更好的模态频谱分离和更高的计算效率，同时也克服了 的虚假分量缺陷；等为了消除可见光与红外 光 谱 噪 声，提 出 了 基 于 改 进 双 树 复 小 波（，）的光谱去噪算法，相比传统小波具有近似平移不变性和抑制模态混叠的优点，但该方法仅能去除高频噪声，无法去除混杂在低频的细节噪声。对于水质预测模型，紫外可见光谱数据 波段的两处特征吸收峰可以表征 以上的光谱信息，其核心就在于对其特征峰进行建模。然而特征吸收尖峰及其邻近信
7、号频率极高，常规去噪方法难以有效划分信噪分量分离点，因此导致 解算的偏离。本研究提出了一种 联合 的去噪方法。具有很好的模态分离特性和信号完备性，可以将实测信号分解为频率从高到低的一系列本征模态函数，噪声分量在其前阶高频分量当中；但是前阶同样含有少量的有用信号，因此引入双树复小波，对前阶高频分量再次进行信号提取，在消除或减弱光谱噪声的同时，利用 的平移不变性以保证谱峰位置 检 测 的 准 确 性，进 一 步 提 升 水 质 光 谱 数 据 的 信噪比。算法原理 理论及去噪算法 以集合经验模态分解（）为基础，将 分解得到的每一阶本征模态函数分量（，）添加自适应白噪声，并计算唯一的残差信号以获取固
8、有模态函数。定义符号 为集合平均得到的模态分量，（）表示通过产生的第个模态分量，（）为满足（，）分布的高斯白噪声信号，设待处理光谱信号为（），包含以下步骤：对原始信号（）添加不同的高斯白噪声（），则原始信号变成（）（）（），表示噪声标准差，用方法对集合中每一个合成信号（）进行次分解，对其进行集合平均获得一阶 分量，见式（）（）（）（）去除原始信号中的模态分量，得到第一个残差信号（），表示为式（）（）（）（）（）对信号（）（）进行次分解，获得二阶 分量，见式（）（）（）（）（）对于，计算阶残差分量，见式（）（）（）（）（）提取信号（）（）的阶 分量，求出阶模态分量，见式（）（）（）（）（）重复步
9、骤，直至残差信号分量为单调函数，不能再分解为止，最终可得到个本征模态函数，最后的残差信号，见式（）（）（）（）（）即原始信号（）可以表示为式（）（）（）（）（）从 方法的原理看出，可以将光谱信号模态分解成频率从高到低的一系列 分量，相比 具有更好的模态频谱分离能力，进一步改善模态混叠效应和避免虚假 分量。其中随机噪声主要分布在前几阶高频分量中，然而仍旧没有明确的方法来确定 信噪分量分界点。在去噪研究中，常用来判定信号分量与噪声分 量 的 方 法 有 排 列 熵、熵 等，本 研 究 将 对 分解后的各阶 分量与原始信号进行相关性分析来确定。相关性原理判定与计算熵值相比，不仅噪声层级精确，而且更具
10、简易性，相关系数公式见式（）（）（）（）（）（）（）式（）中：为信号长度，（）代表第阶 分量与原始信号（）之间的相关系数。计算得到各阶 分量的相关系数后，绘制出相关系数的关系图。信号的高频噪声分量阶数与相关系数存在一定的规律：当含噪信号（）信噪比非常大时，设分解的 分量为阶，第阶处相关系数均较小，从阶起相关系数会突然增大，且阶总体呈上升趋势，此时可以认为阶为噪声分量。最后直接舍弃掉前阶高频 分量，将阶 分量重构，得到去噪后的信号。双树复小波变换（）理论及去噪算法针对实小波变换不具有平移不变性和频率混叠的缺陷，在 年提出双树复小波变换（）。相较于实小波变换，特有的抗频率混叠和平移不变性等特点，在
11、信号滤波降噪等方面优于许多时频分析方法。是两路并行的实小波变换结构，即实树和虚树，进而实现对信号的分解以及重构。在信号分解与重构时，使实树采样点比第期 汪仁杰等：一种 联合双树复小波的水质紫外可见光谱去噪算法研究虚树采样点相隔一个采样周期，让虚树的采样点在实树之间，正好采集到实树因隔点采样丢失的采样值，达到充分利用双树的小波分解系数的目的，实现信号平移不变性，减少有用信号的丢失。基于双树复小波变换（）去噪算法：含有大量非平稳噪声的紫外可见光谱信号经过双树复小波变换后，有效信号分量大多数包含在小波系数的低频部分，含噪信号分量基本在高频部分。在信号分解过程中，设定一个合适的阈值，将低于该阈值的小波
12、系数全部置零，将高于设定阈值的小波系数保留，最后进行小波逆变换得到重构后的信号。阈值的选取方法主要有硬阈值法和软阈值法两种，由于软阈值的去噪方法在连续性和去噪效果上优于硬阈值方法，因此采用软阈值的处理方法。软阈值表达式（）（）（），（）式（）中，为全局阈值，其表达式为式（）（）（）为阈值处理后的小波系数，为小波系数，为信号长度，为噪声标准差。信号经过软阈值法处理后，能够最大程度地保留信号有用成分，达到去噪目的。基本步骤是：将原始信号进行双树复小波变换，设定分解层数，对信号进行分解，得到一组系数；应用软阈值法选取合适的阈值，确定信噪分量的界限，对每层含噪高频系数进行阈值处理；对信号进行重构：将阈
13、值处理后的高频系数与未处理的低频系数进行重构，得到最终的去噪信号。联合 的光谱去噪算法对于实测水质紫外可见吸收光谱，位于 之间第一和第二特征吸收峰包含了吸收光谱的绝大部分信息，但吸收尖峰及其临近频率极高，传统的去噪方法难以做到信噪分离的同时保证吸收峰的信号完整性。方法相比 具有良好的抗模态混叠和克服虚假分量的特点，且计算效率大大提高，当含噪光谱信号中包含较小幅度的有效信息时，采用 分解原始信号得到的本征模态函数，采用相关性分析分离出高频含噪分量和低频信号分量，若直接舍弃高频含噪分量去噪会造成高频噪声压制不完全或高频有效信号损失。双树复小波变换相比传统小波，具有良好的平移不变性和抗频率混叠的特性
14、，处理后的信号波形较为平滑，且使得水质光谱信号去噪前后不会出现基线漂移 等 现 象。鉴 于 此，提 出 了 将 和 联合的方法，通过互补的方式解决上述去噪过程中的问题。针对 分解出的前阶高频 分量中可能含有较小幅度的有用信号，采用 对前阶高频 分量进行再去噪，最终将 处理后的高频 分量与 分解的未处理 分量重构得到去噪后的光谱。该联合算法保证了光谱吸收特征峰在横纵向同时满足良好的完备性，进而保证水质预测模型的准确性。同时，因 算法和 算法均具有较少的冗余性和良好的鲁棒性，使计算效率大大提高，更适用于水质在线监测。算法流程和伪代码图如图。联合去噪算法的基本流程分为三个步骤：对原始信号进行 分解，
15、得到各阶 分量；对 分量进行相关性分析，根据相关系数大小确定含噪 分量和信号 分量的界限；由于前几阶高频分量中仍含有少量细节信号，将确定为噪声分量的前几阶 分量分别进行 软阈值提取细节信号，然后小波逆变换得到重构后的 分量；将步骤中处理之后得到的重构 分量与中未处理 分量再次进行重构，得到最后的去噪信号。结果与讨论 实验设置紫外可见吸收光谱法的水质检测系统如图所示。为了验证所提出算法的理论可行性，分别采用（）海洋光学（型号：）光 谱 仪 和（）超 微 光 学（型 号：）光谱仪：（）为标准光谱对照组，测量波段 ，测量 个点；（）为原始光谱实验组，测量波段 ，测量 个点。为了排除多余的可控变量，实
16、验除光谱仪型号不同外，其余实验条件均保持一致：采用氘卤灯组合式光源（型号：）作为光谱发生器，波长范围为 ；相同的光路结构（支架型号：），光程为；石英比色 皿（型 号：光 亮 高 科 ），容量 ，光 程；采用抗紫外光纤（型号：），长度为；本实验所用样本溶液为一组邻苯二甲酸氢钾 标液，浓度为 。将上述仪器设备按照图搭建实验系统，两组光谱仪分别对样本溶液进行 次测量，光谱仪采集软件设置积分时间 。紫外可见光谱波段在 ，因此截取两组光谱仪 区间的光谱数据为有效数据区间。图（）为海洋光学 光谱仪所测一组吸收光谱图，图（）为超微光学 光谱仪所测吸收光谱图。对于两组光谱仪对照实验，实测 标液的吸收光谱在 之间出现两个特征吸收峰，如图（，）。为了仔细观察两个吸收特征峰的波形，将两组光谱仪在 的光谱信息放大，如图（，）。可以明显观察到 的吸收光谱的第一特征峰出现较多毛刺和尖峰，的曲线较为平滑且在特征峰位置无较多干扰信息，两组光谱仪的第二特征吸收峰波形均平滑且高信噪比。以 的测量结果作为标准光谱信号，将实测的 吸收光谱数据分别用 分解、阈值及本研究算法去噪处理。为了定性定量地分析光谱学与光谱分析第 卷图联
