1、0230002-1第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展研究论文基于智能手机的快照式荧光多光谱成像李玉豪1，2，余毅1*，孙志远1，穆远超1，21中国科学院长春光学精密机械与物理研究所精密仪器与装备研发中心，吉林 长春 130033；2中国科学院大学，北京 100049摘要 多光谱重建技术在生物医学领域有着巨大的应用潜力。在传统的皮肤和口腔细菌评估中，目视检查仍然是最广泛使用的方法。这种方法依靠肉眼观察，主观性很强。即使是有经验的临床医生，对细菌感染的确定和评估也经常存在不确定性。为了提供客观和更准确的细菌评估，提出一种基于Wiener估计的荧光多光谱重建方法。该方
2、法基于智能手机平台，用紫色光源激发，采集了皮肤和牙齿的自发荧光图像，使用 Wiener估计算法将获取的自发荧光图像重建为具有 31个波段（范围为 400700 nm）的多光谱数据立方体，提取并比较细菌产生的卟啉和内源性背景组织发射的光谱强度。基于提取的自发荧光光谱，应用加权减法来实现对皮肤表面细菌的高对比度和高信噪比识别。实验结果表明，所提方法不仅能够准确重建荧光多光谱图像，而且能够实现细菌的定位，应用加权减法后，对比度增强了1246倍，信噪比提高了1.632倍。关键词 光谱、荧光和发光；多光谱重建；快照式；智能手机；维纳估计中图分类号 O433.4 文献标志码 A DOI：10.3788/L
3、OP220491Smartphone-Based Snapshot Fluorescence Multispectral ImagingLi Yuhao1,2,Yu Yi1*,Sun Zhiyuan1,Mu Yuanchao1,21Fine Instrument and Equipment Research&Development Center,Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,Jilin,China;2University
4、of Chinese Academy of Sciences,Beijing 100049,ChinaAbstract Multispectral reconstruction technology has widespread potential applications in biomedicine.Moreover,visual inspection is the typically used traditional method for skin and oral bacteria assessment.However,this method relies on naked-eye o
5、bservations and is highly subjective.Even experienced clinicians face uncertainty while providing a definite diagnosis for the bacterial infection.This study proposes a fluorescence multispectral Wiener estimation-based reconstruction method to provide an objective and accurate bacterial evaluation.
6、This method is based on a smartphone platform that is excited by a purple light source to capture spontaneous fluorescence images of skin and teeth.The Wiener estimation algorithm was used to reconstruct the acquired autofluorescence image into a multispectral data cube with 31 bands(400-700 nm).Fur
7、thermore,the spectral intensity of the porphyrin produced by the bacteria and the endogenous background tissue emission was extracted and compared.Based on the extracted autofluorescence spectra,a weighted subtraction method was utilized to obtain high-contrast and high-signal-to-noise identificatio
8、n of the bacteria on the skin surface.The experimental results indicate that the proposed method accurately reconstructs the multispectral fluorescence image and realizes the position of bacteria.After the weighted subtraction method was applied,the contrast increases by 12 to 46 times and the signa
9、l-to-noise ratio increases by 1.63 to 2 times.Key words spectrum,fluorescence,and luminescence;multispectral reconstruction;snapshot;smart phone;Wiener estimation1引言多光谱成像技术在遥感、壁画、食品安全、生物医学等领域有着迅速的发展1-4。与彩色成像技术不同的是，多光谱成像技术能获取图像每个像素点的光谱反射率5，光谱反射率是颜色最全面最准确的描述方式。多光谱重建技术是根据获取的彩色图像运用相应的算法估计其光谱反射率的一种方法，常用的
10、重建方收稿日期：2022-01-10；修回日期：2022-03-02；录用日期：2022-03-14；网络首发日期：2022-03-26基金项目：国家自然科学基金（62104227）通信作者：*0230002-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展法主要有伪逆法6、维纳估计法7和主成分分析（PCA）法8等。陈奕艺等9利用多项式模型和主成分分析法对物体表面光谱反射率进行重建研究，验证了应用两种光源的 RGB 信号可有效提高光谱重建精度。梁金星等10提出了伪逆法和局部反距离加权优化的光谱重建方法，提高了光谱重建精度。Chen等11-12采用维纳估计法，将从初始
11、 RGB值获得的系统矩阵与一组合成滤光器相结合，以生成另外三个对应于新颜色的值，这种方法具有快速性，可以实时从彩色图像估计多个组织位置的漫反射光谱，并在皮肤部位的体内颜色测量中进行了测试，验证了该方法的光谱重建精度。目前，多光谱重建技术的发展方向主要集中在可见光波长部分和相应重建算法的改进，而近紫外荧光部分的光谱重建及其应用较少13。本文以解决荧光光谱发射率重建及其应用问题为研究目标，提出一种基于 Wiener 估计的荧光多光谱重建方法。通过智能手机获取 RGB通道值，运用维纳估计算法对表征颜色信息的光谱发射率进行重建，对重建精度进行分析评价，并将所提方法应用于皮肤和牙齿的细菌定位上。荧光成像
12、为评估人体组织上的细菌含量提供了新的研究手段14-15。例如，卟啉作为细菌繁殖和代谢的副产品，在皮肤的皮脂腺和牙菌斑中积累16，在荧光刺激下发出红光信号，这与绿色自发荧光背景（来源于内源性组织成分）形成对比17。通过追踪卟啉诱导的红色荧光信号，细菌污染的组织可以有效被定位。2维纳估计算法从低维数据重建高维信息时，维纳估计算法在重建精度和计算效率方面是较好的18，也是最常用的。因此，本文将此方法应用于智能手机相机拍摄的 RGB模式图像，重建荧光光谱强度。维纳估计算法是使初始光谱强度与用样本训练得到的重建光谱强度均方根误差值最小化的方法。在智能手机摄像头中，荧光响应可以描述为VC=()fC()s(
13、)d=mC()()d，（1）式中：是波长；VC是智能手机相机中子通道 C的响应（C 为 R，G，B）；fC()是子通道 C 中滤波器的光谱透射率；s()是相机传感器的光谱灵敏度；mC()是fC()和s()的乘积，即每个子通道的光谱响应度；()是目标组织的荧光发射光谱。式（1）的矩阵形式表示为V=M，（2）式中：V是智能手机相机的响应向量；M是智能手机相机的光谱响应矩阵；是荧光光谱向量。使用光谱仪来测量校准色块的光谱发射率，当光谱仪测量色块光谱发射率时，每个子通道的响应表示为VC=()fC()s()d=mC()()d，（3）式中：VC是第C个子通道的响应，C=1，2，3，31；fC()是滤波器在
14、第C个子通道中的光谱透射率；s()是光谱灵敏度；mC()是fC()和s()的乘积，称为光谱仪中每个子通道的光谱响应度。式（3）的矩阵形式表示为V=M，（4）式中：V是光谱仪响应的向量；M是光谱仪的光谱响应矩阵。为了从 RGB图像重建多光谱图像，假设重建矩阵为W，该过程表示为V=WV，（5）式中：V是重建的多光谱图像。为了确保重建的准确性，应使初始光谱发射率和重建光谱发射率之间的均方误差值最小，表达式为Ev-v2 min，（6）式中：E为数学期望；v为初始光谱发射率列向量；v为重建得到的光谱发射率列向量。设：v=Mvv=Mv，（7）由 2-范数可知，v-v2=trace(v-v)(v-v)T。（
15、8）令f(W)=Ev-v2，对其求导，得到f(W)W=traceWEvvT-vvT-vvT+vvT=traceWEvvT-v(WMv)T-(WMv)vT+(WMv)(WMv)T=traceWEvvT-vvTMTWT-WMvvT+WMvvTMTWT=0 ，（9）即，E-vvTMT-vvTMT+WMvvTMT+WMvvTMT=0，（10）所以，W=E(vvTMT)E(MvvTMT)-1=E(vvT)E(vvT)-1，（11）式中：E(vvT)为初始光谱发射率列向量v与相机的RGB 信号列向量v的互相关矩阵；E(vvT)称为相机的RGB信号列向量v的自相关矩阵。在实验中，由光谱仪实测的 n 个色块的
16、光谱发射率构成矩阵V=（v1，v2，vn），获取的相机的 RGB 信号矩阵为V=（v1，v2，vn），由此得0230002-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展E(vvT)=V VTn，E(vvT)=V VTn。（12）3实验3.1荧光色卡制作与光谱发射率获取为了提供校准数据集，通过用于人体彩绘的荧光染料对树脂基底进行染色，来合成荧光色图，如图 1所示。通过各种染料的混合，获得了具有独特荧光外观的色块。进行实验校准，在暗室环境下，用 365 nm LED 灯照亮这张荧光色图，智能手机摄像头和光谱仪分别采集 RGB 模式的图像（如图 1 所示）和 64 个色块的光谱强度（如图 2 所示）。光谱仪（Flame-S，Ocean Optics 公司，美国）测量获取荧光色卡样本在 380720 nm 波长范围内的光谱强度信息，该设备采用 45（光源）/垂直（光纤）测量条件，在测量中通过 5次测量求平均的方法减小随机噪声引起的测量误差。同时，为去除在光谱曲线两端由系统误差造成的噪声和光源的影响，以 10 nm 为采样间隔，截取 400700 nm 范围内的光
