1、第 4 卷第 4 期2022 年 12 月微纳电子与智能制造Micro/nano Electronics and Intelligent ManufacturingVol.4 No.4Dec.2022章宦慧,博士,主要研究方向为模拟和混合信号集成电路。E-mail:zhanghuanhui 刘力源(通信作者),研究员,主要研究方向为人工智能视觉芯片、高速 CMOS 图像传感器、太赫兹波成像芯片、高性能数据转换器等。E-mail:liuly DOI:10.19816/ki.10-1594/tn.2022.04.062面向边缘应用的脉冲视觉传感器章宦慧1,康磊1,田娜1,杨旭1,冯鹏1,石匆2,刘
2、剑1,吴南健1,刘力源1(1.中国科学院半导体研究所半导体超晶格国家重点实验室 北京 100083;2.重庆大学微电子与通信工程学院 重庆 400044)摘要:图像传感器是人类获取视觉信息的重要途径,在边缘感知和计算中有着重要的应用。在边缘端感存算一体化的发展趋势下,传统 CMOS 图像传感器由于大量的实数型数据、冗余的像素数据以及较低的时间分辨率,阻碍了边缘视觉系统的进一步发展。借鉴人眼视觉原理,人们发现了生物成像系统的电信号脉冲特性、高效的信息预处理机制以及丰富的信息获取种类,并从中获得了改进视觉成像的设计灵感。从上世纪 80 年代起,研究者们试图通过模仿人类视觉构建新型脉冲视觉传感器,包
3、括高动态脉冲调制成像、高动态高灵敏度边缘检测动态视觉成像和二维三维融合的单光子成像。在未来的趋势中,脉冲传感器将有助于构建低延迟、多功能、低功耗的感存算一体化边缘视觉系统。关键词:CMOS 图像传感器;脉冲调制成像;动态视觉成像;单光子成像中图分类号:TP752 文献标识码:A 国家标准学科分类代码:510Pulse vision sensor for edge applicationsZHANG Huanhui1,KANG Lei1,TIAN Na1,YANG Xu1,FENG Peng1,SHI Cong2,LIU Jian1,WU Nanjian1,LIU Liyuan1(1.State
4、 Key Laboratory of Superlattices and Microstructures,Institute of Semiconductors,Chinese Academy of Sciences,Beijing 100083,China;2.School of Microelectronics and Communication Engineering,Chongqing University,Chongqing 400044,China)Abstract:Image sensors are an important way for humans to obtain vi
5、sual information,and have important applications in edge percep-tion and computing.Under the development trend of the integration of sensing,storage and computing at the edge,traditional CMOS(complementary metal oxide semiconductor)image sensors hinder the further development of edge vision systems
6、due to a large amount of real data,redundant pixel data,and low time resolution.Drawing on the principles of human vision,people have discovered the e-lectrical signal pulse characteristics of biological imaging systems,efficient information preprocessing mechanisms,and rich types of in-formation ac
7、quisition,and obtained design inspiration for improving visual imaging.Since the 1980s,researchers have attempted to construct new pulse vision sensors by imitating human vision,including high dynamic pulse modulation imaging,high dynamic and high sensitivity edge detection dynamic vision imaging,an
8、d single-photon imaging of two-dimensional and three-dimensional fusion.In the future trend,the pulse sensor will help to build a low-latency,multi-functional,and low-power sensor-memory-computing integrated edge vision system.Keywords:CMOS image sensor;pulse modulation imaging;dynamic vision imagin
9、g;single photon imaging0引言视觉系统是人类获取外界信息的重要途经,主要包括人眼、视网膜和大脑中的特定部分。光通过眼球成像在视网膜上,再被大脑计算并存储,以较低的功耗实现了高灵敏度和高动态范围。通过对人眼视觉系统的研究,人们提出有关光探测和信息处理的图像传感器和后端处理器。随着近几十年半导体技术的飞速发展,图像传感器的成像质量日益提升、成像种类愈加丰富。相比于早期记录信息的绘图技术,图像传感器获取和处理视觉信息的途径更加便捷、准确和多样化,从而在人们的生活中占据重要的地位。随着近几年边缘端视觉感知应用需求的增加,人们亟需一套集成化的低延迟、低功耗和高带宽视觉成像系统。于是
10、,研究者们开始综合图像传感器、计算机视觉和人工神经网络及处理器设计等领域的相关内容,转向感知、存储和计算一体化的片上集成第 4 期章宦慧 等:面向边缘应用的脉冲视觉传感器63 系统(system on chip,SoC)研发。然而,传统图像传感器成像得到的实数型结果难以通过读出电路高速地读出,且在目标识别的过程中,冗余的像素数据会占用带宽资源,限制了成像的响应速度。此外,传统图像传感器的积分结构限制了成像的时间分辨率和动态范围。这些缺点阻碍了集成化边缘视觉系统的进一步发展。人眼的脉冲化信息结构能够实现高灵敏度、高动态范围和极低的功耗,给研究者们许多启发。于是,以 CMOS(complement
11、ary metal oxide semiconduc-tor)读出电路设计为基础的连续光信号模拟量转电脉冲信号的脉冲视觉传感器结构被陆续提出,其数字脉冲化的输出形式能更好地与后端处理器兼容,从而实现低功耗、高速度的视觉成像系统。本文从阐述传统 CMOS 图像传感器(CMOS im-age sensor,CIS)的特点出发,介绍了人类视觉系统对成像的启发之处,随后梳理了脉冲视觉图像传感器的基本发展脉络,并对几种典型的脉冲视觉传感器及其原理进行阐述,最后进行总结并对前景作出展望。1脉冲视觉传感器的提出上世纪末,半导体工艺技术取得重大进步,基于有源像素结构的 CMOS 图像传感器开始成为主流。随着边
12、缘端应用的兴起,譬如自动驾驶、智能监控等,传统 CMOS 图像传感器的性能逐渐无法满足人们的需求:带宽不足、成像灵敏度低、动态范围小以及成像功能单一。相比于传统图像传感器,生物的视觉神经系统具有更高的处理效率,因而引发了相关学者的研究探索,并借鉴仿生结构提出了一些基于信号脉冲化的视觉传感器。1.1传统 CIS 结构简介CMOS 图像传感器的传统结构为四管有源像素1,如图 1 所示,光生电荷在势阱中积累,然后由MOS 开 关 切 换 转 移 到 扩 散 掺 杂 区(floating diffusion,FD)上的寄生电容,变成电压信号,随后由读出电路进行处理。CIS 由标准 CMOS 工艺发展而
13、来,可以单片集成模拟读出电路(如相关双采样、可编程放大器、模数转化器等),以及数字控制电路(如行驱动器和译码器实现像素阵列的曝光时序控制、列输出数据的并行转串行等)。在更高层级的系统结构上,CIS 还可以与数字视觉处理器芯片集成为一个整体的片上系统,避免芯片之间组合出现的可靠性问题,实现感存算一体化的视觉芯片2-4。图 1传统四管像素结构Fig.1Traditional four-transistor pixel structure然而,随 着 和 片 上 处 理 系 统 的 进 一 步 集 成,CMOS 图像传感器在部分场景中的使用出现了局限性。首先,在高分辨率和高帧率的指标下,传感器多比特
14、实数的输出会产生巨大的数据量,使得总线带宽负担较重。并且在后期图像处理环节中,大部分像素的数据冗余,会导致读出资源的浪费、减缓成像灵敏度和电路处理速度。其次,受限于像素感光点的电荷储存容量和噪声水平,传统 CIS 动态范围在60 70 dB,然而自然界的光强变化范围可以达到140 dB,因此实现传感器的宽动态范围是一个巨大的挑战5。另外,传统 CIS 只能用于二维成像,在特定的目标识别场景(比如自动驾驶)中,无法满足对物体距离信息高精度和低延迟的实时探测。1.2人眼视觉原理及启发人眼成像的结构图如图 2(a)所示6,主要包含眼球、视网膜和神经通路。眼球是一个凸球体,相当于一套光学成像系统,对入
15、射光线起汇聚作用。肌肉会调节眼球的屈光度将视场中不同远近的物体清晰地反映到连接于眼球后半部的视网膜上。视网膜接收到光信号后将其转化为电信号,并通过各种不同的视觉细胞作用后,将信息通过视神经传输给大脑皮层的视觉中枢进行最后的处理,最后形成感知到的画面。视网膜是视觉系统中重要的感光成像组织。图2(b)给出了视网膜的一般结构,主要包括感光细胞、中间层神经元细胞以及神经节细胞。这些细胞按照顺序由内向外排列,即感光细胞在最内层,光线穿过多个细胞层后,最终才刺激感光部分。感光细胞包含 两 种 类 型:视 锥 细 胞(cone)和 视 杆 细 胞(rod),分别参与彩色视觉和弱光视觉成像7。在不同的光照强度
16、下,两种细胞的活跃程度有所差异。强光下,视锥细胞具有很高的灵敏度,以形成强光视64 微纳电子与智能制造第 4 卷觉,相应地在弱光环境中失效。其可以被分为 L、M、S 三种亚型,分别对应红、蓝、绿三色以形成相应的颜色通道信息。弱光下,视杆细胞变得很活跃,其内部的光致化学过程能够积极释放神经递质,因此具有弱光成像的能力。入射光对两种感光细胞的刺激使膜电位发生改变,因此而产生的电脉冲信号通过视神经传入视皮层。已有研究表明,经由视神经输入大脑的电脉冲信号数据量稀少,因而推断视觉信息的部分处理可能已发生在视网膜内部8。此外,有研究者通过对鲎的小眼进行不同光刺激的实验发现,光信号的强弱影响眼输出的电脉冲信号的稀疏程度9,从而推测人类视网膜对光信号的感知可能也具有相似的作用形式,即利用生物电脉冲信号的频率来表征不同的信息。图 2人眼成像结构图Fig.2Human eye imaging structure基于以上视网膜的工作特性,人眼视觉成像有以下特点:第一,视网膜采用频率调制的生物脉冲电信号传递信息,简洁的形式有效降低了通信的数据量和信息处理的复杂度。第二,视觉系统有高效的信息预处理机制,在感光单
