1、第 51 卷 第 4 期2023 年 4 月华 南 理 工 大 学 学 报（自 然 科 学 版）Journal of South China University of Technology（Natural Science Edition）Vol.51 No.4April 2023基于建筑声学仿真模拟的视听一体化研究孙海涛 杨昱（华南理工大学 建筑学院/亚热带建筑科学国家重点实验室，广东 广州 510640）摘要：文中选取莫扎特第四十交响乐多通道录音信号作为声源干信号，以天津文化中心音乐厅为例，通过建筑声学模拟软件ODEON进行声场模拟，将乐队按照乐器划分为49个点声源并分别对应各个乐器的指向
2、性，在观众席设置5个典型接收点位置，分别计算每个声源点至接收点的双耳脉冲响应，再与每个声源点对应的乐器干信号进行卷积，将卷积得到的49个听音信号同步播放合成乐队多声源可听化信号。同时按照传统点声源的可听化方法，在交响乐队中心位置设置一个点声源，计算点声源至接收点的双耳脉冲响应，再与乐队49个干信号进行卷积同步播放得到交响乐单声源可听化信号。视觉方面首先在Sketch up中建立音乐厅的三维真实模型并给各个界面赋予真实材质，将Sketch up的视觉模型输出至VR虚拟现实模拟软件SimLab Composer，调整灯光、材质、环境等参数，对调整好信息参数的虚拟模型进行渲染以获得更好的沉浸感，通过
3、HTC VIVE Cosmos眼镜输出VR虚拟场景，模拟厅堂的三维视觉。在建筑声学视听实验时分别对比多声源与单声源卷积的可听化信号分别在有无VR视觉信号的条件下混响感与ASW（感知声源宽度）这两个建筑声学空间感音质指标的主观评价差别。实验结果表明：采用多声源卷积的可听化信号可以显著提升听音的混响感和ASW；不同接收点位置的改善程度不同；由于单声源与多声源的可听化信号音质差异较为明显，实验过程中听音实验人员更多关注空间感音质的提升，加入VR视觉信号对可听化信号听音主观评价结果无显著提升。关键词：视听一体化；声源干信号；建筑声学仿真；VR技术；混响感；感知声源宽度；声学主观评价中图分类号：TU11
4、2文章编号：1000-565X（2023）04-0071-09建筑声学仿真技术、计算机VR技术的发展，使得三维场景可视化、声场可听化日趋实用化，并越来越多地应用于建筑声学设计以及虚拟建筑环境仿真等领域1。建筑声学可听化技术主要是采用基于几何声学的计算机仿真软件计算得到声源点到接收点的双耳脉冲响应，并将其与干信号进行卷积，得到可听化信号。目前的可听化模拟大多是计算舞台中心无指向性点声源到接收点位置的双耳脉冲响应。由于真实的乐队声源往往更近似面声源，且每种乐器具有不同的指向型，人们更希望了解的是各种复杂声源在观众席某一点或是某一区域的音质情况，针对这一问题，国内外学者进行了相关研究。Otondo等
5、2提出了一种消声室多通路录音结合点声源的指向性进doi：10.12141/j.issn.1000-565X.220209收稿日期：20220417基金项目：国家自然科学基金资助项目（51878281）Foundation item：Supported by the National Natural Science Foundation of China（51878281）作者简介：孙海涛（1975），男，博士，教授级高级工程师，主要从事建筑声学与环境声学研究。E-mail：第 51 卷华 南 理 工 大 学 学 报（自 然 科 学 版）行可听化的方法，实验结果表明该方法对可听化声音的音色质量有
6、明显改善，在声音空间感方面的改进并不显著；Vigeant等3-4研究了多通道可听化与单通道可听化分别对于独奏乐器时，真实感和声源宽度的感知变化，实验结果表明，对于独奏乐器来说，随着通道数量的增加，真实感增加，声源宽度没有明显关联性，对于完整管弦乐队来说，相比于单通道声源，多通道声源的真实感会提高；Rindel等5将丹麦技术大学录制的乐队各种乐器干信号应用于Odeon软件，实现了多声源的可听化，使得在音乐厅设计初期对感知声源宽度（Apparent Source Width，ASW）、定位和乐器之间的平衡的主观评价成为了可能；王鑫等6在主观实验中使用DTC（Directional Tone Col
7、or，声源指向性音色）代替ASW，在消声室录制民族乐器干信号并测量指向性，运用Odeon软件合成梆笛和二胡单通道及多通道的可听化实验信号，通过主观听音实验对其真实度和声源指向性音色两个参数进行主观评价。在虚拟视听研究领域，Sato等7 研究了听觉和视觉刺激对意大利风格剧院不同座位位置主观偏好的影响，他们采用同一声源信号比较了仅视觉情况下、仅听觉情况下以及视听结合的情况下的主观评价结果，结果表明，视听情况下实验人员的判断要比单纯听音的情况下的判断更准确、更稳定；王朔等8-9 基于视听结合技术创建了音乐厅剧院等场所的选座系统，并且基于选座系统进行了不同座位视听主观评价实验，实验表明视听因素会影响实
8、验人员对音乐厅以及剧院的主观评价。近年来VR虚拟现实技术也广泛应用于建筑声学设计、听音评价等领域10-14。在以上视听实验中，当视觉信号的呈现方式是将固定位置视角图像分别投影到曲面屏幕与液晶显示器上时，视觉信号的视野是固定不变的。由于剧院座位位置的远近不同，随着座位位置距舞台越来越远，受试者所观察到的视觉对象越多，因此采用沉浸式的VR信号会给受试者更真实的视觉体验。视觉和听觉二者是相互作用的，听觉信息有助于提高虚拟环境仿真的逼真性，而视觉背景作为听觉补偿，也有助于提高声音环境的真实感和降低听觉定位混淆。综合以上研究，为进一步了解多声源、单声源与VR视觉信号之间的视听交互作用，本研究选取莫扎特第
9、四十交响乐多通道录音信号作为声源干信号，结合VR视觉信号，对比多声源与单声源卷积的可听化信号分别在有无VR视觉信号的条件下混响感与ASW这两个音质指标的主观评价差别。1可听化信号获取1.1厅堂模型建立本研究用于建筑声学仿真的厅堂是天津文化中心音乐厅，该音乐厅是专业音乐演出空间，以自然声演出交响乐为主。音乐厅纵向长约43 m，最宽处约 37 m。舞台面至跌级天花最高点的距离约为15 m。音乐厅内设有1 200个座位，采用山地葡萄园式布局方式。中心式乐台面积220 m2，乐台前端宽约21 m，进深12 m，可容纳大型乐队15。本研究采用Sketch up软件对该厅堂进行建模，整个模型较大，共包含1
10、3 507个面，室内表面积为5 363 m2，如图1所示。在厅堂中实测得到的空场混响时间T30与建筑声学仿真软件Odeon中空场仿真值的对比结果如表1所示。现场测量采用Dirac软件产生的MLS声信号作为声源，通过声卡经功放反馈给十二面体无指向性声源B&K4292，由B&K4189传声器接收的声信号经适调放大器后输入声卡，再通过Dirac软件进行解卷积处理，获得厅堂的脉冲响应，从而计算得到厅堂声学参数15。从对比结果可以看出，各频段的混响时间对应较好。图1天津文化中心音乐厅ODEON模型Fig.1ODEON model of Tianjin Cultural Center Concert Ha
11、ll表1实测混响时间T30与仿真结果的对比Table 1Comparison of reverberation time T30 between measured and simulation频率/Hz1252505001 0002 0004 0008 000T30/s实测值2.632.482.131.951.781.740.96仿真值2.682.442.141.981.811.770.99相对误差的绝对值/%1.871.640.471.511.661.693.0372第 4 期孙海涛 等：基于建筑声学仿真模拟的视听一体化研究1.2声源点与接收点实验选取莫扎特第四十交响乐多通道录音信号作为声源
12、干信号，该交响乐干信号来源于Odeon官方网站（https：/odeon.dk/mozart-wien-musikverein/），共有11个分区（分别为指挥、第一小提琴、第二小提琴、中提琴、大提琴、低音提琴、单簧管、双簧管、巴松管、长笛、喇叭），共计 49个声源点，49段乐器干信号。根据乐队站位，在Odeon软件中合理布置乐队中声源点 P1-P49 的位置，如图 2 所示，其中图 2（a）表示 Odeon 模型中声源点与接收点布置，红色点为声源P1-P49。图2（b）表示的是根据乐器种类不同赋予每个声源点的声源指向性与声源角度，在模型中设置5个接收点的位置，图2（a）中蓝色点为接收点R1-R
13、5，从左到右依次为R5、R4、R3、R2、R1。分别计算声源点P1-P49至每个接收点的双耳脉冲响应，将声源P1-P49对应的干信号与对应双耳脉冲响应的进行卷积，并最终同步播放，得到音乐厅乐队在各接收点位置的可听化声音信号。同时按照单声源的可听化方法，在交响乐队中心位置设置点声源，计算点声源至接收点的双耳脉冲响应，再与乐队合奏干信号进行卷积得到交响乐可听化信号。具体在Odeon软件中设置声源点P50-P98，点声源均为无指向性声源，且位置均与声源点1重合。计算声源点P50-P98至每个接收点的脉冲响应，将声源P50-P98对应的干信号与对应的脉冲响应进行卷积，最终同步播放得到传统的对照组音乐厅
14、的可听化声音信号，R1-R5为接收点位置。不同乐器具有不同的声源指向性，如图 3、图4列出了小提琴、长笛的声源1 000 Hz指向性示意图，计算双耳脉冲响应时，每个声源均赋予其对应的乐器指向特性（消声室录制干信号时测得）。1.3VR视觉信号制作视觉信号制作是参考音乐厅现场的实拍照片在Sketch up模型里赋予各界面相应的材质，真实地模图2乐队声源点与接收点平面示意图Fig.2Plan of sound source point and receiving point of the symphony band图3小提琴声源指向性Fig.3Sound source directivity of
15、the violin图4长笛声源指向性Fig.4Sound source directivity of the flute73第 51 卷华 南 理 工 大 学 学 报（自 然 科 学 版）拟实际厅堂的视觉效果，同时将Sketch up与VR虚拟现实模拟软件SimLab Composer进行链接，采用HTC VIVE Cosmos眼镜输出VR虚拟场景，模拟厅堂的三维视觉。建模渲染时根据实际建筑内部情况，通过 SimLab Composer 软件调整灯光、材质、环境等参数，对调整好信息参数的虚拟模型进行渲染与烘焙，使内部空间环境更加真实，从而得到更好的沉浸感。在模型中确定实验人员的视点位置，创建
16、序列连接每个视点位置，通过遥控手柄，使每个视点位之间可以自由切换。如图5-图9为5个接收点视点示意图。实验人员在VR虚拟厅堂中可以任意转动视角，不受限制。2可听化听音实验过程2.1实验评价参数及评价等级听音实验要求受试者对比多声源与单声源卷积的可听化信号分别在有无VR视觉信号的条件下，混响感与 ASW 这两个音质指标的主观评价差别。混响感是指音乐在室内演奏时，由于室内各界面的反射对直达声所起的增强和烘托的作用；ASW表示人耳感知的声源宽度范围，即声源发出的声音在空间传播后经双耳作用而被听者感觉到的宽度，感知声源宽度可能与真实乐器宽度不同。主观听音实验针对每个实验信号在5到100之间评分，评分区间被等分成 5 个等级，分别是优、良、中、差、劣。受试者参照等级标准，给出相应的分值。受试者年龄都在2030岁之间，均有一定的音乐学习背景且经过专业的音质主观评价训练，共32人，其中16位男生，16位女生。在正式实验前，所有受试者都接受了简单的辅导说明，能够正确了解实验的过程，清楚评价术语的含义。2.2听觉信号与视觉信号播放实验用可听化音乐信号的格式均为Wav文件，图7接收点R3视角下的视点示意图
