1、2 0 2 3年第5期基于情景意识的多模态汽车交互设计研究易 博1,2,张 帅1,2,李文馨1,2,胡 岚1,2(1.长沙理工大学 设计艺术学院,湖南 长沙 4 1 0 1 1 4;2.长沙理工大学 智能信息系统与社会服务创新研究中心,湖南 长沙 4 1 0 1 1 4)摘 要:汽车自动驾驶与智能化引发了汽车人机交互创新的机遇与前景,情景意识能帮助驾驶者更好的做出安全的决策。文中笔者首先综述了情景意识的定义与阶段,对影响情景意识的因素作出总结概括。其次对汽车人机交互的历程以及多模态汽车人机交互做出阐述,包括多模态技术对情景意识的作用,触控、语音交互、手势交互等交互方式。最后对情景意识在汽车多模
2、态交互中的应用趋势进行展望。关键词:情景意识;多模态交互;汽车交互设计;人机交互 中图分类号:U 4 6 2.2+4 文献标识码:A 文章编号:1 6 7 4-9 5 7 X(2 0 2 3)0 5-0 0 8 2-0 3R e s e a r c ho nM u l t i-m o d a lV e h i c l e I n t e r a c t i o nD e s i g nB a s e do nS i t u a t i o n a lA w a r e n e s sY iB o1,2,Z h a n gS h u a i1,2,L iW e n-x i n1,2,H uL a
3、 n1,2(1.S c h o o l o fD e s i g na n dA r t,C h a n g s h aU n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y,C h a n g s h a4 1 0 1 1 4,C h i n a;2.I n n o v a t i o nR e s e a r c hC e n t e ro f I n t e l l i g e n t I n f o r m a t i o nS y s t e ma n dS o c i a lS e r v i c e,C h a n
4、g s h aU n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y,C h a n g s h a4 1 0 1 1 4,C h i n a)A b s t r a c t:A u t o m o b i l ea u t o n o m o u sd r i v i n ga n d i n t e l l i g e n c eh a v e t r i g g e r e d t h eo p p o r t u n i t ya n dp r o s p e c t o f a u-t o m o b i l eh u
5、m a n-c o m p u t e r i n t e r a c t i o ni n n o v a t i o n.S i t u a t i o n a la w a r e n e s sc a nh e l pd r i v e r sm a k eb e t t e rs a f ed e c i-s i o n s.I nt h i sp a p e r,t h ea u t h o r f i r s t s u mm a r i z e s t h ed e f i n i t i o na n ds t a g eo f s i t u a t i o n a l a
6、 w a r e n e s s,a n ds u mm a r i-z e s t h e f a c t o r s t h a t a f f e c t s i t u a t i o n a l a w a r e n e s s.S e c o n d l y,t h ec o u r s eo f a u t o m o b i l eh u m a n-c o m p u t e r i n t e r a c t i o na n dm u l t i-m o d a l a u t o m o b i l eh u m a n-c o m p u t e r i n t e
7、 r a c t i o na r ee l a b o r a t e d,i n c l u d i n gt h er o l eo fm u l t i-m o d a l t e c h-n o l o g yo ns i t u a t i o n a la w a r e n e s s,t o u c hc o n t r o l,v o i c ei n t e r a c t i o n,g e s t u r ei n t e r a c t i o na n do t h e ri n t e r a c t i o nm o d e s.F i n a l l y,t
8、 h ea p p l i c a t i o nt r e n do f s i t u a t i o n a l a w a r e n e s s i nv e h i c l em u l t i m o d a l i n t e r a c t i o n i s f o r e c a s t e d.K e yw o r d s:S i t u a t i o n a l a w a r e n e s s;M u l t i m o d a l i n t e r a c t i o n;V e h i c l e i n t e r a c t i o nd e s i
9、g n;H u m a n-c o m p u t e r i n-t e r a c t i o n基金项目:湖南省教育厅科学研究项目:深海载人数字化联合作业人因可靠性分析方法研究(2 2 B 0 3 1 5);湖南省普通高等学校教学改革重点项目:依托产学研多维融合的创意设计人才培养模式改革与实践(HN J G-2 0 2 2-0 0 8 7)作者简介:易博(1 9 9 8),男,汉族,湖南湘阴人,硕士研究生在读,研究方向:智能座舱交互设计。0 引言当今的智能化数字化时代,推动智能汽车、自动驾驶技术快速发展。在从手动驾驶汽车到自动驾驶的过程中,人们逐渐解放双手,驾驶员的情景意识就变得更加重要
10、,如何保证驾驶员的安全成为了汽车人机交互的重点。统计数据表明,在汽车领域,高达7 0%的事故是由乘员自身因素造成的,其中大多由乘员的决策失败所致,而决策失败主要是由情景意识水平较低甚至缺失造成的。而多模态技术帮助驾驶员建立更佳的情景意识,通过语音交互、手势交互、触觉反馈等方式减少用户的认知负荷、记忆符合,让用户达到情景意识的最佳状态。1 驾驶情景意识概述1.1 情景意识的定义情景意识(S i t u a t i o nAw a r e n e s s,S A)一般是针对一个具体的目的、一个特殊的物体或一个特定的功能,甚至特定的工作而言的,情景意识就是让当事人意识到在他的周围正在发生的事情,理解
11、相关信息的意义,以及该信息对未来意味着什么。情景意识这一概念最早产生于军事活动,在一定的时间和空间里,对环境元素的特征感知、对其意义的多元理解及对其在不久的将来的预测。情景意识差不多是每项决策制订时所必须的条件。情景意识是个体对外部环境的多元理解,在复杂的、变化万千的知觉视觉信息环境中,他是影响驾驶者在驾驶过程中作出安全决策的关键1。1.2 情景意识的三个阶段根据系统提供所需信息的程度与形式,情景意识也被看作系统设计的一项功能。所有系统设计在传达所需信息的能力上或与人类基本的信息处理能力相适应的程度上并不相同。任务环境的其他特征,包括工作负荷、压力和复杂程度等也可能影响情景意识2。以下将从情景
12、意识定义中的三个层次更加详细地描述它们各自的主要组成以及环境要素。根据E n d s l e y提出的相关模型,可以将情景意识分为感知、理解和预测三个层次。首先,外部环境的感知是最基础的。缺少信息的识别会对周围所获取到的信息产生错误的认知,这会让我们在驾驶过程中产生错误的情景意识。其次,在感知环境的基础上,还要对获得的相关信息进行“理解”。对信息的分析、存储和释义,识别出对目标28DOI:10.19475/ki.issn1674-957x.2023.05.026内燃机与配件 w w w.n r j p j.c n有用的信息。达到第二层次的能力才能够在第一层次的感知中获取到有用的信息。最后,在感
13、知与理解之后,需要根据环境对未来的发展做出正确的预测感知(如图1)。这就是情景意识研究的目的。图1 驾驶情景意识形成过程1.3 影响情景意识的因素影响情景意识的因素很多,首先是时间性。时间在情景意识中起到很大作用,它包括时间本身及与时间相关的各种元素。最典型的问题是“我们还剩下多少时间?”这个世界是随着时间的流逝而在不断地发生变化,在这个动态情况下,情景意识也是一个动态的过程。对于汽车驾驶安全而言,在正确的时间点,获得关键的信息,做出正确的判断和采取正确的行动,是重中之重。第二个因素是感知和注意提示片段里,这些信息可能被我们的感官接收到了,但由于我们的注意力分配间题,很多信息并没有被感知,而错
14、漏掉的信息就会使得我们的情景意识不够完整和准确。第三个因素是工作记忆和长期记忆。情景意识中的阶段2和阶段3是发生在工作记忆里的,同时长期记忆为理解和预测提供了以往的知识和经验储存。第四个因素是心智模型。心智模型帮助一个人去判定什么信息是重要的,同时也帮助人们理解信息的含义和对未来做预测。如果一个人对眼前的事情还没有建立相关的心智模型,他也可以通过各种分析和知识做出情景意识,但这个过程会比较慢,也很费脑力。2 情景意识下的多模态感知2.1 多模态刺激多模态刺激指的是驾驶者利用手势操控、语音操控、触觉反馈等对驾驶者的视觉、听觉、触觉产生影响,对处在驾驶过程中的用户进行相关刺激提醒,使得驾驶员能够沉
15、浸到驾驶的情景意识之中,从而避免在驾驶的过程中发生危险3。目前,多模态人机交互技术与图像图形相关领域的结合变得非常密切,多模态交互技术作为人机环境的技术载体,承载用户对技术变革的期待。在当今的大数据与人工智能时代,技术和学术的发展与图像学,情感计算、人工智能、大数据、医疗康复和办公教育等息息相关。在汽车人机交互中,多模态技术发挥着重要作用,例如丰田搭载的个性化、情感化、趣味化的智能座舱系统,围绕手势交互、语音交互、触觉反馈等做出了一系列的设计优化,同时也于是这汽车人机交互的发展方向。2.2 多模态交互方式2.2.1 视觉交互正常人在日常生活中视觉的使用比例远大于其它感官,视觉接收到的信息也相比
16、较更多。因此人-车交互中最主要的交互方式首先是视觉,驾驶过程中视觉被高度占用。路况、车速、油量等等都需要每时每刻关注。市面上绝大部分车型都具有仪表盘、中控屏,视觉在人-车交互过程中起着决定性作用。驾驶环境中的信息可视化是将驾驶过程中的各种复杂环境转换成直观可读的数据信息,用户的视觉占用时间必须控制在极短的时间内,因此信息的呈现方式、可读性是首要考虑的。比如屏幕尺寸、符号表达、字体颜色、结构布局以及动效等,还包括物理按键的形状、位置等4。对视觉交互体验的研究需要对车载中控系统的信息进行分类整理,将所需的图形语言进行归纳,以实现汽车在系统中的信息共享,在具有复杂环境的情况下能够更加准确和快速的决策和控制。2.2.2 触觉交互触控作为人机交互最重要的方式,在汽车交互设计的发展中最为重要。从以按钮旋钮为主的操作方式转变到触控的为主的交互方式,新能源汽车的座舱人机交互设计转变到智能化,实现了新能源汽车人机交互的娱乐、导航与操控。并在、蔚来、比亚迪、小鹏等众多造车新势力的商业化落地过程中,带动了车载智能触控全产业链的技术迭代发展。2.2.3 语音交互语音交互作为新一代的人交互方式,它更加靠近自然,
