1、 年 月外 文 研 究 第 卷 第 期 话语的多模态互动分析新路径 多模态理论与方法：互动与身份分析介评重庆文理学院 孙小孟摘 要：多模态互动分析是多模态话语研究的主要路径之一。该路径旨在从互动行为的视角，对多模态话语进行多模态互动分析，以探究人们的心理、意图、情感、态度等信息。在 年出版的多模态理论与方法：互动与身份分析中，将互动分析同时放在话语的三个层面。通过其构建的“模态密度 注意力或意识的前景背景连续体”这一分析框架，分析互动中的模态密度和模态配置情况，从而探究互动行为在不同话语层所建构的身份要素及其所属关系。其理论和方法开创了多模态互动与身份分析的研究视角，对动态多模态话语分析与设计
2、具有重要价值。关键词：多模态互动分析；模态；行为；身份中图分类号：文献标识码：文章编号：（）基金项目：国家社会科学基金西部项目“一带一路话语体系建设中多模态话语的文化隐喻研究”（）引言多模态互动分析的代表人物，著名语言学家 早在其 年出版的多模态互动分析一书中，就构建了一个多模态互动分析的基本理论框架和分析模式，为学者们从互动的视角开展多模态话语研究奠定了基础。然而，在具体分析中，该框架显露出一些问题：）忽略了对话语行为起支配作用的文化语境和情景语境，使多模态互动分析缺乏行为产生的背景和情景；）分析方法以描述为主，没有形成系统完整的理论框架和研究方法，导致多模态互动分析不够深入，应用领域也受到
3、局限。在 年出版的多模态理论与方法：互动与身份分析一书中，进一步梳理了多模态互动分析的各要素及其相互关系，补充和纠正了一部分概念和分析工具，完善了多模态互动分析模式和研究方法，构建了一个系统、完整的多模态互动分析理论框架，为进一步推动多模态互动研究提供了新视野，具有重要的参考价值和借鉴意义。鉴于此，下文将对该书的主要内容进行介绍，并对其主要观点做简要评述，以期引起学界对该书的关注。内容简介该书主要讨论了三方面的问题：）多模态互动分析的理论背景和概念概述；）多模态互动分析的理论与方法；）多模态身份分析的理论与方法。引言部分首先明确了该书的写作目的是从行为和互动行为的视角为多模态话语分析提供理论支
4、撑和分析工具。作者基于中介话语理论和社会符号学的多模态研究，提出多模态话语分析需要关注行为分析（：）。行为（）是人与人之间或者人与物或环境之间的互动。换言之，行为就是互动行为（）。因此，全书聚焦多模态话语分析中的（互动）行为分析（下文简称互动分析）。作者将该书的主体分为三大部分。第一部分主要介绍了多模态互动分析的理论背景和相关概念。作者从多模态与语言的关系，多模态理论与方法对语言学研究的重要性这一背景出发，阐明了多模态互动分析属于语言学研究范畴，指出多模态互动分析的理论核心是结合多模态话语的微观、中观和宏观三个层面，从整体上分析人类的行为、互动行为和身份建构。作者强调，就行为、互动行为和身份建
5、构而言，多模态互动分析本身既是一个理论，又是一个分析方法，理论内嵌于概念，并通过实例论证了将概念作为分析工具对多模态语料进行分析的可行性。作者把人们的互动和互动中所使用的语言、手势、表情、姿势、声音等多种模态视为一个连贯的交际系统；把实现交际的中介行为（）作为多模态互动分析的基本单位；简要说明了多模态互动分析所需要的基本概念，包括中介行为、互动、互动注意力（）和模态（）等；基于相关概念，从理论上构建了“模态密度注意力或意识的前景背景连续体”（）这一多模态互动分析框架。第二部分系统地阐释和论证了多模态互动分析的理论和方法。首先，作者基于（）关于中介话语和实践的研究，解释了把中介行为视为多模态互动
6、分析基本单位的依据。然后就中介行为和分析中介行为所需要的理论与方法进行了详细阐释。中介行为是人们借助或者通过中介手段进行的行为，简单地说，就是人们正在做什么。作者将中介行为分为低层中介行为（下文简称低层行为）和高层中介行为（下文简称高层行为）。低层行为是最小的互动意义单位，具有起点和终点。低层行为是为实现某一高层行为而产生的，其本身不能单独存在，多个低层行为链一起构成一个高层行为。高层行为与抽象层面的实践相连。这里的实践指历史上人们在做同样的高层行为时所形成的一种规范，因而是抽象层面的概念。同时，具体的高层行为又与社会话语层相连，这里的话语是具有习俗化或制度性的实践。在实际交际活动中，作者认为
7、要把互动分析同时放在这三个层面：具体的中介行为层（微观层）、抽象的实践层（中观层）和抽象的社会话语层（宏观层）。研究者通过分析互动行为中多模态的使用情况，从这三个层面综合开展多模态互动分析。对行为中模态的分析要从模态密度和模态配置入手。模态密度体现为模态强度和模态复杂度。模态配置体现在高层行为中模态密度和行为者注意力的分布。通常情况下，人们会同时进行几个高层行为，但是，一次只能专注于其中的一个。行为者对某个高层行为所投入的模态密度越大，表示他对该高层行为所付出的注意力越强，这一高层行为在整个多模态话语中越前景化。反之，行为者对某一高层行为所投入的模态密度越小，表示他对该高层行为所付出的注意力越
8、弱，这一高层行为在整个多模态话语中越背景化。由此，作者构建了一个“模态密度 注意力或意识的前景背景连续体”这一多模态互动分析框架。图 是该框架的示意图。图 模态密度 注意力或意识的前景背景连续体示意图在具体分析中，首先，分析者要识别互动行为中同时进行的几个高层行为，再把这几个高层行为按照模态密度的高低放入“模态密度 注意力或意识的前景背景连续体”框架内进行分析，以此来判断行为者注意力的分布。随着互动行为的进行，可以根据行为者对模态密度和模态配置的调整来分析其注意力的变化，及其所代表的前景至背景高层行为的转变和由此对整个互动行为带来的影响。在这一过程中，一些模态作为语义或语用手段提示行为者注意力
9、的转向和前景背景高层行为的更替。第三部分详细阐释了如何结合相关理论和工具分析互动中的人物身份。作者认为身份是人们在特定时间和地点与他人的互动中建构的。互动体现为一系列的低层和高层中介行为，这些行为会产生特定的身份要素。故此，可以在互动中识别身份。作者对互动中人物的身份分析也是基于“模态密度 注意力或意识的前景背景连续体”框架开展的。分析者首先要识别在一次社交活动中人们同时参与的几个高层行为及其所产生的身份要素，再把这些高层行为或其对应的身份要素放置于“模态密度 注意力或意识的前景背景连续体”框架中进行综合分析。模态密度代表行为者对特定行为和由此产生的身份要素的关注度。通过模态密度分析行为者注意
10、力的分布情况，可识别行为者对其不同身份的关注度。模态配置也透露出行为者的身份要素。一段时间之内，在任何层次的注意力中反复出现的身份信息代表行为者的主要身份。反之，有些身份要素即便是在核心注意力中，如果只是偶尔出现，那么这些身份要素在行为者的整体身份中也不重要。作者认为身份分析需要从话语的三个层面进行：话语核心层、话语中间层和话语外层。这三个层面分别对应即时性身份、持续性身份和稳定性身份的建构。概言之，即时性身份是人们在具体的某次互动中（话语核心层）建构的，是临时的、可变的；持续性身份是人们在其所属的社会关系（话语中间层）中形成的，具有一定的稳定性，一经建立，难以改变；稳定性身份是人们在更加广泛
11、的社会背景（话语外层）中形成的，稳定性最强。最后，作者将多模态话语的互动分析和身份分析放置于一个名为“介入点”（）的窗口，进行整合分析。通过该窗口，既可以分析行为者的行为、互动行为及其传递的见解、思想和情感，又能在此基础上探究行为者在话语核心层中所建构的多个即时性身份及其相互关系，在话语中间层中建构的持续性身份，以及在话语外层中形成的稳定性身份。此外，还可以通过分析持续性身份和稳定性身份与即时性身份的吻合度，判断人们在互动中的地位和相互关系。简要评析该书是 在其多模态互动分析一书的基础上，对多模态话语分析理论的补充、拓展、丰富和完善。从行为和互动行为的视角为多模态互动话语研究提供了理论框架和具
12、体方法，其主要贡献和启示表现在以下几个方面：第一，拓宽了模态和语言研究的视角。语言学领域的模态可以指生成意义的符号资源（：），也可以是体现话语者态度的所有表达（），还可以指说话者对命题的评价（张良林）等。该书中，（：）将模态视为有规律的低层中介行为系统，仅仅是理论上的概念，具有社会性、文化性和历史性。人们在与他人、环境和事物的互动体验中掌握和使用它。在具体的中介行为中，模态体现为行为者采用某种方式做事（完成高层行为）的过程性行为系统，单独存在便没有意义。因此，该书中的模态是有关低层中介行为的知识积累，作为一种抽象的方式去描述和分析具体的行为和互动行为，为全面和深入分析多模态话语，尤其是通过具体
13、的交际活动来分析交际者的意图、情感和身份建构等提供了新视角。该书对模态的研究也扩大了对语言使用的研究范畴。在以往的话语研究中，语言作为表意符号这一研究视角显得过于狭窄。该书作者超越对语言原有的认知，将语言表达同动作、姿势、手势、表情等概念上的模态与具体的低层行为相关联。在多模态互动分析中，把语言的使用视为低层中介行为，将其放入行为系统中来研究，扩大了语言使用研究的范畴，也为丰富语言的功能打开新的窗口。第二，调整和补充了部分概念和分析工具，构建了一个系统完整的多模态互动分析理论框架。作者把“行为”和“互动行为”合并，统一用“（互动）行为”表示，强调了任何社会行为都是行为者之间、行为者与事物或者环
14、境之间的互动关系。进而，把（）的中介话语理论修改为多模态中介话语理论。在互动分析中，把其他模态与语言放在同等重要的位置，将语言、表情、身体姿势与动作等模态置于更广阔的话语系统中来讨论。作者还基于社会活动本身的复杂性和多变性，用“行为范围”这个概念作为分析工具，以厘清同时进行的几个高层行为之间，及其所产生的不同身份要素之间的关系。从这个意义上讲，行为范围对分析互动中人们身份的变化和身份的稳定性具有独特价值。此外，基于行为和身份之间的关系，作者将身份建构融入多模态互动分析框架内，并根据身份建构的即时性、持续性和稳定性，分别从话语的三个层面分析互动中人们的身份建构和角色凸显。即作者将互动分析与身份建
15、构纳入同一个分析框架，综合多个概念和分析工具，从不同的话语层，系统阐释和分析多模态话语中相关要素之间的关系及其对互动和身份建构的影响。该框架克服了原互动分析框架中语境缺失的弊端，解决了因语境缺乏使多模态互动分析框架显得孤立、可行性不强等问题。新框架的互动分析包括三个层次：具体的高层行为、抽象的实践层和社会话语层。这三个层次之间的关系类似于系统功能语言学中的语篇、情景语境、文化语境之间的关系。三者辩证统一，在互动中建构意义。社会话语层和实践层是具体高层行为发生的背景和情景，框定和约束着具体高层行为的进行。同时，社会话语层和实践层的交互作用形成一个介入点。介入点把这三个层次联系在一起，使系统的多模
16、态互动分析成为可能，为今后学者们从不同层面、不同视角开展多模态互动分析，提供了理论基础和方法启示。第三，该书中有关模态密度和模态配置的各要素及其对人们注意力的反映和身份建构等理论分析，为准确界定和区分多模态话语中不同模态符号的配置与互动所产生的不同功能，及其对整个多模态话语的影响等方面提供了方法参考，也为进一步研究和利用如何通过模态密度和模态配置来设计和使用多模态话语，丰富多模态话语功能，扩大多模态话语的应用范围等方面提供了启示。需要说明的是，该书的多模态互动分析同样存在一些问题和不足之处，有待解决和完善。其一，缺乏多模态互动意义生成和识解的理论依据。该书中，作者把模态作为一个抽象概念去描述和
17、分析具体的行为，旨在理解行为者的见解、思想和情感等。虽然从理论上阐释了通过模态分析互动行为的方法，却没有从互动意义的生成和识解上给出具体的依据，使得该多模态互动分析框架仍然不能完全摆脱其主观性和描述性的弊端。其二，缺乏相应的数据统计工具。所构建的“模态密度 注意力或意识的前景背景连续体”框架，主要从理论上阐释了模态强度、模态复杂度、模态配置等几个要素的重要性和相互关系，没有说明如何对互动中这几个要素本身进行准确测量。令人欣慰的是，（）在另一本专著多模态数据的系统化处理：多模态话语分析中的研究方法中，为多模态互动分析提供了一种包括数据收集、描述、数据块筛选、数据转写和分析工具的使用等较为系统、科
18、学的多模态数据处理范式。我国学者刘靖、陈露露（）对该范式进行了引介。他们认为该数据处理范式为研究者深入开展多模态互动分析提供了启示和比较可行的操作方法。但也强调在该范式中，有关多模态分析工具的使用尚未形成系统化的理论框架，导致数据分析可能存在较强的主观性（刘靖、陈露露：）。因此，该数据处理范式还需要在实践分析中不断完善。总之，瑕不掩瑜。的新作多模态理论与方法：互动与身份分析为多模态互动分析提供了系统的理论、具体的方法和清晰的分析路线。其所构建的综合型多模态互动分析框架具有广泛的适用性，对多模态话语分析者具有重要的指导意义。此外，多模态互动分析以视频为资料进行转录分析，其理论和方法在动态多模态话语分析和设计方面有重要的应用价值。参考文献 刘 靖，陈露露 多模态数据的系统化处理：多模态话语分析中的研究方法述评 外文研究（）：张良林 从模态到言外行为的符号学旅程 苏州大学学报（哲学社会科学版）（）：（责任编辑 刘 倩）收稿日期：通信地址：重庆市 重庆文理学院外国语学院 ，“”，“”：（）（，），（）（，），“”，
