1、DOI :10.16263/ki .23 -1071/h.2007.05.0342007年第 5 期 外语学刊 2007, No.5总第 138期 FOREIGNLANGUAGERESEARCH SerialNo.138 话语分析编者按 :话语分析不仅是语言学关注的对象 , 而且是语言哲学、后现代主义等许多人文科学关注的焦点。目前, 话语分析可以区分为批评话语分析和积极话语分析。其实, 话语分析应该以话语为对象, 或者以语言本身为目的, 或者以人及人的世界为目的。前者属于语言学, 后者属于语言哲学, 两者相互联系, 相互支撑。朱永生先生的文章为我国话语分析的开展指明了发展方向, 而丁建新、廖益
2、清等先生也从不同角度出发, 在话语分析领域进行着细致的耕耘。多模态话语分析的理论基础与研究方法朱永生(复旦大学 , 上海 200433)提 要 :迄今为止的话语分析基本上局限于语言本身, 即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系, 忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。 这就使得话语分析带有较大的局限性。 20世纪 90年代, 西方兴起的多模态话语分析, 则可以在很大程度上帮助人们克服这些局限性。 本文将论述与多模态话语分析紧密相关的 4个问题 :(1)多模态话语的产生 ;(2)多模态话语的定义 ;(3)多模态话语分析的性质和理论基础;(4)多模态话语分析
3、的内容、方法和意义。关键词 :多模态话语分析;理论基础;研究方法中图分类号 :B089 文献标识码 :A 文章编号 :1000 -0100(2007)05 -0082 -5TheoryandMethodologyofMultimodalDiscourseAnalysisZhuYong-sheng(FudanUniversity, Shanghai200433, China) Thediscourseanalysisthathasbeendonesofarislargelyrestrictedtolanguageitself, i.e.attentionhasbeenpaidtothelangu
4、agesystemandsemanticstructureandtheirrelationtocultureandcognition, withotherwaysofmeaningmakingsuchasim-ages, sounds, coloursandflashesignored.Thishasmadediscourseanalysisfarfromcomprehensiveandexhaustive.Multimodal discourseanalysis, whichstartedinthe90softhelastcenturyinthewest, cansolvethisprobl
5、emtoagreatextent.Thispaper attemptstodiscussfourissuescloselyrelatedtomultimodaldiscourseanalysis:1)wheremultimodaldiscoursecomesfrom;2) howmultimodaldiscourseisdefined;3)whatisthenatureandtheoreticalbasisofmultimodaldiscourseanalysis;and4)What isthecontent, methodologyandsignificanceofmultimodaldis
6、courseanalysis.Keywords:multimodaldiscourseanalysis;theoreticalbasis;methodology1 引言 言为研究对象, 即只注意语言系统和语义结构本自美国语言学家 Haris 于 20世纪 50年代初 身及其与社会文化和心理认知之间的关系, 忽视提出话语分析 (discourseanalysis)这一研究方向 诸如图象、声音、颜色、动漫等其他意义表现形式。以来, 世界各地的话语分析家作出了很大努力, 提 这就使得话语分析带有较大的局限性。 20 世纪出了各种各样的话语分析理论和方法, 通过大量 90年代西方兴起的多模态话语分析(
7、multimodal实例分析, 解剖了话语活动内在的规律以及话语 discourseanalysis), 则可以在很大程度上帮助人活动与意识形态和认知模式之间的关系。 (朱永 们克服这些局限性。生 2003)然而, 这些理论和方法, 基本上都是以语 本文将论述与多模态话语分析紧密相关的 4822007年 朱永生 多模态话语分析的理论基础与研究方法 第 5期个问题:(1)多模态话语的产生;(2)多模态话语的定义;(3)多模态话语分析的性质和理论基础; (4)多模态话语分析的内容、方法和意义。2 多模态话语的产生2.1感知模态的产生生命科学的研究成果告诉我们, 生命体在演化过程中逐步获得视觉、听觉
8、、嗅觉、味觉、触觉等5种不同的感知通道(sensorychannel):(1) 靠眼睛获得的视觉通道 (visualchannel);(2)靠耳朵获得的听觉通道 (auditivechannel);(3)靠皮肤获得的触觉通道 (tactilechannel);(4)靠鼻子获得的嗅觉通道 (olfactorychannel);(5)靠舌头获得的味觉通道 (gustatorychannel)。 这些通道是生命体与周围环境进行信息交换的界面和路径。 在残酷的物竞天择面前, 这些感知通道能否相互作用, 对周围的一切作出迅速而有效的反应, 直接影响生命体的生存和繁衍。 生物学家们认为, 上述5 种感知渠
9、道的获得分别导致以下 5种交际模态的产生:视觉模态(visualmodality) 、听觉模态(au-ditivemodality)、触觉模态(tactilemodality)、嗅觉模态 (olfacotrymodality)和味觉模态 (gustatory modality)。在上述模态中, 与话语分析关系最紧密的是视觉模态和听觉模态。 近年来, 由于科学技术的发展, 触觉模态、嗅觉模态和味觉模态也开始用于话语交际。 这里仅以触觉模态为例, 随着数据手套(dataglove)的问世, 人们可以依靠传递手指的弯曲角度, 打出各种各样的三维手势, 把语言和手势结合起来, 从而使人机对话更加接近于
10、自然的人际对话。2.2模式、媒介与模态的差别在多模态话语分析中, 模式 (mode)、媒介(medium)与模态(modality)三个词语经常出现。由于彼此之间在意义上有一定的联系, 但界限并不十分明确, 容易造成混乱和误解, 有必要对它们各自的含义进行说明。一般来说, 模式指系统功能语言学家所说的与话语范围(fieldofdiscourse)和话语基调(tenor ofdiscourse)并列的语境三要素之一的话语模式(modeofdiscourse), 意指交流渠道 (channelof communication), 如口头模式(spokenmode)、书面模式 (writenmode
11、)、电子模式 (electronicmode)等。这些模式的使用和变化在一定程度上影响信息的流动 (informationflow), 最终影响语篇性(texture)(语篇应该具备的特征 )。 媒介指语言交际所使用的技术(technology), 从严格的语言学和符号学意义上来看, 算不上一个术语。模态和情态一样, 在英语中都叫做 modality, 但两者所指不同。 情态指语言系统中讲话者对事物的或然性(probability)进行判断和事物的必要性(necessi-ty)表明态度的语义系统, 而模态则指交流的渠道和媒介, 包括语言、技术、图象、颜色、音乐等符号系统。3 多模态话语的性质和
12、识别标准我们认为, 多模态话语就其性质而言是人类感知通道在交际过程中综合使用的结果。 因此, 多模态话语分析不应该局限于语言学的研究范围, 而应该是跨学科的。事实上, 经过十多年的发展, 多模态分析已经超越了语言学的藩篱, 扩展到符号学、哲学、社会学、人类学、政治学、新闻学、心理学、法学、美学和医学等领域, 研究对象也从语言文字扩展到音乐、图片、影像、网页设计和建筑风格等多种社会符号系统。多模态话语如何识别? 我们认为, 不外乎两个判断标准。第一条标准是看涉及的模态种类有多少, 这是当前语言学界普遍认可的标准。 只使用一种模态的话语叫做 “ 单模态话语 ” (monomodaldis-cour
13、se), 如使用听觉模态收听新闻广播或使用视觉模态阅读小说。同时使用两种或两种以上模态的话语叫做 “ 多模态话语 ” (multimodaldis-course), 也有人把同时使用两种模态的话语叫做“双模态话语”(bimodaldiscourse)。 同时使用两种模态的例子有使用可视电话进行交际时, 交际双方都需要用耳朵听对方的讲话内容, 用眼睛看对方的表情变化和手势变化。 同时使用三种或三种以上模态的例子很多。 在日常生活中, 我们使用手机交流时, 需要用耳朵听, 用嘴讲, 用笔写信息, 用手发信息;电脑上网时, 需要用眼睛看屏幕上显示的文字和图象, 用耳朵听文字的录音和图象发出的声音,
14、在技术允许的条件下还可以用鼻子闻到电脑里发出的某种气味。技术含量更高的是美 ATT贝尔实验室设计的 HuMaNet系统, 这个系统能使异地客户召开会议时同时获得声音、文字、数据和图象。第二条标准是看涉及的符号系统有多少。 有些话语虽然只涉及一种模态, 但包含两个或两个以上的符号系统, 如连环画虽然只涉及视觉模态,但既有文字又有图画;广播小说虽然只涉及听觉模态, 但既有文字内容又有背景音乐。我们也把832007年 朱永生 多模态话语分析的理论基础与研究方法 第 5期这些话语看作是多模态话语。 (至于手势语、面部表情和身势语等副语言(paralanguage), 我们既可以把它们看作语言, 也可以
15、看作另一种模态。)4 多模态话语分析的理论基础虽然多模态话语分析也从皮尔斯等人的符号学理论中吸取了媒介、对象、解释三位一体等理念, 但其主要理论基础却是 Haliday创立的系统功能语言学(Haliday1978, 1985/1994;HalidayMa thiessen2004)。 具体地说, 多模态话语分析从系统功能语言学那里接受了语言是社会符号(socialsemiotic)和意义潜势(meaningpotential)的观点, 认为语言以外的其他符号系统也是意义的源泉;接受了系统理论, 认为多模态话语本身也具有系统性;接受了纯理功能假说(metafunction hypothesis)
16、, 认为多模态话语与只包含语言符号的话语一样, 也具有多功能性, 即同时具有概念功能、人际功能和语篇功能;接受了语域 (register) 理论, 认为语境因素和多模态话语的意义解读之间有着密不可分的联系。由于多模态话语分析深受系统功能语言学和符号学的影响, 我们可以把它叫做系统功能符号学(systemic-functionalsemiotics)。 系统功能语言学则可看作系统功能符号学的一个分支。5 多模态话语分析的内容 、 方法与意义5.1内容把语言学理论应用于符号学(尤其是视觉符号研究) 研究早就开始了。 例如, 布拉格学派把“前景化”(foregrounding)概念应用于美术、戏剧、
17、电影和服饰研究;巴黎学派把索绪尔有关“语言” 与“言语” 、“能指” 和“所指” 、“任意 ”与 “理据”等理论应用于绘画、摄影、时装、电影和音乐研究;批评语言学派和系统功能符号学派把 Haliday的系统功能语言学理论应用于新闻、文学和音乐等领域的研究等。多模态话语分析关心的课题很多, 学者们的看法也不尽相同。 这里仅列举几种有代表性的意见。Simpson对一次以多模态化为主题的国际应用语言学研究会的议题进行归纳, 指出多模态话语分析主要涉及如下几个方面:(1)多模态化和新的媒体;(2)在学术和教育情境下的多模态化的应用;(3)多模态化与识读实践;(4)多模态化语料库的建立;(5)多模态化和
18、类型学;(6)多模态化话语分析及其理论问题。 (Simpson2003)Baldry Thibault则列出 6个课题:(1)什么叫多模态语篇;(2)如何对这些语篇进行转录和分析;(3)对多模态语篇进行分析或建立多模态语篇语料库时需要哪些技术;(4)把多媒体的意义生成资源(meaning-makingresources)综合应用到超级语篇(hypertext)后怎样才能使我们的意义生成潜能(meaning-makingpotential)成倍地增加; (5)在我们所处的电子学习时代, 如何使语言研究与多模态和多媒体联系起来;(6)多模态话语分析能以什么方式、在多大程度上给语言学带来新的变化。
19、(BaldryThibault2006)此外, LeVine Scolon(2004)主张在社会、教育和工作场所等不同的语境中开展多模态化话语分析(胡壮麟 2007)。 O Haloran Jewit则认为 , 语言学家应该关注多模态语篇与多种交际模式合成(如语言、动态图象和静态图象, 外加三维物体)的话语之间在意义表达和理解上的关系(O HaloranJewit2006)。 研究的具体内容包括这些模态的步骤(phase)、过渡(transition)、摄影(camera)、身体移动(bodymovement) 、印刷版式(typography)以及这些模态的选择和使用是如何引导读者理解语篇和
20、语境意义的。正如信息学家在发明和应用多模态技术时不仅要使多模态相互结合而且相互配合, 语言学家在进行多模态话语分析时不仅要研究每个模态本身对话语意义的产生有何作用, 而且要研究所涉及的所有模态之间是如何互动, 从而使语篇获得更多的意义(en-hancedmeaning)的。5.2方法要正确解读多模态话语的意义, 须要掌握两个要领。第一个要领是确定不同成分之间的语法关系。一讲到语法, 人们自然会想到如何把单词连成句子的规则, 很少考虑到视觉符号系统中单个元素相互组合时是否也有章可循。 回顾符号学的研究历史, 视觉符号(visualsemiotic)研究占据了十分重要的地位 , 但这类研究基本上都
21、集中在图象、人物、事物和地点等元素的外延和内涵以及象征意义上, 这在很大程度上相当于语言学中的词汇研究, 符号之间的“ 语法”关系被忽视了。 那么, 如何确定多模态话语的语法关系呢? KressLeeuwen认为, 图象中的视觉符号不仅可以反映客观世界和主观世界发生的各种事件, 而且可以表现各种各样的人际关系, 与此同时视觉符号内部也是一个有机的连贯的整体, 因此可以借用Haliday的语言三大功能假说, 分别从概念功能、人际功能和语篇功能三个不同的层面分析图象等842007年 朱永生 多模态话语分析的理论基础与研究方法 第 5期视觉符号的语义关系 (Kress Leeuwen2003)。在概
22、念意义层面上, 我们可以探讨不同的图象之间或同一个图象中不同成分之间有何联系, 哪个成分相当于及物系统中的行为者(actor), 哪个成分充当对象(goal), 哪个成分表示环境 (circum-stance)。 在人际意义层面上, 我们可以探讨图象中参与者之间的社会关系、图象设计者的交际目的以及图象解读者本身对图象内容的介入 (in-volvement)程度。在语篇意义层面上, 我们可以根据同一个图象中不同成分之间或不同图象之间所处的相对位置(如上下、前后、中心边缘关系) 等版面安排的具体情况, 分析多模态话语的信息分布(informationdistribution), 确认哪些成分是已知
23、信息(giveninformation), 哪些成分是新信息(new information), 从而认清哪些信息是多模态话语的起点(pointofdeparture), 哪些信息是多模态话语想要传递的信息焦点(informationfocus)。第二个要领是要弄清文字和图象之间的关系。这方面, 学术界的看法不尽相同。 如 Barthes 认为, 图象和文字说明是关联的, 然而由于图象本身的意义飘忽不定, 必须借助文字说明才能确定(Barthes1967, 1977)。 而 Kress Leeuwen却认为, 图象和文字说明是有联系的, 但并不依赖文字说明, 因为它本身既是有组织的(organ
24、ized), 又是有结构的(structured)(Kress Leeuwen2006)。这就要求我们对两者的互补作用进行深入的研究。此外, KressLeeuwen还告戒我们, “视觉结构并不只是对 现实 结构进行复制。恰恰相反,它们生成的现实世界的各种图象, 与那些生成、传播和阅读这些图象的社会机构的利益是紧紧联系在一起的。 它们是表达意识形态的。 视觉结构绝不只是形式的, 它们在语义上也是非常重要的”(KressLeeuwen2006:47)。这意味着图象和语言一样, 对社会现实和心理现实既具有复制作用,又具有重新建构的作用。5.3意义回顾迄今为止的话语分析, 几乎都是以文本为基础的。
25、这可能是一个方向性的错误。 Sau-ssure(1916)早就明确指出 , 实际使用的话语才是语言学真正须要研究的对象, 基于文本的语言形式和结构研究并不能从根本上解决语言学家想要解决的问题。 Haliday(1978), Haliday Hasan (1985), Chafe(1994)等人也持有相同的观点。我们认为有必要将语言研究的重心转移到自然状态下的话语上来, 特别是现场即席口语会话。 而人们在具体的社会情境中, 总是运用多种多样的符号资源完成意义建构(Kressetal2001)。 这就是说, 自然状态下发生的话语活动往往具有多模态性(multimodality)。以前由于科学技术的
26、限制,很少有人从多模态角度分析话语。如今, 随着多媒体技术和语料库的迅速发展, 对自然话语进行多模态研究已经成为可能。多模态话语分析的意义在于它可以将语言和其他相关的意义资源整合起来(Gibbon2000), 它不仅可以看到语言系统在意义交换过程中所发挥的作用, 而且可以看到诸如图象、音乐、颜色等其他符号系统在这个过程中所产生的效果, 从而使话语意义的解读更加全面、更加准确, 进而发现人类如何综合使用多种模态达到社会交际的目的。可以说, 这类话语分析既可以推动我们对语言学的研究, 同时也可以加深对符号学的认识(胡壮麟 2007)。6 不足之处与今后走向多模态话语分析目前还处于起始阶段, 在如下
27、三个方面存在一些不足。 第一, 语法分析的主观性太强。 以文本为基础的语法分析, 尽管也需要分析者对句子意义结构的理解, 但一般都可以提供严格意义上的语法依据, 而多模态话语分析中的语法分析由于缺乏严格语法意义上的标记和线性关系, 因此带有很强的主观性, 即在很大程度上依靠分析者本人对不同组成部分之间语义关系的理解。在面对同样两个或更多的成分时, 不同的人可能会因为文化背景不同、知识结构不同, 甚至解读动机不同进行不同的分析, 从而得出不同的结论。第二, 与第一个不足之处相关的是各种模态之间的互动关系和互补作用难以确定。多模态话语中往往由多种系统构成, 而每个系统中又有很多单个的成分。 这些成
28、分当中, 哪些对解读有价值, 哪些没有价值, 也是不容易确定的因素。第三, 迄今为止, 从事多模态话语分析的绝大多数是系统功能语言学家, 而多模态话语分析是跨学科的, 仅仅依靠语言学的一个流派是远远不够的。只有其他学科的学者共同参与, 多模态话语的意义才能得到更加全面而正确的解读。值得高兴的是, 虽然多模态技术还处于研发阶段, 但已经对多模态话语的收集、转录和分析以及社会交际的方式和作用产生了影响。随着科学技术的进一步发展, 人们认识世界的水平将越来越高。 根据现有的资料, 我们可以预测, 多模态话语分析将呈现两个比较明显的趋势。第一个趋势是对多模态互补作用的更加关注, 如语篇与图象85200
29、7年 朱永生 多模态话语分析的理论基础与研究方法 第 5期的互补, 说话与手势的互补, 面部表情与语音识别(speechrecognition)的互补, 面部表情与语音综合(speechsynthesis)的互补等。 第二个趋势是复杂程度的提高, 如从二维话语分析走向三维话语分析, 从静态研究走向动态研究等。我们相信, 此类研究必将进一步推动话语分析乃至整个语言学的发展。 目前处于落后地位的我国语言学界须要迎头赶上, 做出自己应有的贡献。参考文献胡壮麟.社会符号学研究中的多模态化 J .语言教学与研究, 2007(1).朱永生.话语分析 50年 J .外国语, 2003(3).Baldry,
30、A.P.J.Thibault.MultimodalTranscriptionandTextAnalysis M .London:EquinoxPublishing, 2006.Barthes, R.ElementsofSemiology M .London:Cape,1967.Barthes, R. Image-Music-Text M . London: Fontana,1977.Chafe, W.Discourse, Consciousness, andTime M .Chica-go:UniversityofChicagoPress, 1994.Gibbon, Dafydd, IngeM
31、ertinsRogerK.Moore.HandbookofMultimodalandSpokenDialogueSystems M .Bos-ton:KluwerAcademicPublishers, 2000.Halliday, M.A.K.LanguageasaSocialSemiotic M .London:Arnold, 1978.Halliday, M.A.K.AnIntroductiontoFunctionalGrammar M .London:Arnold, 1985/1994.Halliday, M.M.K. C.Matthiessen.AnIntroductiontoFunc
32、tionalGrammar M .London:Arnold, 2004.Kress, G. Leeuwen, TheoVan.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication M .London:Arnold, 2003.Kress, G. Leeuwen, TheoVan(2nd Edition).ReadingImages:TheGrammarofVisualDesign M .London:Routledge, 2006.Leeuwen, TheoVan.AMultimodalPerspectiveonCom
33、posi-tion. A .InEnsink, TitusandChristoph Sauer收稿日期 :2006 -12 -28(eds.), FramingandPerspectivisinginDiscourse C .Amsterdam, PA:JohnBenjaminsPub, 2003.Leeuwen, TheoVan. ThreeModelsofInterdisciplinarity A .InWodak, RuthandPaulChilton(eds.), ANewAgendain(Critical)DiscourseAnalysis C .Am-sterdam, PA:Joh
34、nBenjaminsPub, 2005.Leeuwen, TheoVan.TowardsaSemioticsofTypography J .InformationDesignJournal, 2006(2).Leeuwen, TheoVan Adam Jaworski.TheDiscoursesofWarPhotography:PhotojournalisticRepresentationsofthePalestinian-IsraeliWar J .JournalofLanguageandPolitics, 2003(2).Leeuwen, TheovanJewit,Carey.TheHan
35、dbookofVisualAnalysis M .London:Sage, 2001.Lemke, Jay.MultiplyingMeaning:VisualandVerbalSemi-oticsinScientificText A .InJ.R.MartinandRobert Veel(eds.), ReadingScience:CriticalandFunctional PerspectivesonDiscoursesofScience C .London/ New York:Routledge, 1998.LeVine, Philip RonScolon.DiscourseandTech
36、nology: MultimodalDiscourseAnalysis M .WashingtonDC: GeorgetownUniversityPress, 2004.O Haloran, K.L.Interdependence, InteractionandMeta-phorinMultisemioticTexts J .SocialSemiotics, 1999 (3).O Haloran, K.L. Jewit, Carey.MultimodalDiscourse Analysis:SystemicFunctionalPerspectives M .New York:Continuum
37、InternationalPublishingGroup, 2006.O Toole s.TheLanguageofDisplayedArt M .Fairleigh-DickensonUniversityPress, 1994.Royce, TerryD.SynergyonthePage:ExploringIntersemi-oticComplementarityinPage-based MultimodalText A .InJASFLOccasionalPapersNo.1 C .Tokyo: JapanAssociationofSystemicFunctionalLinguistics,1998.Saussure, F.de.CourseinGeneralLinguistics M .Lon-don:GeraldDuckworthCo.Ltd., 1916.【 责任编辑 王松鹤】86
