儿童绘本：多模态话语分析的新宠.doc

1、1儿童绘本：多模态话语分析的新宠摘 要： 文章以 Kress van Leeuwen 的视觉语法为依据，从多模态社会符号学视角对 Peppe the Lamplighter 这一荣获凯迪克银奖的儿童绘本中的图像进行描述和分析;并基于 Nikolajeva Scott对图文关系的区分，揭示该绘本中的图文关系，以期加深对儿童绘本的理解，优化儿童绘本的译介和出版。 关键词： 多模态话语分析 视觉语法 图文关系 培培点灯 一、引言 多模态话语是“运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象” 。20 世纪 90 年代以来，多模态话语分析一直是国外语言学界

2、的研究热点，国外学者也在该领域取得了丰硕的成果。但国内相关研究处于起始阶段，尚未成熟，且国内学者多模态话语分析的对象多集中在广告、电影或诗歌等语篇上，很少对儿童绘本（尤其是单一绘本）进行完整的分析。作为一种典型的多模态语篇，儿童绘本通过图画与文字的配合，共同叙述故事和传递知识。随着对儿童阅读的重视，儿童绘本开始大量出现，但其创作与译介却良莠不齐。本文以培培点灯为例，运用多模态社会符号学分析方法解读优秀儿童绘本的特征，以揭示多模态理论的可操作性，从而为绘本的创作和译介提供依据，优化当下绘本市场。 二、理论背景 2韩礼德认为语言作为一种社会符号，具有表征客观世界和内心世界的概念、体现语言使用者的交

3、际参与和交际角色关系的人际关系及组织成语篇等三大功能。 “虽然这些元功能是首先基于对语言的研究提出来的，但这并不意味着它们仅仅局限于语言” 。Kress 等人认为，图像可看做一种社会符号，也可用韩礼德分析语言的社会符号学方法来分析。因此，Kress Van Leeuwen 借用韩礼德的语言三大功能理论，分别从表现意义，即概念功能、互动意义，人际功能、组篇意义，即语篇功能三个不同的层面分析图像等视觉符号的语义关系。 Kress Van Leeuwen 的视觉语法为理解和解释多模态语篇中的图像提供了有力的理论支持，但他们并未明确提出用来分析视觉和语言模态之间相互作用的理论框架，而且对于图、文这两种

4、模态间的关系，学术界的看法不尽相同。Royce 将图文关系分为重复、同义、反义、整体与部分、上下义搭配关系。Barthes 认为图像是多意的，因而图像需要依附于文字，图文的关系主要是阐释和延伸。Nikolajeva Scott ?t将图文关系定义为四种：（1）对称关系，图与文阐释相同的内容;（2）意义互补关系，两种模态分别为对方提供了其缺少的信息，进行互补;（3）对比关系;（4）相反关系。相比较而言，Nikolajeva Scott 的分析更清晰明确，因此本文将借鉴他们对图文关系的区分来解读绘本。三、Peppe the Lamplighter 的多模态话语分析 Peppe the Lampli

5、ghter 曾获 1994 年凯迪克银奖，是绘本作者根据自己爷爷的真实经历改编而成的。该绘本讲述了在世纪之交的纽约，主3人公 Peppe 一家人怀抱“美国梦”来到小意大利城的移民故事。绘本的插画家 Ted Lewin 以写实画法将书中人物的表情、感受表达得淋漓尽致，增强了绘本故事的真实性，并以大幅的黑色背景来衬托出灯光给人们带来的明亮与温暖的效果。 （一）Peppe the Lamplighter 的视觉语法解读 Kress Van Leeuwen 认为，图像中的视觉符号不仅可以反映客观世界和主观世界发生的各种事件，而且可以表现各种各样的人际关系，与此同时视觉符号内部也是一个有机的和连贯的整体

6、，因此可以从概念功能、人际功能和语篇功能三个不同的层面分析图像等视觉符号的语义关系。以下将基于视觉语法简单描述图像的再现、互动和构图意义。 1.再现意义 图画故事书（绘本）的再现元功能是通过图画中的人物、事物和场景表现的。在该绘本的 17 幅图中，Peppe 作为主人公出现了 15 次，其他家人的出现次数均少于 5 次，而其余参与人物只出现 1 次。至于图画背景，主要有两个：一是 Peppe 的家，一是桑树街。图1、6、8、9、11、13、14、15 和 17 是以桑树街为背景，而图2、7、10、12 和 16 则以家为背景。绘本的前五幅图是对故事人物、背景的介绍及 Peppe 找工作处处碰壁

7、这一艰难处境的描述。第六幅图则是对Peppe 找到灯夫这一工作的事件再现。在接下来的图画中，故事在两个场景中交替发生，但随着故事情节的发展，同一背景下人物的情感发生了改变。尤其是以家为背景的后四幅图体现了 Peppe 和父亲两个人的情感变化。父亲先是对 Peppe 灯夫的工作表示不满，但仍对他寄予厚望，然4后不顾颜面对他喊骂责备，而后因小女儿的失踪认识到 Peppe 工作的重要性到最后的以 Peppe 为荣。而 Peppe 则一直备受压力，直到最后赢得了父亲的称许，并感受到自己工作的价值。两个场景的频繁交替切换及人物情感的渐变使故事情节更加紧凑、充满节奏感，增强了读者思维的跳跃感，充分展现了图

8、像作为视觉符号的表达意义。 2.互动意义 “与系统功能语法中的语法关系相似，视觉语法中的互动意义旨在探讨图像制作者、图像所呈现的世界与图像观看者之间的关系，同时表达图像观看者对表征事物应持的态度” 。在实现这种互动意义时，有三个要素：距离、接触和视点。虽然情态也是互动意义的重要部分，但实现情态的资源在图像中非常多，因此本文不进行一一描述。 Kress Van Leeuwen 根据图像中的参与者与图像观看者之间有无直接的视线接触，将接触分为“索取”和“提供”两种关系。在所有图画中，只有第二幅图（图 1）中的参与者与图像观看者之间有直接的目光接触。这表明图像中的参与者向观看者有所“索取” ，它要求

9、观看者深度介入，参与到图像表达的事件中。该图是对 Peppe 及家人的形象展现，画面中共 9 人，其中 8 人（包括 Peppe）与观看者有直接的目光接触，从而把观看者带入到故事中去，身临其境地感受 Peppe 经历的一切。而剩余图画中，参与者与观看者之间没有直接的目光接触，是“提供类”图像，旨在通过图画向观看者提供信息，叙述故事。从社会距离上来看，社会距离决定参与者与观看者之间的亲疏关系，进而展示一种社会关系。这种亲疏关系主要通过镜头取景的框架大小得到体现。在该绘本中，除5几个近镜头的取景外，画面中人物多以长镜头取景的方式呈现出来，总体上展现了一种疏远的社会关系。就视点而言，当仰视、俯视、平

10、视某物时，我们会对物体产生象征性的权势，平等的和不平等的2。Peppe对父亲及其他社会场景中人物始终处于仰视的姿态，体现了他较低的家庭地位和社会地位。 3.构图意义 “对应于功能语法的组篇意义，Kress Van Leeuwen 提出了多模式语篇的构图意义，并分析了构图意义的三种资源：信息值、取景和显著性” 。限于篇幅，下文只从信息值角度对关键图像元素-Peppe 和街灯进行描述和分析。 信息值是通过图像中元素的位置安排来实现的，如左右、上下和中心边缘。在该绘本中，随着故事情节的发展变化，Peppe 在页面中的位置也随之改变。在故事开端，Peppe 处于页面的右方，且在图像中所占比重较大，这不

11、仅突出了 Peppe 的主人公地位，而且表明 Peppe 最初作为新信息出现，预示着他为维持家庭生计而寻找工作的新经历的开始。通过 Peppe 在页面中位置的变化，体现了新旧信息的交替及故事情节的跌宕起伏。位置的上方与下方也具有不同的信息值。在该故事中，街灯是被置于上方的因素，而 Peppe 则被置于下方。置于上方的是“理想的” ，置于下方的是“真实的” 。每当夜晚来临，Peppe 认真地点亮每一盏灯，他觉得每一盏灯都燃起一盏小小的希望，于是他点燃每一盏灯的时候，都为自己的家人许下一个愿望。信息的“理想化”借助这一被置于上方的街灯体现得淋漓尽致。而位置上被置于下方的 Peppe 每天夜晚点灯的

12、这一行为则是更实际的信息，更“脚踏实地的”信息。通过图像中元素6所展现的不同信息值，即“理想的”和“真实的” ，突出了该故事关于梦想与现实的主题。对于中心与边缘的格局，Kress Van Leeuwen 认为置于中心位置的元素可凸显其中心地位和重要性，而那些环绕在其四周的元素则一般处于次要的地位。该绘本的第一幅图和最后一幅图均描绘了 Peppe 在桑树街点灯这一场景。在两幅图中，街灯均处于中心位置，从而突出了街灯在故事中的重要性，而且主人公在第一幅图中点完灯离开的行为与最后一幅图中去点灯的行为向观看者描绘了一幅完整的画面，首尾呼应，叙述完整。 可以看出，绘本以 Peppe 和街灯为关键图像元素

13、，通过绘图者对其位置的刻画，将“美国梦”与移民家庭紧密联系起来，从移民家庭这一小的视角来窥探美国历史，感悟美国梦，突出了梦想与现实这一历史主题;同时将 Peppe 及其家人的情感变化借由图像生动地再现了出来，突出了绘本关于希望、幸福和痛苦的家庭主题。 （二）Peppe the Lamplighter 的?D 文关系解读 居松直认为：“假如用公式来表示的话，文+图=有插画的书，文*图=图画书。 ”8根据 Nikolajeva Scott 对图文关系的划分，该绘本的图文关系只涉及其中的对称和互补，而且互补关系较为突出。 从绘本标题“Peppe the Lamplighter”来看，只知道有一个参与

14、者，即 Peppe，其职业是灯夫。但图片给我们提供了更丰富的信息，描绘了一个完整的动作过程点灯。在这一过程中，动作者是 Peppe，通过图像，我们发现他是一个小男孩，其外形和着装特点在画面中清晰地展现出来，这是标题所没能表述的;目标是街灯;而将动作者和街灯联系起来的长长7的木棍在 Peppe 和街灯这两个图像元素间形成了鲜明的对角线，再现了点灯这一过程。所以就标题而言，图像是对文字的补充。通过这一补充，引起读者们思考“为什么小男孩这么小要做灯夫呢？”从而激发读者的阅读兴趣并暗含着 Peppe 所承担的超越年龄的那份责任。 在故事开端，图像和文字都是对故事和人物背景的介绍。通过观察发现，文字表述

15、中出现的人物在该页面的概念图像中都有着视觉对应物：Peppe，Peppe 的父亲及他的妹妹们，所以是对称关系。但图文互补关系体现得更为明显。一方面，图像意义补充了文字内容。文字中一笔带过的人物在图像中都得到了形象再现，人物的样貌、着装、眼神、姿态在画面中淋漓尽致地展现出来。而且画面上出现的桌子，桌子上的煤油灯、杯子，窗户，以及窗外漆黑的外景是对 Peppe 一家人所住公寓的简单再现，而文字中并未表述。另一方面，文字内容扩展了图像意义。文字表述了故事发生的时间、地点和时代背景，但这些并未在图画中得到体现。例如“His father was sick”这句话所表达的内容仅靠看图像难以解读，但可以在

16、图 1 中看出来。所以图像应与文字相互作用，共同叙事。图 1 在故事进展阶段，Peppe 找到了工作，使故事情节得到进一步发展。对 Peppe 来说找到工作是好消息，这样他就可以维持一家人的生计，而他父亲却对 Peppe“灯夫”这一工作产生了极大的不满。在故事发展的这一阶段，画面也在 Peppe 的家和桑树街这两个场景间来回切换，在一定程度上体现了父子之间所处的一种“拉锯”状态。图 2 及所述文字更是8体现了紧张的父子关系，图文互补叙事，但这一部分更凸显了文字的力量，文字传达了比图像更多的意义。图像中只出现了父亲这一个人物形象，而文字不仅表述了父亲的言语过程，还详述了 Peppe 的行为过程及

17、他三个妹妹给予他安慰的言语、行为过程。通过对人物言语、心理及各种动作过程的文字表达，更好地体现了人物的情感和态度，尤其是父亲对 Peppe 工作的不认同。 图 2 Peppe 妹妹 Assunta 在 Peppe 没有点灯的那一晚没有回家的事件使故事发生了转折，打破了父亲对 Peppe 灯夫这一工作的偏见，并承认“灯夫”是一个很重要的职业。所以 Peppe 重新点灯，找到了妹妹并赢得了家人尤其是父亲的尊重。这一文字内容与图画也是互补关系，但这里不再突出文字的力量，表明故事氛围趋于平静，人物关系得到改善。而绘本的最后一幅图（图 3）也回到 Peppe 点灯的这一场景，但此时他的心境与之前截然不同

18、。现在的他赢得了家人的尊重，他抬头挺胸地点燃一盏盏灯，充满希望地面对自己的人生;同时，在他心里的那些喜悦、失望、幸福还有痛苦也都在灯盏的亮光中化成温暖 通过以上分析发现，该绘本图文之间不存在完全的对称关系，也不只存在互补关系。只有了解了图像与文字相互作用的方式，才能更好地理解绘本这一多模态语篇。 图 3 四、结语 基于 Kress Van Leeuwen 的?觉语法和 Nikolajeva Scott 的图文关系理论的多模态话语分析，本文认为图像能够帮助读者更9好地理解故事情节的发展，感受人物情感的变化。Peppe the Lamplighter 的绘本作者以文字叙述的感人故事与插画家写实的点

19、灯画面完美结合，展现了一个看待美国历史的新视角。图像中的场景让读者更准确形象地了解世纪之交的纽约，而图中主人公及其他参与人物的神情动作刻画则有助于读者把握故事的情感。图像与文字的结合给予读者更丰富的阅读体验，这是单一模态的语篇所做不到的，也是未来绘本的创作和译介需要多加关注的重要方面。 参考文献： 1李战子，陆丹云.多模态符号学：理论基础，研究途径与发展前景J.外语研究， 2012（2）： 1-8. 2李战子.多模式话语的社会符号学分析J.外语研究，2003（5）：1-8. 3Kress，G. T.Van Leeuwen. Reading Images：The Grammar of Visua

20、l DesignM.London：Routledge，1996. 4Jewitt，Carey. The Routledge Handbook of Multimodal AnalysisC.London：Routledge，2009. 5Ventola， Eija Arsenio Jesus Moya Guijarro. The World Told and the World Shown：Multisemiotic IssuesC.Hampshire：Palgrave Macmillan，2009. 6Kress，G. T. Van Leeuwen. Multimodal Discourse

21、：The Modes and Media of Contempory CommunicationM.London：Arnold，2003. 107张敬源，贾培培.关于视觉语法的几点思考J.当代外语研究，2012（3）：38-42. 8朱自强.儿童文学概论M.北京：高等教育出版社，2009. 9Halliday，M. A. K. Language as Social Semiotic：M.London：Edward Arnold，1978. 10胡壮麟.社会符号学研究中的多模态化J.语言教学与研究，2007（1）：1-10. 11胡壮麟、朱永生、张德禄、李战子.系统功能语言学概论M.北京： 北京

22、大学出版社， 2005. 12谢妮妮.格林童话中图文关系的逻辑语义扩展探讨J.外语教学，2014，35（1）：21-25. 13张德禄.多模态话语分析综合理论框架探索J.中国外语，2009（1）：24-30. 14张德禄、穆志刚.多模态功能文体学理论框架探索J.外语教学，2012，33 （3）： 1-6. 15周俐.儿童绘本中的图、文、音基于系统功能多模态语篇研究及社会符号学理论的分析J.外国语文，2014，30（3）：106-112. 16周棋丰.多模态视域下的英语绘本图文关系分析及启示J.北京科技大学学报， 2014， 30（5）： 22-27. 17朱永生.多模态话语分析的理论基础与研究方法J.外语学刊，2007（5）： 82-86.