1、第二章 动画创作技术2.1 前言动漫产业被称为 21 世纪知识经济的核心产业之一，已逐渐成为许多国家经济发展的重要产业和新的经济增长点相信大家对动画这个名词都不陌生，动画随着时代的进步渐渐走近人们的生活，那么，动画是什么？动画，顾名思义，是动起来的画面。它是通过连续播放一系列的画面，给视觉造成连续变化的图画。它的基本原理和电影、电视都是一样，是“视觉暂留”的原理人的眼睛在看到一个画面之后，在 1/24 秒内不会消失。那么，利用这个原理，在一个画面还没有消失之前，播放下一个画面，就会给人造成一种流畅的视觉效果。动画的分类没有确切的规定。如果从制作的技术和方法手段来看，可以分作以手工绘制为主的传统
2、动画，和以计算机为主的电脑动画。如果按照动作的表现形式来区分，又可以分作基本接近自然动作的“完善动画” ，和简化、夸张的“局限动画” 。当然，如果按照空间的视觉效果来看，自然又有 2 维、3 维动画之分了。有一种新的动画框架，叫交互式高效动画框架，如图 1 所示。系统的输入是创意良好的故事或剧本，通过分镜头描述生成模块对故事和剧本的分析理解，得到分镜头描述信息，生成分镜头剧本；场景和角色建模模块根据分镜头描述信息，通过用户交互半自动地创建角色以及虚拟角色表演活动的场所；角色动画模块利用运动捕获技术赋予角色动的元素；渲染与合成模块将动画场景以及在其上表演的虚拟角色用多种方式绘制出来；动画制作模块
3、渲染后的结果通过后期制作模块进行合成和剪辑，最后形成一部创意动画影片。交互式高效动画制作典型示范应用系统动画分镜头剧本的描述与生成角色动画场景和角色建模渲染与合成 动画影片素材库的构建与管理剧本故事1 2 3 45数据库图 12.2 剧本2.2.1 剧本的概念与意义这里说动画，我们先来看看动画剧本。动画剧本，就是由动画讲述出来的一个故事。动画片是影视剧的一种类型，那么谈到动画剧本，也要从影视剧本的基本概念谈起。如果说视听语言是一种特有的讲述故事的方式，那么剧本就是未来视听语言的一种文字表述：美国最畅销的电影剧作家悉德费尔德，在谈到电影剧本这一基本概念的时候，首先就强调了“它既不是小说，也不是戏
4、剧而是由画面讲述出来的一个故事。 ”从功能性上说，一部影片或者动画片的创作，也是从剧本开始的。剧本是整个片子的基础，它不仅是作品创作的第一道工序，也是未来影片成败的前提。影视剧本的创作，是为今后影像拍摄做准备、打基础。那么在剧本的创作中，就不仅要把故事讲好，把人物塑造好，还有一个很重要的要求：你的剧本是否具有视听表现力。当文字隐藏到作品背后，故事、人物以及细节都要用视听语言来表达的时候，这部作品的感染力是削弱了，还是会因为影像的独特表现力而增长了？如果没有达到这些要求，那么无论剧本之后的工作做的多好，画面制作的多么精妙，这个作品只能是一个失败的作品。在我们阅读小说的时候，即使没有画面，我们也经
5、常会被那些优美、独特的文学表达方式所打动：精妙的比喻、优美的景物描写、细腻的心理活动然而这些文学的表达方式，却是无法直接转化为影像或声音的。你所展现出来的，必然也只能是具象的东西，而“感情” 、 “氛围”这些内部的抽象的东西只能让观众自己去感受、体会。正如悉德费尔德所说：“剧本涉及的都是外部情景，是具体细节。 ”因而，富于视听表现力的情节设置，简洁准确的语言才是剧本所需要的特征。2.2.2 自然语言理解技术在动画领域的应用现状由于自然语言理解技术和计算机动画技术的不断发展，探索从自然语言故事到动画剧本、再到图形图像的动画自动生成技术，取得了阶段性的成果。目前该领域的研究主要包括有：交互式情节自
6、然语言指令驱动的动画1，这种技术在高层次界面中采用了自然语言的方式描述运动，并按计算机内部解释方式控制运动，虽然用户描述运动变得自然和简捷，但对运动描述的准确性却带来了不利因素，甚至可能引起模糊性、二义性问题。解决这个问题的途径是借鉴自然语言理解、机器人学、人工智能中发展成熟的语义分析、反向运动学、路径设计和碰撞检测等理论方法。交互式故事系统2，它是支持交互式情节的动态产生、管理和冲突解决的计算框架,它让用户充当故事的主角来确定当前的行为,同时根据角色的说明、关系、目标等来控制角色的行为。该框架的核心模块是一个情节管理器,它的输入是一系列初始情节条件,输出是角色动作序列。自然语言故事到计算机动
7、画的翻译3,4，从故事篇章中推导出脚本、角色动作生成、动画环境构造和虚拟摄像机定位，但自然语言中的对话理解和篇章二义性的处理方面不够稳健。比较著名的国内外系统还有多瑞塞利格曼开发的一个通用的、由文本描述生成图像（非连续动画）的 IBIS 系统5、马里兰大学的 PETS 系统6，以及“天鹅”系统7,8和 LIREC 系统9。近年来这方面的研究更多转移到文本指导的动画场景构建（text-to-scene）的实际应用。Richard Sproat 的 WordsEye 系统10利用自然语言处理技术对故事场景描述进行分析，确定动画角色特征及方位、朝向、动作，指导三维场景的构建，WordsEye 系统要
8、求文本描述中包括大量明确的方位信息。Oshita11将自然语言理解与运动库相结合，从脚本式输入文本中抽取语义信息来指导运动的搜索与重组织，进而构建动画场景。2.2.3 故事理解不论是怎么样的故事，要生成一个剧本，对故事的理解都是最为重要的一个部分。故事理解是人工智能中的一个重要基础问题，是计算语言学的一个终极目标，它本身包含了自然语言处理的各个困难问题：文本语义理解、知识获取、建模与推理、认知理论等。早期的故事理解工作大都基于大量的手工知识，研究者通过构建复杂的知识模型和推理机制来进行理解工作。Schank 等12使用脚本、计划和目标这些知识结构来构建故事理解程序。BORIS 系统13将这些知
9、识结构和其他的知识结构相结合:包括情感、人际关系、空间-时间图以及故事情景。自上世纪 80 年代以后，受困于故事理解的健壮性问题，不少研究者致力于研究广覆盖的浅层故事理解问题。目前研究界尚无法解决广覆盖下的深层理解问题，但有两种可行的探索方略：其一是从一个广覆盖的浅层理解问题入手，逐渐加深理解的深度14，将现有的自然语言理解的成果，比如信息抽取，应用到故事理解的工作中，期望通过这种结合来缓解知识获取和歧义消解这两方面的压力；其二是通过一个窄覆盖的深层理解问题入手，逐渐扩展方法的适用面15。近年来故事理解新的研究成果屈指可数1516。究其根源，在于研究者陷于迷惘：如何使得故事理解程序能处理的不仅
10、仅是几个小故事？现有的故事理解的方法无一例外的遇到了知识工程上的瓶颈：如何获取并处理海量的知识。这本身是一个非常困难的问题。另一方面，已有的研究或多或少的忽略了语言处理中的歧义性问题，而是把注意力放在了下一步的知识推理上。而歧义是在自然语言处理中不可避免的问题，也是自然语言处理的主要对象。因此，对于今后的故事理解研究者的一个挑战是如何将现有的较为成熟的统计自然语言处理方法应用到故事理解中，这其中一些例如统计词性标注已经得到了应用，而一些例如浅层句法、语义分析则给故事理解中的语言理解提供了非常好的方法1718。2.2.4 从自然语言描述的故事中生成动画情节的技术从自然语言描述的故事中生成动画情节
11、的技术，早在上个世纪70 年代就已经开始有人研究。 Rumelhart19在 1975 年提出了一种基于故事分析的形式化文法，并为故事文法拟定了 11 条句法规则和相应的语义解释，试图用这一系列规则获取句法结构以及故事的语义。但其中有不少的缺陷：表达力相当有限，不容易理解一些复杂的形式及场景，存在明显的句法导向性(syntax oriented） 。这些方法不能够满足提取深层次语义信息的要求。Schank20提出了依赖于概念上、以相关技术为基础的脚本去理解一个故事的理论。这一理论把每个故事看作由一系列的脚本模板组成，而每个脚本模板又由一系列概念驱动的子情节（atom actions）组成21。
12、基于这个理念，Cullingford22在 1978 年研发了一个 SAM 系统，该系统可理解简单故事和回答故事相关的简单问题，并提供多种语言的摘要。1979 年，DeJong23公布了 FRUMP（快速阅读理解和记忆程序）系统，这个系统只是基于一个很简单的原则。之后，Schank20的方法经发展成为所谓的 MOPs（memory organization packets）24，它对故事的理解是通过当前信息来预测下一个脚本，这种理解很大程度上依赖于组织记忆单元。SAM 和 FRUMP 系统都存在知识结构不能共享的问题，从而导致它们无法分析脚本以外的非正常故事，实际上现实生活很少的故事能完全满足
13、脚本的标准。此外，Lebowitz25还提出了采用情节单元达到故事总结的方法。该方法的核心思想是依照人物角色的感情来理解故事。这一理论假设每个角色在故事发展的每一刻都处于某种角色状态，例如，开心时用“+”，否则用“-”号，其它情况下用“M”表示无关紧要。两个状态及连接它们的语义链构成一个情节单元。2.2.5 结构化剧本模型我们提出一种新的剧本模型，即结构化剧本模型。现在，我们面临的问题是，如何将一个儿童故事分析为一个剧本表现形式，这种剧本表现形式同时要满足人、机两方面的需求：1）对于可能发生的分析错误，能够及时发现并修改；2）能够将结果方便地呈现给导演，并且提供简单智能的修改调整工具；3）同时
14、能够提供所有必须的信息供动画生成步骤修改。以上这些要求互相交织纠缠在一起，又有互相冲突矛盾之处。例如，为了提高可读性，最终的表现形式需要简明扼要。而对于动画生成的任务来说，更完备的信息则更有用。为解决这个问题，我们将表示模型拆分为两个子模型：叙述模型N 和剧本模型 S。叙述模型表示了儿童故事的自然语言理解结果，剧本模型面向用户（人或者计算机） 。特殊地，S 并不是一个“物理存在”的模型，而是 N 的一个视图。一个叙述模型 N 是对于故事的直译。对于故事中的每一个语句，我们仅区分两种情况：描述性和叙事性语句。描述性语句包括环境描写、外貌描写等，一般是静态的，即不包含角色动作，但可能包括场景构建所
15、需的信息。叙事性语句主要包括动画角色动作，语言及心理活动等。描述性语句提供角色、场景、道具信息，而叙事性语句提供事件流。描述和事件在时空坐标中标记。时间轴由一个带“刻度”的时间箭头组成，分段上可能有具体时间的标记（比如“星期天” 、 “早晨”等等） ，也可能仅仅是根据故事发展而自然构成的时间戳。空间轴上离散地标记了故事发生的不同地点。比如说“蛋糕在桌上” ，这是一个描述，被分析为(蛋糕，位置，(桌,上)，同时这是在故事开头描述的，所以时间戳是 Time0，同时前面分析得到了地点是“房间里” 。这样，可以初步把这一句分析为(蛋糕，位置，(桌,上),Time 0,房间里)。剧本模型实际上是一个更为
16、复杂的映射模型，将一个简单的叙述性表示形式映射为复杂的剧本呈现形式。比如，有了(蛋糕，位置，(桌,上),Time 0,房间里)之后，需要将之后所有地点表示为“房间里”的场景都标示上这个蛋糕的描述。对于用户来说剧本的修改是透明的，也就是说用户看到的只是形式化的剧本视图。由于剧本表示形式和叙述表示形式是以一一对应的，这样对于剧本上的每一个修改实际上都能映射到对于叙述层面上的修改，然后这个修改又通过剧本模型的映射反馈到视图上，使得视图的现状和用户的修改保持一致。2.2.6 剧本元素抽取另外一点，在拥有剧本之后，剧本的元素抽取也是十分重要的一环。剧本元素抽取的对象主要是故事角色，故事中的道具，时间信息
17、以及地点信息。一般来讲角色名和道具在故事文本出现频率较高，而时间、地点信息大多是“一次性”的，即一个时间、地点词只出现一次。我们针对不同抽取目标的特点采用不同的抽取方法。剧本元素抽取主要分为三个步骤：文本预处理，候选项抽取和剧本元素判别。首先使用未登录词识别方法和 ICTCLAS2009 分词工具对故事文本预处理，然后利用词频等信息从分词结果中抽取候选项，最后使用分类器结合规则方法对候选项进行判别，最终得到剧本元素集。系统流程如图 4 所示。故事角色名和道具名一般在故事文本中具有较高的出现频率。其分布分为两种情况：一种是在整个文本中高频出现，另一种是只在局部高频出现。根据这一现象，我们采取了 TF-IDF 和 LOC-TF-IDF特征进行候选项筛选。候选项筛选本质上是一个二元分类问题，我们使用已标注的数据及其属性集训练 SVM 分类器进行分类。 图 4 剧本元素抽取流程时间和地点转换词并不是高频词，一般只在文中出现一次。因此在抽取这些剧本元素时主要根据 POS 标注结果，并结合构词规则和指示词信息。时间转换词识别规则主要包括时间特征词（例如 X 天、X 年） 、时间指示词（例如 X 以后） 、构词规则（例如第二/m 天/q） 。地点转换词识别规则主要包括地点特征词（例如 X 省） 、地点指示词
