前沿聚焦 | 从数字影像到AI影像:数智时代的技术进阶与叙事风格演进



























作者简介

杨俊蕾,河南郑州人,中国文联特约研究员,复旦大学中文系教授,博士生导师,主要从事影视美学研究;

周厚翼,重庆人,复旦大学中文系博士生,主要从事电影哲学研究。


【摘 要】针对数智技术在影像制作中的实际应用与发展经历,本文选取数字影像和AI影像进行集中研究,对技术进阶中的创新细节与技术基底进行梳理,重点考察不同技术下的影像生成在媒介属性、技术叙事和审美体验等方面引发的形态新变。文章从技术影像的媒介属性变化入手,总结出相关叙事中的主体变化与风格演进,既有助于突破理论研究与创新实践之间的现实区隔,也进一步实践了连接艺术创作与技术迭代之间的思考路径。文中采用全面和互动的视角,对现有的研究范式进行深化,同时强调不同视角间的对话与互相启发。通过思考创作主体如何有效回应新技术时代的变革浪潮,进一步反思影视艺术理论的自身价值与位置,进而持续推动技术浪潮下的影视行业从业者完成技术升级和创作范式转化,以更加开阔的视野投入新时代的影像创作中。


【关键词】数字影像;AI影像;数智技术;叙事风格;主体


人工智能技术的高速发展,引发了广泛关注。2016年,国务院印发“十三五”规划,将人工智能列为发展重点;2019年,中华人民共和国科学技术部发布《新一代人工智能发展规划》,具体提出了中国发展人工智能的行动指南;2021年,国家电影局发布《“十四五”中国电影发展规划》,将人工智能列入中国电影科技重点发展工程。[1]不仅强调了人工智能技术对于电影全产业链发展的重要意义,并且对近年来发生在影像制作行业中的数智化技术升级投入了更多关注。

从广义的艺术角度来看,AI影像是建立在人工智能技术基础上的新艺术方式,通过使用大模型、智能硬件和智能体等核心能力,有目的地生成或编辑影像段落,从而实现目标叙事。AI影像叙事同时包含视觉艺术和技术,常见的应用包括互动叙事和视频编辑。前者在游戏场景或虚拟现实中更为多见,产品用户或者游戏玩家根据选项来动态生成新的情节演进;后者的使用者常见于跨媒体实验艺术家和专业视频从业者。艺术家使用算法生成新的视觉作品,影像本身往往源自独家创意,显示出创作者的风格。但是对于原创意图不十分迫切的视频从业者来说,更倾向于从实际需求出发,在不同的程序应用中进行高效的加工环节,将诸如视频剪辑、色彩调校、添加字幕配音或视觉特效等具体工作交给AI协助进行。因此,AI影像的叙事特点与风格变化需要在技术进阶的意义上加以梳理,尤其是关注上一技术阶段的数字影像如何为AI影像的出现提供必要的基础步骤:如何从数字影像时代逐渐进入智能化的演进,AI算法如何与数字技术兼容发展,并逐渐展现出新的叙事风格变化


数字技术的智能进阶


20世纪70年代,计算机图形学的发展为数字技术提供了基础,催生出以计算机为工具的数字影像(Digital Image),特指通过数据媒介来处理、传输和展示的影像形式。与胶片时代的影像相比,数字影像显然具有更高的视觉分辨率、更广的色域表现以及更易上手的可编辑性。按照业界与学界的共识,数字电影既可指代Digital Film,也可以指代Digital Cinema,区别主要在于媒介属性的侧重点。前者主要针对胶片电影的数字化介质替代,强调影像在拍摄、后期加工以及发行放映等环节里,以数字技术代替传统的光学、化学、物理的处理技术;后者则强调连续影像的高品质状态,是指数字技术及其配套设备所完成的整体系统,通过数字制作、数字发行传输、数字存储和数字放映等,构成一个集中结合视觉、听觉和语言组件的“数字电影包”(a digital cinema package)。[2]就像电影诞生于技术与艺术的结合点上那样,数字技术又一次开启了现代电影的新纪元。数字影像为电影成像模式、电影制作模式、电影思维模式、电影美学体系都带来了实质性变革,潜在地影响着由来已久的电影理论基础。越来越多的学者注意到技术演进对于影像叙事风格的影响,认为电影媒介本体的变化将导致电影思维与观念的更替。

电影《流浪地球2》(郭帆,2023)海报

更进一步来看,数字化的影像时代在狭义上可以描述为数字技术广泛应用于现代电影制作、电影传播和电影观看的时代,而在广义上又可以理解为影像生产流程的全面数字化。在这一境况下,围绕数字影像的哲学范式、媒介传播、观看交往行为等多个维度先后发生着综合性的转向。数字技术的引入并不仅仅使影像的捕捉和再现过程实现了量化和可计算化,更关键的是它提出关于媒介去中介化与材质物理性解构的问题。数字影像的生成机制和AI算法的运行机制共享同一套数据编码逻辑,一些人工智能算法再次提高了技术生成影像的产出效率,特别是在虚拟现实、实时引擎和计算机成像等方面表现突出,使数字电影生产、流通、放映等环节中的技术应用得到了极大提升。“数字”和“电影”的技术融合,在AI算法机制的渐次介入后再次激发出多样的表达形式和艺术风格,对电影美学观念与影像价值体系提出新的认知挑战。通过集中关注上述三种代表性技术,围绕虚拟现实、实时引擎、计算机成像的技术肌理和应用场景做出分析,有助于进一步理解影像技术化之后的叙事影像,更好地把握AI影像的美学呈现。

首先,虚拟现实技术(Virtual Reality)主要是通过使用计算机科学和行为界面在虚拟环境中模拟3D实体的行为,单个用户或用户群体通过运动通道的模拟来感受体验并实现实时性的交互。VR技术的产业化体系与理论研究体系在相互服务与对话中走向完善。VR技术通常与增强现实技术(Augmented Reality)联合应用于电影画面的制作。前者建构起一个完全人工的环境,后者更注重数字信息与用户环境的实时集成,将数字的、3D的内容组件与焦点个体对现实世界的拟真感知相结合,使得观影者得以在虚拟情境中多方位地体验真实的环境感。在一定程度上,二者在数字电影里的联合使用改变了连续影像与观看主体之间的既有关系,既增强了影像之于主体的现实沉浸感,也打造了主体对于影像的具身体验。

相较而言,实时引擎技术则更多应用于交互式的3D动画电影与游戏场景。一方面,由工作人员佩戴传感装置以使用实时动作捕捉软件,同时将数据导入引擎系统进行实时建模;另一方面,运用引擎定序器(Engine  Sequencer)来代替传统的影视剪辑软件,在剪辑、音效、关卡切换等功能环节上实现共时性的多人协作。另外,有些新技术配置已经可以达到更高水平的物理模拟,不仅能够运用光线追踪技术(Ray Tracing)产生真实的环境光遮蔽,而且能够综合使用全局光照、反射、阴影等实时渲染手段,结合广泛使用的游戏引擎,逐步解决传统制作过程中存在的渲染时间过长、人工成本偏高,以及输出流程较为烦琐等问题。

另外,计算机成像技术有着更为广阔的应用范围,不单是在影像特效的制作方面,还包括视觉艺术、建筑设计、工程建模、视频游戏等,都在使用计算机成像软件生成静止的单一影像或逐帧的连续影像。相应地,该技术涵盖了图像分形,以及生成二维动画和三维动画特效的多种分支。“在模块化的视觉处理器中处理各种类型的视觉信息”[3],能够用以创建并合成复杂的视觉效果。既可以在影片背景或环境建模中添加虚构元素、修改角色的表象外观,以达到“返老还童”“一夜白头”“瞬息万变”等“以假乱真”的奇幻效果,也能在后台工作中对影片进行数字修复(Deep Restore)或深度伪造(Deep Fake)等。

总的来看,VR技术、实时引擎技术和计算机成像技术等已全面介入电影生产、流通、放映的各个环节。由前期阶段的高动态范围成像(High Dynamic Range Imaging)开始,涵盖动作捕捉、后期阶段场景合成与画面修复、宣发阶段的网络媒体矩阵等一系列的生产流程。在数字化技术愈加勃兴的同时,人工智能先是以电影或现实生活中的拟人化形象进入实际存在的媒介化、数字化的文化交往之中,同时作为一种新兴技术参与甚至独立完成从生成剧本、视听剪辑到后期营销的全部流程。


AI算法与API交互系统


生成式AI(AI-Generated Content)的主要技术方向在于,以人机协作的界面构建为端口,即时实现人机之间有效而无限的交互。在快速变革的技术迭代下,生成式AI已经可以生成包括文本、图像、视频、音频或者多种媒介类型组合而成的“多模态内容”,正在全面介入数字电影的技术层面与美学领域。[4]以艺术领域中使用较广的GANs(Generative Adversarial Networks)为例,可以看出生成对抗网络的算法思维对生成式影像的影响。


该技术需要包含一个生成模型G(Generator)以及一个判别模型D(Discriminator),通过二者之间的相互博弈、迭代训练,生成相应的创造性影像。它的适用范围逐渐扩展到图像分割、视频预测、风格迁移等诸多领域,又被AI艺术家们发挥,创作出一系列算法影像作品。有了大量增长的训练样本之后,OpenAI平台继续使用深度学习技术来加速构建AIGC模型,如Chat-GPT、DALL-E等。GPT系列产品是基于自然语言处理训练出的自回归语言模型,参数巨大。该模型对于用户意图能够做到快速而准确地理解,在分类生成文本的环节上表现出高度的连贯性和客观的准确性。针对图像艺术的DALL-E则是以文本生成图像的人工智能神经网络。作为转换性的语言模型,DALL-E的技术目标在于根据自然语言的描述性概念创建出相应的图像。经过海量训练,该模型已能够输出种类繁多的生物或非生物的拟人版本,用来对应用户的使用逻辑,进而进行文本渲染或转换为数据库内的已有图像风格等。曾经吸引全球关注的Sora,在OpenAI的发布平台上也推出了生成样本。然而,作为集成了复杂算法的模型产品,Sora仍然保留在内测阶段,只在翠贝卡电影节(Tribeca Film Festival)邀请五位制作人使用Sora“按照自己的风格制作电影”。目的在于检测Sora作为智能工具的创作前景,如何能够普遍地适合于所有创作者。[5]未来的AI影像在Sora全面上市后还将出现哪些变化,还需拭目以待。


截至当前的数智化技术融合阶段,生成式AI技术正在数字电影的制作和发行中发挥着越来越大的作用。在机器学习、AI自身的技术迭代更新的前提下,虚拟现实、实时引擎、CGI等领域也必然迎来更多的机遇和挑战。因此,连接着数字影像时代的AI算法不仅将作为网络媒介系统中的无形基础设施,推动影像再生产及其内在创作力的新增,同时也将AI算法全面介入影像生产的现实带入电影美学的核心议题。第一个需要解决的矛盾存在于数量与质量之间,如何在提高效率与产能的同时,保持创作主体的艺术观念得到高质量呈现的问题。在AI算法全面介入影视行业后,数字化技术经受智能升级的阶段性提升。虚拟制作、基于云计算平台的大数据分析与数据库影像制作,以及搭载了高性能机器人技术的自动化工具集成等,都已在一定程度上提高了影像制作的生产效率。


在现场拍摄的过程中,实时特效生成与背景合成的AI算法几乎达到所见即所得的同步高速。存储于云计算平台中的各项数据不仅为内容创作积累了不可计量的素材,而且在计算资源共享的新信息传输系统内得以远程创作,甚至是跨媒介合作共享,为影像团队的跨地区组成提供了稳定保障。此外,使用无人机拍摄,或者是利用摄像机器人来缩短制作周期,使用AI编辑软件来加速实时渲染和特效预览等环节,都在自动化工具的集成中提升了后期制作的效率,大幅缩短音乐编曲、配乐推荐、字幕生成等工作周期,使创作端获得更为精良的技术优化保障。


电影《宇宙探索编辑部》(孔大山,2021)海报


第二个需要重点关注的问题是当前应用与未来产出之间的动态关系。在全球范围内的影像制作行业中,大量的头部公司逐渐大规模推进AI使用。深度迷恋特效技术创新的导演詹姆斯·卡梅伦团队依托Wētā FX工作室(原Weta Digital),在实时渲染方面加入高性能计算,将银幕上的视觉效果复杂化,进一步激发了创作者的自由想象。动画行业中的迪士尼影业与皮克斯公司也对背景画面的实时渲染技术投入大量研发。前者在流媒体投放《曼达洛人》系列的时候,集中开发了超大曲屏的LED屏幕进入实拍景棚,通过虚拟制作与奇幻背景的实时渲染,提高了拍摄的灵活性,也为剧本创作中的场景想象提供了更加开阔的实现空间。后者进一步开发软件和软件接口技术,其独立开发的RenderMan同时兼有应用软件与接口规范的性质,能够达到API的用途实现。即,通过调用API(Application Programming Interface),一方面能够高速生成照片级别的真实感图像;另一方面则在建模程序和渲染程序之间使用标准通信协议,通过软件插件和脚本接口实现新的定制化功能。API交互系统能够高速描绘三维场景并将其转换为真实感图像,越来越多地满足着动画创作者对于物理世界观感的复刻需求。


目前,皮克斯和维塔两家公司都尚未向外界正式公开自家的API,但是各自的软件都支持插件和自定义脚本,为更多的创意孵化提供便捷的技术支持。相较而言,一些带有社交媒体属性的影像制作单位对于数据分析的公布程度更高,例如采用频道订阅方式的流媒体平台等,为开发者提供更多权限,通过超文本传输协议,使远程资源调用成为可能。数量庞大且种类丰富的影像数据使自动化的创意工作流程变得触手可及。


具体到国内发展来看,中央广播电视总台与上海人工智能实验室联合发布的“央视听媒体大模型”,面向音视频,支持多语种,关注艺术与技术的互动,既提升用户体验,也给潜在的创作者提供信息摘要与文本化的内容存储,以技术“赋能”影像的制作形态出现,引发创作范式的变革与跃迁。因此,随着影像技术从数字化到智能化的升级进行,思考技术新变化对于影像叙事发生的影响也势在必行。


AI影像叙事的主体性及其风格演进


围绕新技术时代中的AI影像叙事进行研究,需要同时关注艺术主题和技术实际应用。在文本对象中构建起以AI为表现主题的影视文本,从中考察拟人化或者非拟人化的AI形象如何介入人类中心的情节叙事,振荡在人机协作和人机矛盾的两极设定之间。继而,作为构建想象的外部条件,现实世界中的AI技术长期影响着影像制作、传播、接受等多个环节,也需要结合技术实际应用情况,还原到具体的语境中加以分析。

从影像叙事的主体性视角出发,可以发现数字影像与AI影像的高效产出当中潜藏着创作焦虑的症候。大数据的巨量扩散造成信息中的噪声增加,以及信息传播过程中的数据变形,甚至是被误用或篡改。事实上,影像技术的变革导致桌面电影、互动电影等新叙事形式的出现,也促进了影像与主体之间的关系流动。AI影像技术对传统的电影创作主体性提供工具上的便利,也构成新叙事方式的挑战。作者功能、观众期待等相继在技术影像的意义生成中交相变化。当AI影像日渐覆盖社会生活的方方面面,来自影像技术的震撼连续引发出媒介化生存和主体内在感知的转变。AI算法显然重新定义了影像创作的主体边界。在利用算法驱动的创作过程中,由人工智能生成技术自动编写的剧本,甚至是拍摄和剪辑完成的影片,构成机器换人之后的无人化生产过程,呈现出无需人力直接干预的影像制作趋势,深刻地影响着影像制作中的作者概念以及创作的个性化表达。

更进一步来看,AI算法和加速流通的技术影像在造成影视制作日益景观化的同时,也将内在于影像深处的思想表达变得更为零散、稀疏。由此引发出传统的胶片电影叙事针对数字影像和AI影像的质疑,即技术媒介削弱了主体性与创作者的风格。在年轻人的认知中,AI影像模型既能够被视为可供人类创作者自由选择的工具,同时也需要被认证为“法律认可的作者”和“创作过程中的独立参与者”[6]作为影像组成方法的集成化智能正在抹除凸显作者风格的“个人签名”。在某种意义上,再次印证了20世纪70年代后结构主义者所批判的“作者之死”,并且在主体同一性受到动摇的前提下,呈现出某种摇摆在多种选择之间的模糊状态。其实质在于AI影像擦除了虚拟仿真与真实模拟之间的边界,使影像生成经历了多维转换。一方面,影像的观看不再局限于传统的院线剧场之中,而是在技术的共同依赖下具有数字化和全球化的共同背景;另一方面,影像生成技术的便利性与日常性重新定义主体的自然属性与再媒介化,使影像叙事的主体性出现悖论式变化:数量庞大,而主体模糊,甚至趋向消隐。

电影《从21世纪安全撤离》李阳,2024)剧照

在综合探讨了AI算法与叙事主体性之间的复杂影响后,还可以继续观察到技术影像中的风格演进。正如当前大量作品所表现出来的潮流变化,数字影像的叙事更倾向于使用非线性的、多时序的构造来突破传统的叙事结构。不仅是创作的主体性减弱,影像叙述的时间秩序也变得难以感知。失去了具体时间标志的生成式影像更加突出视觉效果上的瞬间震惊效果,淡化了叙事中时间感知的必要性。影像中的时间要素经过AI影像生成的递归网络多层过滤而淡化原有的系统化符号指征,反过来再次加剧了观看主体对于时间感知的钝化。

技术影像在视觉叙事中的融合变化使创作与观看的主体性接连发生异化,生发出潜在的后人类电影观看经验,需要在媒介性、时间性与主体性之间进行更为具体的批判性思考,以此来寻找新技术发展的平衡点,继而维护人类主体性与文化连续性之间的真实连接。从学界集中关注的议题讨论可以发现,影像在经过了数字编码格式和AI生成机制之后,形成了新型的数据化控制结构,将媒介能量与智识能力、主体权力连在一起,构成另外一种影像权力体系,在改变影像传播机制的同时,影响着技术社会中的文化语境和艺术逻辑,在不同层级间的动态转化中形成人机协作过程中的矛盾张力。

结 语


近年来,随着数智技术的高速增长与全面介入,影视艺术领域的学界与业界不约而同地注意到AI技术对影像制作及其美学形态造成的大幅度动荡。这种改变引发了广泛的社会关注,其中也包含着一定程度的新技术焦虑与未来如何入局的迷茫情绪。针对此现象,对AI影像技术视角下的影视艺术新动态进行全面而深入的考察正是直面问题的必然路径。通过厘清数字影像到AI影像的技术进阶,总结影像叙事在风格方面的变化与演进,发现其中的主体性波动,有助于对影像本体和影视行业在AI时代的发展走向做出前瞻性预测,为理解和评价AI时代的影视美学提供行之有效的思路与坐标。



基金项目本文系国家社会科学基金艺术学项目“数智时代AI赋能影视艺术创新研究”(编号:24BC066)阶段性成果。





参考文献:

[1]“十四五”中国电影发展规划[EB/OL].(2021-11-14)[2024-09-24].https://www.chinafilm.gov.cn/xwzx/ ywxx/202111/t20211109_1182.html.

[2]James,Jack.Digital Intermediates for Film and Video[M].New York and London: Focal Press,2014:469.

[3]Marr,David.Vision:A Computational Investigation into the Human Representation and Processing of Visual Information[M].Cambridge:The MIT Press,1998:102.

[4]杨俊蕾.人工智能电影:从类人模仿开始的机器换人系统升级[ J ].当代电影,2022(08):25. [5]OpenAIs Sora to Debut 5 Original Shorts Made Using AI at Tribeca Film Festival[EB/OL].(2024-06-01)[2024-09-24].https://www.yahoo.com/entertainment/openai-sora-debut-5-original-173613948.html. 

[6]Parikh,Priya.AI Film Aesthetics:A Construction of a New Media Identity for AI Films[D].Chapman University, 2019:20.


本文转载自《电影评介》公众号

编辑:李经韬

责编:张斌