数字媒体的实验考古（四）：多媒体电脑

今天是数字媒体的实验考古的第四节课，我们来讨论一下多媒体电脑。大概在90年代之前，人们还比较少意识到计算机是一种媒体工具，而看重其作为计算工具的属性。但是今天我们去讨论关于媒体的时候，却很难回避计算机的作用。我们在第一节课展示的Treo手机上的AR游戏，就充分地利用了现代计算机对媒体的处理功能：它通过摄像头采集动态画面，并和电脑生成的动画角色合成在一起展示在显示屏上，同时能够对玩家输入的操作做出反应。即使这个游戏现在看起来已经不够酷炫，但它却包含了诸多媒体处理所涉及的核心问题。

“跨媒体”的几种情况

今天我们常提到“跨媒体艺术”这个概念，当然它其中会涉及到intermedia和transmedia这两个概念，它们之间会有一些区别，许多论文都有论述，在此我们不去做一个非常细致的讨论。但是这两个概念都会涉及到不同的媒介的混合运用媒介之间的互动，在一个跨媒体作品或项目中，其内容往往会综合运用书籍、电视、电影、电视、网页等媒介中的若干种，并在相互建立联系，乃至可以实现相互操作。

扫描仪可以将纸张数字化并和电脑程序交互

而现在实现不同媒介的互操作最常用的方式就是电脑，现代PC几乎可以处理所有我们能见到的媒介，它不仅可以处理电话、广播、电视、录音等电子通信方式；也可以比较方便地对“不带电”的媒介做数字化转换，最常见的如通过扫描仪来处理纸媒。因此当我们在创作中需要操作不同的媒体的时候，即使不是用作最终的呈现，PC也往往会用来充当中间组件。

接下来我们来回顾一个非常经典的案例，就是1987年的Painting with Light，它是BBC的一个电视系列剧，节目主办方邀请了包括大卫·霍克尼（David Hockney）和霍华德·霍奇金（Howard Hodgkin）在内的许多知名画家在名为Quantel Paintbox的电脑设备上面做绘图创作。

大卫·霍克尼在操作Quantel Paintbox

上市于1981年的Quantel Paintbox是最早商品化的能够在电视信号中进行电脑绘图的视频后期工具，也是最早商业化的电脑画笔软件。在1996年Quantel曾就电脑画笔的专利对Adobe发起诉讼，但Adobe以1973年Richard Shoup开发的SuperPaint为据成功地进行辩护，因此今天电脑画笔的操作方式不再受专利保护，而可以被各家软件开发商自由使用。

加利福尼亚大学伯克利分校的战略性计算和通信技术课堂报告介绍了Quantel诉Adobe一案 https://inst.eecs.berkeley.edu/~eecsba1/sp98/reports/eecsba1f/Final.html#Adobe

Richard Shoup的SuperPaint论文： https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.94.157&rep=rep1&type=pdf

Quantel Paintbox是一种跨媒介的系统，它把画笔、电脑软件以及电视通过技术手段连接了起来。今天我也带了一套电视的发射设备，是一台电视调制器，可以将视频信号发送到有线电视电缆里，并被连接在电缆上的电视机接收到，比如说教室的桌子上这台DVD机，我用它作视频源并通过调制器发射出去，所有连接到电缆上的电视机就都可以收到DVD机播放的节目。我们的电视调制器可以同时将四个视频源调制到四个电视频道上去，因此它可以模拟一个有四套节目的小型有线电视台。

现代PC和电视网络交互的一个常用的设备就是电视卡，它可以将电视信号捕捉下来并转换为电脑中的数字视频。当然PC也有能力输出信号到电视网络，许多显卡上面带有TV-out或S-Video，都可以用来输出与电视制式兼容的视频信号。

推出于1990年的NewTek Video Toaster是较早可以用于个人电脑的视频特技系统，照片拍摄于2019年西雅图VCF PNW

电视采集卡这样设备是在90年代之后才普及的，因此我会在后面讲到它。而在此之前能够采集视频的设备往往很贵，比如前面讲的Quantel Paintbox当时要卖2万美元左右，基本上只有专业工作室才用的起。1990年的NewTek Video Toaster是第一款个人爱好者和小型工作室用得起的视频特效系统，当时售价大概不到3000美元。而我前些天买这块电视卡只花了30块人民币，我们现在可以用非常便宜的价格去做之前只有专业人士才能做到的事情。

值得注意的是，电脑输出视频的能力要比输入视频的能力出现的早很多，对于“家用”电脑来说，视频输出可以说是与生俱来的功能。Apple II，ZX 81等早期个人电脑都能够使用电视机作为显示设备，主要目的是为了降低购买和使用成本。而Atari 8-bit系列，Commodore VIC-20等个人电脑在设计时就被定义为电视游戏机和计算机的结合体，因此也继承了电视游戏机配合电视使用的习惯。这些个人电脑也像早期的电视游戏机一样，由于NTSC或PAL电视制式的不同，而在性能上有些许差别。

今天的液晶电视仍然可以连接Laser 310电脑

支持电视输出的家用电脑的画面可以被电视录像机录制，也能够使用其他各类模拟电视信号处理装置来处理。我今天带来了一台Laser 310，是1984、85年左右常见的一款电脑，是由香港的伟易达公司生产的。在国内这款电脑曾经被大量进口用作教育设备，因此是是国内最常见的老式电脑之一。在这个课程接下来的“老式个人电脑”单元，我会详细的讲一下这个机器的用法，而今天它的主要作用是展示它和电视互操作的特性。

Laser 310可以通过两种方式连输出到电视，一种方式是复合视频（Composite Video）信号，也就是AV线。另外它还内置了RF调制器（RF Modulator）可以直接通过电视调台接收到，这是许多老式电脑都具备，而今天却比较少见的一个功能。

HyperCard

接下来要提的一个软件是HyperCard，如果说电脑软件和游戏的视听语言仍然在相当程度上借鉴了电影和电视的逻辑的话。那么电脑在交互手段上的发展是其他媒介所不具备的，1987年的HyperCard是第一种广泛被使用的超媒体（Hypermedia），它支持由按钮驱动的跳转，同时在卡片中也支持嵌入图片和声音等视听资源。HyperCard对信息的组织方式深刻影响了WWW的发展，第一款支持内嵌图像和表格的浏览器ViolaWWW在其介绍中就提及了HyperCard对其功能设计的启发：Viola Overview 。

像HyperCard这样比较老式的Macintosh程序在今天的Mac上已经无法运行了。为了运行它，我在现场准备了一台PowerMac G4，是2003年的型号。在它上面能看到不少与今天的电脑不同的配置，比如显示器的接头也是专用的ADC（Apple Display Connector）接口，即可以传图像也可以传电源。这台电脑可以运行原生的Mac OS 9，因此也可以运行大部分90年代中期之前为Motorola 68K处理器的Macintosh开发的软件。

用作演示的PowerMac G4

CD-ROM和光盘

在现代多媒体电脑概念形成的过程中，一个重要的里程碑就是CD-ROM光盘的出现。前面提到的HyperCard就时常被用来用来制作光盘内容。在90年代初，CD-ROM是个人电脑上能使用的存储容量最大的设备。CD-ROM容量有640MB，而第一款内置CD-ROM的苹果电脑，1992年下半年的Macintosh IIvx标配的硬盘只有80MB，光盘的容量是硬盘的数倍。

即使是我们用于展示的2003年生产的PowerMac G4，它的硬盘容量也只有60GB，只能装下不到100张CD-ROM。而90年代中期推出的DVD-ROM每张光盘可以有4.7GB容量，只要12~13张光盘就可以把这台电脑的硬盘装满。

因此以CD-ROM为代表的光盘介质在相当一段时间里都是容量很大的存储设备，光驱的普及让许多之前以软盘为主的发行方式难以承载的软件内容成为可能。使用光盘发行的游戏往往会加入高质量的预录制音频作为背景音乐和音效，许多时候也会有预渲染高质量剧情视频，这些内容都是软盘所无法容纳的。一些艺术家也尝试使用CD-ROM来发行它们的多媒体作品，比利时艺术史学家Sandra Fauconnier建立了名为“The CD-ROM Cabinet”的光盘艺术保存计划，其中一些光盘镜像也通过互联网档案馆下载开放给公众访问。

The CD-ROM Cabinet： https://cdromcabinet.tumblr.com/

接下来要展示的是游戏《神秘岛》（Myst），它是最有代表性的早期CD-ROM游戏之一，也是90年代最为畅销的PC游戏，其600万份的销量直到2002年才被模拟人生（The Sims）超过。值得一提的是，Myst的最初版本是在Macintosh上使用HyperCard开发的。

另外一个展示是国内最早的互联网公司瀛海威时空做制作的《去日留痕》，它是使用Authorware开发的。由于苹果的HyperCard仅能用于Macintosh电脑，Authorware和Director是制作PC平台上多媒体光盘内容最常用的软件。它们出现的时间与HyperCard相仿，Authorware是1987年，而Director出现于1985年。

1993年，开发Authorware的Authorware Inc.和开发Director的MacroMind合并组建了Macromedia，并在1996年收购了开发Flash的FutureSplash。Authorware、Director和Flash这三款软件基本上统治了90年代~2000年代IBM PC上的多媒体内容制作市场。2005年，Adobe收购了Macromedia，并逐渐停止了Authorware和Director的开发。

HyperCard、Authorware和Director组织内容的逻辑各不相同，HyperCard的基本单元是“卡片”，Authorware则是使用流程图的形式来组织内容，Director由动画制作软件发展而来，因此使用了与Flash非常相似的时间线帧序列制作逻辑。Authorware和Director这两款软件在2000年代都非常流行，特别是被广泛用于制作教学课件。因此相关的资料和教程都比较容易找到。到在90年代末，网页技术也曾经被用在多媒体光盘的制作中，瀛海威时空的《跨越2000》就使用了浏览器里的网页来组织内容。

多媒体PC的标准化

在1990年代之前，多媒体（“Multimedia”或“Multi-media”）并不与电脑的使用紧密相关。今天的多媒体概念的广为人知，很大程度上是90年代，微软、创新、戴尔等计算机软硬件厂商成立了多媒体计算机市场协会（Multimedia PC Marketing Council）在PC市场上大力推广其MPC标准的成果。而这一时期多媒体PC最重要的功能特点，就是能够提供基于光盘的，声音与图像同步的内容。MPC商标中的光盘图像也显示了CD-ROM光驱在这一系列标准中的核心地位。

• 1990：多媒体计算机市场协会成立
• 1991：Multimedia PC Level 1：386SX（16Mhz），2MB RAM，40MB HDD，1x CD-ROM
• 1993：Multimedia PC Level 2：486SX（25Mhz），4MB RAM，160MB HDD，2x CD-ROM
• 1996：Multimedia PC Level 3：Pentium（75Mhz），8MB RAM，540MB HDD，4x CD-ROM，MPEG-I，352x240，30fps（VCD级别的MPEG影像）

泰特美术馆介绍了一些电脑之外的多媒体作品： Multi-media – Art Term | Tate

陈刘钦智教授在NIT'92会议上的论文显示了90年代初以CD-ROM及各类CD光盘标准在多媒体系统中的核心地位 CONSEQUENCES FOR TODAY AND POSSIBILITIES FOR TOMORROW*

我们注意到Multimedia PC Level 3中要比前面两个级别多了一个要求，就是MPEG-I解码能力。MPEG-I视频编码是VCD光盘所使用的图像压缩标准，而播放VCD光盘的功能也是这一时期多媒体电脑的重要卖点之一。

讲到MPEG-I编码，我们就要解释一下在处理音视频时常提到的一些概念，Codec就是编解码器Coder/Decoder的缩写，在计算机中，这个组件（大多数时候是软件，但也有硬件的情况）的功能是双向的，既可以对视频进行编码，也可以进行解码。视频和声音通常需要使用不同的编码器进行编码，比如现在常用的视频编码H.264和音频编码AAC。

经过编码的音频和视频数据需要经过视音频复用器（Muxer）来合并到一个“容器”（container）文件里去，不同的音频复用器支持的容器文件格式也不同，比如MKV或MP4就是不同的容器文件格式。

在播放的时候，整个过程就反过来，播放软件先对容器文件解复用（demux）得到经过压缩编码的音视频数据，然后再分别交由相应的解码器还原成音频和视频。

Windows 3.2“驱动程序”控制面板里可以看到系统安装的编解码器

编解码器是多媒体电脑最重要的软件之一，也是授权费和专利壁垒竞争最为激烈的领域之一。许多在相关行业里具有开发实力和影响力的厂商都在其中围城圈地，也造成了编解码器碎片化的情形。在个人电脑视频领域，1991年苹果的Apple Video，1992年Intel的Indeo，1993年的Microsoft Video 1都曾经出现在不少软件中。

Windows 10电脑中安装有大量Codec

QuickTime和DirectX

接下来我们来讲一下最重要的两个多媒体架构，苹果的QuickTime和微软的DirectX。苹果的QuickTime是以处理影音内容为核心开发的，上面提到的Apple Video就是QuickTime最早的支持的视频编解码器。而在持续30年的开发中，新的编码器，包括MPEG-1、MPEG-2、MPEG-4、H.264，以及专门用于后期制作的ProRes等也都陆续加入进QuickTime中。而MOV容器格式也是QuickTime的标志，我们今天使用iPhone拍摄的视频，也都是MOV格式的。在QuickTime的基础上，也发展出QuickTime interactive (QTi)交互视频和QuickTime VR等功能。

然后我们来看一下微软的DirectX，微软在Windows系统上发展多媒体的思路和苹果重视音、视频编码和围绕影音内容的交互不同，Direct X更关注于程序API，特别是游戏3D图形功能。用于实时3D渲染的Direct3D API是整个DirectX最为强大也最为激进的部分。从1999年的DirecX 7开始支持硬件T&L（Transform & lighting 坐标转换和光源）以来，DirectX的版本号基本上成为消费级显卡断代的标志。比如说我们这台Pentium 4展示机里用的Geforce MX440，就是一块Direct3D 7.0级别的显卡，它支持硬件T&L，但是不具备像素着色引擎（Pixel Shader）。

Direct3D是较为底层的API，软件可以直接通过它操纵显卡的功能，但这些图形功能非常复杂，而且变化很快，这意味着游戏开发的门槛越来越高。一些游戏公司会将自己游戏的图形功能开放出来，授权给其他开放着使用。这就是游戏引擎。雷神之锤（Quake）系列的idTech引擎、半条命（Half-Life）的GoldSrc引擎和虚幻（Unreal）引擎都在90年代末就开始销售授权供其他开发者使用了。

Werkkzeug是一款制作demo演示的程序

而三维图形卡的普及也为编写实时图像程序的demoscene社群提供了新的舞台，像Werkkzeug这样的demotool为实时生成三维艺术提供了类似游戏引擎的方案。

Werkkzeug官方网站： a demo in 63.5 kb

在90年代中期之后出现的一个变化就是电脑和电视之间这种互操作性有了进一步的提升，虽然80年代的家用电脑就已经广泛具备了电视信号输出的能力，但采集和录制电视信号的功能直到在90年代中期之后才开始普及。通常来说，即使是在有专用视频编解码硬件辅助的情况，处理视频也需要100Mhz以上的32-bit处理器，比如486DX4或PowerPC 603，这些处理器都是1994年出现的。

当然在更早一些的时候，一些产品就已经在视频采集的方向上探路了。比如说1993年的苹果Macintosh TV，虽然它听起来像是Apple TV的前身，但其功能定位却明显不同。Macintosh TV是一台功能完整的电脑，它有32Mhz的Motorola 68030 CPU，5MB内存，160MB硬盘和2x CD-ROM，同时也内置了电视接收卡。但由于硬件性能的限制，它并不能够录制视频，而仅能对电视画面进行截图。

1996年的Gateway 2000 Destination是尝试将电脑和电视结合的另一个具有代表性的尝试，它配置了31寸的大型显示器，无线键盘鼠标，它收看电视节目，同时具有DVD播放功能，还有遥控器，是“客厅电脑”概念最早的实现。

苹果的iMac G3电脑从1999年下半年开始内置IEEE 1394接口，图中的白色款是2000年夏天开始推出的型号

在90年代多媒体功能的大爆发中较晚出现的一个板块是数字视频，也就是DV，90年代的数字视频设备价格较高，软件也不够成熟，直到2000年之后才开始流行。磁带式的数字摄像机在整个2000年代都很普遍，直到2010年代之后才逐渐被硬盘和闪存摄像机替代。IEEE 1394也就是火线接口是磁带式数字摄像机向电脑传送数字视频最常见的方式，IEEE 1394是大多数PC硬件厂商的叫法，而苹果称其为FireWire（火线），索尼的摄像机和VAIO电脑上则称为i.Link。

IEEE 1394接口除了可以连接数字摄像机之外，也可以通过媒体转换器连接模拟式的录像设备。数字电视机顶盒也是往往带有IEEE 1394接口，在美国，FCC曾在2004到2010年间规定所有的数字电视机顶盒都需要配备IEEE 1394接口用于录像，虽然FCC在2010年之后更新规定，机顶盒可以使用网线实现相似的功能，但不少型号的机顶盒仍保留了IEEE 1394接口。

无纸传真和多媒体通信

电脑的多媒体功能的发展和互联网的广泛利用改变了电信行业的生态，用于上网的Modem同时被广泛用于无纸传真，Windows 95及之后的版本都内建了收发传真的功能。

1995年VocalTec开发的“Internet Phone”是第一个商业上成功的IP电话软件。1996年，微软NetMeeting随Internet Explorer 3.0一同发布也促进了网络视频电话的流行，并使网络摄像头（WebCam）成为常见的电脑外设之一。基于网络的语音和视频通话触动了电信业主要利润来源之一的长途电话业务，并引发了国内的“IP电话第一案”。而詹妮弗·林利（Jennifer Ringley）通过摄像头和自建网站Jennicam的直播，确定了“生活直播”或“日常直播”（Lifecasting）的基本形态。

IP电话案：“网上第一告”_光明日报_光明网

我们能够发现，在经历过90年代多媒体个人电脑功能的突飞猛进之后，个人电脑能够处理的媒介类型也基本上被确定下来：图像、声音、视频、交互操作、3D生成影像、光盘和通信。直到今天，它们仍然是大多数多媒体艺术作品所使用的材料。