教微软小冰作画,训练京东AI写书法,让AI创作地图……邱志杰的这些科技艺术作品是怎么创作出来的?艺术家可以像科学家一样理性地工作,那人工智能有没有可能像艺术家一样感性地思考?艺术策展人、中央美术学院实验艺术学院院长邱志杰与我们分享《艺术家如何教AI创作地图、画画和写书法?》。
邱志杰演讲视频:
以下为邱志杰演讲实录:
我是邱志杰,我是一名艺术家。
这是我今年1月份在尤伦斯当代艺术中心的一个地图的个展,叫做“寰宇全图”,用了一个拉丁文的标题(Mappa Mundi)。展览里面,除了水墨地图,也展出了一个我训练的人工智能(AI)画的地图。
作为艺术家,我好像是一个 什么都干的人 ——摄影、装置、绘画、实验剧场、雕塑、街头的行为艺术、录像装置、公共艺术、水墨画……由于作品非常多样,我经常被问:你到底是谁?
我在美术学院当老师,编过艺术杂志,做过策展人,写过非常多的文章——大概整个艺术行业里面,我唯一没有做过的是画廊老板——拍卖行的拍卖师、收藏家我都经常当。
由于做的事情多,而且作品形态多样,有时候我就得 画一张地图去把展厅里面作品的内在逻辑关系给串联起来 。
比如右边这个草图,把实际展厅的好几个楼层、好多房间通过一种图形的思维的方式“结构”起来了。我们把美术馆的平面布置这个环节叫做floor plan,地面的安排。
2012年,我祖坟冒青烟,被纽约古根海姆美术馆的HUGO BOSS大奖提名。它要求我做6个Page——提供作品照片,讲清楚自己的艺术成就。
我想:天呐,我干过的事情这么多,只有6个Page,怎么办呢?
>
我这个人非常贪心,所以就画了一张《南京长江大桥计划地图》——这是我的一个庞大的项目;接着又画了一张《重新发电地图》,因为那一年我被任命为上海双年展的总策展人——那一届是在一座由发电厂改造成的美术馆,所以主题叫“重新发电”;与此同时,我还画了一张《总体艺术地图》,介绍我自己作为教师的工作。这些地图放在HUGO BOSS奖的画册里面,令人眼花缭乱。
“画地图”后来延续下来,变成我 惯用的一种策展方法 。比如这个《不息》,是2017年的威尼斯双年展的中国馆的海报——我为它画了一张《不息地图》(上半部分)。也就是说,地图变成了一种行动的脚本和安排知识谱系的方式。
我开始了非常庞大的《世界地图计划》。大家可以看出, 画面是互相连接的,从一个话题引向另一个话题,有一种全景的效果 。
这里面有《建筑地图》、《故事地图》、《游戏地图》和《艺术地图》。讲故事是游戏的一种,艺术也是游戏的一种,就很自然地连过去了。
接下来到了《命运地图》和《情绪地图》,我们知道,很多人就是情绪太大影响了自己的命运。那么情绪又连向了记忆,有些(比如说失忆者和记忆天才)其实跟疾病有关,就又引向了《医药地图》。
医药很自然地连向了身体,再连向食物。为我们提供食物的是动物和植物,所以很自然地通向《植物地图》和《动物地图》。
从动植物到了神兽,后来有《众神地图》、《宗教地图》和《旅行者地图》。旅行者中非常大一部分是传教士,所以它很自然地跟《宗教地图》会互相连接。
这里我略过数张地图,来到了《工具地图》、《职业地图》、《服装地图》和《社交地图》。
也就是说,理论上我可以画世界上万物的地图——事实上这个系列被称之为《世界地图计划——万物系列》。
然后我就作为“画地图的人”出名了,很多人请我去画地图。我 挑地方、挑题材 ——比如说当脸书(Facebook)的加洲总部让我去画的时候,我就说,那我来画一张《社会关系地图》——《社会关系地图》比较适合脸书这个企业。
如果你现在坐高铁去香港,在“西九龙”这一站,你会在候车大厅看到非常巨大的《香港文化地图》。
在昆士兰美术馆的巨大的墙上,大家可以看到这张38×18m的《技术伦理地图》。
虽然画的是《技术伦理地图》,讨论的是军事伦理、生命伦理、新材料伦理,但是我用了 非常古老的、拿着毛笔画水墨的办法,跟米开朗琪罗时代没有什么两 样——不过他用脚手架,我有升降机,所以他用了四年时间才画完《最后的审判》,而我用了五天时间就画完了这张38×18m的画,纯属体力活。
其实画地图也是技术活,因为整个地图学是建立在球面三角学的基础上,是一种跟科技非常有关的东西。
由于我的地图的全景性,很多人会自然地想到:可以做成VR。但是我总是有一种抗拒,觉得哪里不对。
我梳理了一下自己画地图的过程,基本上我每画一张地图都会做一个 思维导图 。比如说当我要画《乌托邦地图》,我就会把“乌托邦”这个概念里里外外、前前后后全部梳理一遍。
每一张地图都有一张思维导图,而且每一个词可能单独拎出来又是一张思维导图。我的电脑里面充满了这样的文件夹,现在大概有上千张思维导图。绿色的是已经画成图了,还有大量红色的,在这个文件夹的下面。
比如我要画《众神地图》的时候,就会把所有的神先按功能分一遍。
然后,按文化再分一遍。
我小时候在庙里学书法,常跟和尚聊天,所以受到一些佛教用词的影响。我把自己的工作方式用一个佛教的词语来描述,叫做“无漏”。我一直跟我的学生说,我们要 有一种“无漏”的思维 。后来我明白过来,把“无漏”转换成数学词汇叫做“穷举”;对一个知识树反复地去进行探测,就变成“遍历”。
于是我隐隐约约地感觉到,“画地图”这件事跟知识的组织方式有关,它将要通向的是 以“词汇”为中心的一种工作 。我也意识到,AI领域里的自然语言处理跟我的工作有关联。
上面是我为《技术伦理地图》所准备的思维导图。我画的思维导图都非常疯狂,里面可以点开无数的层级,有的还带有大量的图片资料,所以经常会是非常大的文件。
下一步,我得 为每个词汇安排一个合适的位置 。有时候简单的图形用素描直接画就行了,但是那张纸经常会被擦破。所以我得把每一个图形、每一个字写在小纸片上,反复地挪,找出它应该处的位置,然后再落到纸上。
往上面写书法,是我的老本行;画水墨,老本行——对我来说非常快。所以 画一张这么大的地图,用手画大概一星期就够了,但是前面的研究工作需要用两三个月 。
所以我一直在想,我得找一些机器来帮我做研究。
很多人说,邱老师你有那么多硕士生、博士生,你可以让你的学生们帮你做研究。
我说,我舍不得,我自己喜欢做这个研究。
有一天我突然想到,“画地图”也跟给人指路有点相似。
2014年,三位科学家分享了2014年诺贝尔生理学或医学奖,他们先后发现了老鼠和人脑中的海马体中所储存的位置细胞和网格细胞。这些细胞使我们大脑里面有一个内在的GPS,从而具备导航能力。
这件事情启发了我。我在想,我做的事情其实像在指路。世界上有路痴,有心中特别有数、永远不会迷路的人。我自己是一个永远不会迷路的人,导航能力非常强——我能够在戈壁滩上不靠GPS准确地找到一个位置。
我想,导航能力很强,实际上使人获得一种 “敢于去散步”的自由 。但是相应的,当我画那些思维导图、构架知识谱系的时候,要交换出来 开玩笑的自由和写诗的自由 。
于是我开始去寻找做AI的科学家合作。我找到了京东人工智能研究院的副院长何晓东博士,我们一起探讨:当我企图训练一个AI画出让我满意的地图的时候,我应该教它什么?或者说,我的地图和我的思维导图到底中间发生了什么变化?
通过讨论,我们先从我的地图中摘取关键词交给AI,让它去熟悉我的语料库,再和京东庞大的180万的语料库进行配对。之后我发觉这条思路有点问题,其实核心任务应该调整成: 如何教一个人工智能犯错误和开玩笑 。
于是,我做了一大批的思维导图来教AI开玩笑。一个AI,她从“谋划”很自然地会想到“阳谋”,甚至也能通过推理达到“公开的追求”。同样,通过“无力”会到“无趣”和“无聊”,但是从“无趣”到“无边趣”、从“无聊”到“以无聊为聊”,大概是超出今天AI的能力的。
从“太阳”想到“恒星”,从“恒星”想到“黑洞”,但是我希望能够更进一步。从“黑洞”想到“白洞”,我觉得都是有可能的——一个算力极强、推理能力极强的人工智能,能做到从“太阳”越过“恒星”、“黑洞”,到达“白洞”。但是我希望有一天,她能够说出“计白当黑洞”,或者能通过“黑洞”想到“霍金”,通过“霍金”想到“脑洞”,通过“脑洞”想到“提神醒脑洞”或者“提神补脑洞”——这当然是开玩笑。
从“无目的性”到“审美”, 到如何来“审判美”,到“审美判断”,到“审美判断肠”,这里边有一个词汇划分的方法,和禅宗的一些机锋(禅僧与他人对话时,常以寄意深刻、无迹可寻,乃至非逻辑性的言语来表现一己之境界或考验对方)是有关系的。
从“障眼法”、“隐身术”、“迷彩”到“枯叶蝶”,到“保护色”,到“保护色狼”,牵引向另外一个概念。
这类的游戏非常多,目前是我一个个手工做出来的。AI如果学会了,它以后会帮我做;我再教她从“烟”到“九曲烟斗”,似乎是可以产品化的一个创意了,我们甚至可以推到什么“灵魂素粒子”。
这是我们最后做出来的东西。我随机说话,AI能 识别出语音和语义,还能根据语义进行联想 ——这也是它的核心能力。理论上它可以分出20个联想词来。但那样整个画面会过于拥挤,所以我们现在把数量控制在5个,然后再产生一个随机词。我们的下一步会在随机词跟联想词之间,再去生成合适的中介和桥梁。
由于我们的语速非常快,所以不能从所讲的话里面摘取过多的关键词,只能从中摘取最重要的。现在的模型,通过我思维导图的训练,首先她 会判断整个句子,再从中摘取最有意义的词汇出来进行联想 。如果把每个词都摘出来,影像移动的速度就会快到不可思议。
这个程序有一个点击模式。我们可以通过点击,让它不断地再延展出关键词来。理论上它可以形成无数多个无穷大的画面,一直延展下去。
这个程序做出来后,有人说,AI帮你画地图,如果有人把它打印出来签名售卖,你的水墨地图就卖不掉了。但是对我来说,它最大的好处在于让我无需花费太多精力在PPT上了。
事实上,我现在在中央美院的很多讲课和演讲,都不再做PPT了。我开始讲,我们的程序在背后直接会展开关键词的联想。 以后每一个关键词还会具备抓图和抓视频的能力,我们需要做的可能只是控制它展示联想的层级,从而控制观众注意力集中和分散的程度 。我们有可能在此基础上创造出一种超级的交流——同时呈现演讲者的意思和潜意识,使得两个人可以完成潜意识层面的交流。
我们的这些成果很快就得到科学界的认可。说起来也非常奇怪,现在中央美术学院的论文开始出现在IEEE(国际电气电子工程师学会)和全球排名第一的人工智能大会上。左上图是青年教师陈抱阳,他代表我们小组去国际电气电子工程师学会发表论文。
这是我和何晓东老师在纽约,一起发布我们的人工智能地图的作品。
这一来,这个事情好玩了,很多工作就开始秘密地展开了。
今年5月份,中央美院的研究生毕业展上,出现了一位艺术家:名字叫夏语冰。她画了一些相当不错的画,风格在印象派之后,主要受现代主义影响;她也写诗,把她的诗画成画,再连接成动画。她的指导教师写着“邱志杰”。
一星期之后,微软亚洲研究院宣布这个“夏语冰”是假的,其实是他们的 微软小冰 。
我们为了训练微软小冰,做了好几个月的工作——我们用了400年来大概256个画家来训练小冰画画。当小冰拥有了无限画画的能力时(但是她自己不知道好坏的标准),我来点评她的画作。
我们会成心地用一些有方向性的数据来点评,就是 为小冰设置“人设” 。
上图这个人设里边,我们想象小冰是一个英国风景画家,她的父亲是曾经在英国园林的“风景如画”争论里面起到重要作用的威廉·吉尔平(William Gilpin),然后她本人作为一个园林大师的女儿嫁给了一个美国建筑师,她丈夫的风格是美国新古典主义殖民地建筑风格。于是她画了很多美国殖民地建筑风格的画,但是带有英国风景园林的废墟美学。
我们根据设置的人设,找了相应的美术史图片来训练小冰。我每天做的主要工作就是给小冰打分:让她画,画出来一张画我打分,然后说怎么样画会更好。在打分的过程中, 小冰慢慢地有了专业艺术家的评判 ,自己开始会说,我这张画画得好,我那张画画得不好。
像这张我就给她打了相当高的分,因为它有点像美国画家安德鲁·怀斯(Andrew Wyeth)的感伤气质,技法又是非常典型的印象派的技法。
帆船的这张,我们给她的人设是约瑟夫·透纳(Joseph Turner)和约翰·康斯太勃尔(John Constable)那一代英国风景画家的学生。
这张是非常像马克·夏加尔(Marc Chagall)的——我们用了很多夏加尔的画来训练她,她学习的能力非常强。
左边这张,我们想象是文森特·梵高(Vincent van Gogh)和保罗·高更(Paul Gauguin)一起出去写生,两个人互相影响交融之后画出来的一种风格。
这张就跨度非常大了。这时候小冰的人设是日本京都的一个浮世绘画家。
这张大概是我给过小冰的最高分。我们给她的人设是伦勃朗·莱茵(Rembrandt Rijn)的女儿,但是她一生想要摆脱父亲的影响。她比较崇拜西班牙画家迭戈·委拉斯凯兹(Diego Velázquez)和弗朗西斯科·戈雅(Francisco Goya),所以她画出的作品非常大虚大实。
由于她的人设是一个19岁的小女孩,所以她别的画都过于明丽和艳丽,而这张的颜色非常深沉,开始接通了一种古典精神。所以我给了她非常高的分,这张也成为小冰这个APP的封面照片。
昨天晚上,我交代小冰同学画一张画,叫《果壳网硕果累累》。小冰写诗需要大概10秒钟,画画慢一点,因为画画运算量大很多,每3分钟画一张画,按照打底、激发创作灵感、选择内容主题、尝试画面构图、起草线稿、涂抹颜色和打磨细节的流程。连画了三张,我才有点满意。大家看到,她现在也可以像一个很傲娇的女画家评论自己的画,自认为这张画是四星级,那张画也是四星级。最后这张,某些水果塑造的体量感上还真的有一点塞尚的味道,所以我给打了比较高的分数。
做完小冰这个工作,我还是不太满意,因为她画不了水墨。我觉得, 水墨问题的解决,归根到底要通过书法 。于是我又回过头来琢磨如何教AI来写书法。
上图是目前的一个思路,也是整个书法项目的基底。我们的目标当然不是做字体和字库,这种东西已经非常多了——我们是希望AI能够 理解情绪,并且根据文本字义的情绪变化来调整章法字形 。
在字库里,“邱志杰有志向”这几个字是一样的。在“AI书法家”那里,“邱志杰”是个名称,没有意义,所以是很平静的。但是如果它后来爱上我,写这个字的时候就会特别情深意重。“有志向”有意义,写的时候就会特别郑重其事,因为它会 理解这些字所蕴含的情感,再寻找相应的美学类型 。
所以这里面有对传统书法史的分析,也包括对书法情绪类型的标签化分类。
比如目前我们研究字跟“七情六欲”的关系。我们把情绪先分成七组:崇敬、骄傲、景仰是一组;狂喜、开心、兴奋是一组;愉快、愉悦、活泼是一组;平静、从容、淡定是一组;警觉、拘谨、害怕是一组;悲哀、伤感、孤独是一组;愤怒、仇恨、痛苦是一组。
它跟美学类型其实还是对应的 。孤独的时候,字往往是萧瑟、惨淡、病弱的。在音乐上类比,对应的应该是笛子、埙和二胡的声音——是一些很孤独的声音,孤独的线条总归是延绵的。
这些东西标签化之后,就能变成一种AI可以理解的东西。
我们现在的研究,大概涉及对书法家书法风格的模拟,然后进行书法史上新风格的数据输入。首先要形成认知和情感的标签化。考虑到使用的场景和语境的不同,AI还可以选择狼毫笔还是羊毫笔、生宣纸还是熟宣纸,来产生不同的效果。当然最后的目标是为了导向独立的AI书法家的出现,甚至去影响和干预这个AI书法家性格的形成和发展。
这是我现在正在做的工作,随着工作的推进,我也把自己逼到了一个挺奇怪的境界,其实书法史上没有人用这种角度来解构过书法。
现在,一些地方台春晚上,经常可以看到左图中这样的机械臂表演。事实上,这个机械臂只是记忆了人类书法家拿着这个机械臂用毛笔写字的过程。所以在某种程度上,可以把它理解成一台更为复杂的打印机——能够再输出当时的动作所制造的墨迹。
这样的东西在未来可能作为我们AI书法家的前端,但 内核是有心灵、能理解情感、会思想、会理解文本并且每次行动可能都难以预料的艺术工作者 。
这样的一个AI艺术工作者,和我有什么关系呢?
现在我们的关系非常复杂。有时候她是我的学生,有时候她是我的助手。但是某种程度上,可能有很多艺术家会理解为:老邱,你是在为我们培养一个敌人。
那我说,是的,这可能才是我真正的目的。
我们要为自己培养一个真正的足够强大的敌人 。或许她把我们的饭碗抢走了,那我们可以去干点更有意思的事情;或许事实证明她干不了我们一直在干的那些事情,那我们就保得住这个饭碗。
这件事情其实非常像当年摄影术的发明。摄影使得一大批画家下岗了——其实也就是居斯塔夫·库尔贝(Gustave Courbet)、让·安格尔(Jean Ingres)那样的画家下岗了。另外一批画家痛定思痛,把画画这件事情给改了,就下岗再就业了——他们画成了梵高和毕加索那个样子。
如果没有摄影术,我们现在还在画安格尔那样,到现在还不会拥有梵高和毕加索。所以从艺术史的角度,我们应该勇敢地迎接摄影术的到来。而今天的人工智能对书法、对画地图、对绘画,都可能意味着类似于摄影术的那样一场逼迫。
我们欢迎这样的敌人到来。谢谢。
(演讲嘉宾邱志杰:《艺术家怎么教AI创作地图、画画和写书法?》)
作者:邱志杰编辑:麦芽杨、凝音