米海鹏:艺术遇见科技,好像有了灵性

来源:科普中国-我是科学家 作者: 时间:2022/03/09

  让机器人弹箜篌,让刺绣木兰绽放……艺术遇见科技,让看似不可能有生命的形象活灵活现,好像有了灵性。在传统文化的滋养下,未来的世界会是“万物有灵”的吗?清华大学美术学院信息艺术设计系副教授、博士生导师米海鹏为大家分享用科技传承中国文化的故事。

 

  以下为米海鹏演讲实录:

 

  大家好,我是来自清华大学美术学院的米海鹏。我是“墨甲乐队”的创始人和首席科学家。

 

 

  首先,我想问大家一个问题:

 

  最早出现机器人表演歌舞的记载大概是什么时候?

 

  A.100年前

 

  B.500年前

 

  C.1000年前

 

  D.2000年前

 

    答案:

 

  D

 

 

  2000多年前,我国有一部古书《列子·汤问》,里面记载了“偃师献技”的故事。周穆王西巡出游,当地有一位能工巧匠偃师,他自告奋勇献上了一件自己制作的机器人偶。这个人偶能说会道,能唱会跳,活灵活现,给周穆王表演,惹得穆王哈哈大笑。

 

  表演结束时,这个人偶向周穆王旁边的妃嫔抛了一个媚眼,这个大不敬的举动惹怒了周穆王,穆王马上下令要杀掉偃师。

 

  偃师吓坏了,赶紧跟穆王说,您看他真的是一个机器人——然后,他拿走了人偶的心脏,人偶就不会说话了;拿走了肝脏,看不见了;又拿走了肾脏,不能走路了;把这些再拼回去,人偶又恢复了原样,活灵活现了起来。

 

  穆王看后说了一句话:人之巧,乃可与造化者同功乎?

 

 

  2000多年后,我们会觉得这个故事不是真的。但我想说,故事所揭示的梦想却是真实的——2000多年前,我们的先人认为“人偶可以表演”。

 

 

  现在,我相信仍然有很多人有着让机器人表演的梦想——和我一样。

 

  2012年,我在日本留学,参与了世界上第一个机器人摇滚乐队Z-Machines的研发工作,还挺酷的。我们在横滨的一个仓库里面连续调试了很多次,到最后我心里就只剩一个感觉——太吵了。

 

  我是一个挺喜欢安静的人,尤其喜欢那种意境悠远、充满禅意的中国传统音乐。所以从那时起,我就在想:有没有可能打造一支具备中国特色、能演奏中国传统音乐的乐队呢?

 

  回国工作几年之后,我和几位志同道合的朋友开始认真研究这个问题。

 

  我们从“音乐”入手:什么样的乐器适合机器人演奏?通过走访调研很多音乐演奏者,我们最终确定了三件乐器:竹笛、排鼓、箜篌。

 

 

  尤其是箜篌(图右),它有一千多年的历史。在敦煌壁画上,我们可以看到大量关于箜篌演奏的画面——盛唐时期它达到了巅峰。可是特别遗憾,在宋末元初,这件乐器渐渐失传了,很长时间,我们再也没能听到箜篌的声音。

 

  直到上世纪80年代,在国内很多致力于恢复这件乐器的音乐家的努力下,它才再一次出现在舞台上——这是一件很让人兴奋和欣慰的事情。可是直到今天,全国能够演奏箜篌的专业人士也寥寥无几。

 

  所以,我们团队从最开始觉得“让机器人演奏乐器这件事很酷”,慢慢变成觉得“传承中国音乐文化是一种使命”。当我们确定了这几件乐器并了解了它们特点之后,脑海中也大概浮现出了机器人乐手应该具有的形象。

 

 

  比如演奏笛子的这一位,他应该是一个侠肝义胆、飒爽英姿的形象。我们通过反复的设计、迭代、测试、加工,最终呈现在大家面前的就是这样。他的名字叫“玉衡”,身高有两米多。特别值得一提的是,他的造型和结构完全出自清华美院一位青年雕塑家之手——大家可以看到下方的甲片,上面的纹饰都是用雕刻刀一刀一刀雕出来的。据我所知,这可能是中国第一个由雕塑家打造的机器人。我觉得只有传承千年的工艺打造出来的质感,才能与我们想要传达的机器人中国风乐队的意境和调性相契合。

 

 

  演奏箜篌的机器人叫“瑶光”,她应该是一个温柔贤淑的女子(图右)。大家可以看到,她的双手非常纤细和灵巧;而在这样纤细的手臂里面,我们藏了大量的驱动和传动机构,来实现外观优美、功能精细的目标。

 

  在这张照片中,玉衡和瑶光同框了。我们也做了很多创新的设计,比如他们身上的服装就出自清华美院服装设计专业的同学之手。

 

 

  演奏排鼓的这一位,它看起来不太像一个人——它有四只手臂可以同时击鼓。它的创作灵感来自古代的神兽,它也有自己的名字,叫“开阳”,是一个热情奔放、但有时候又会皮一下的形象。

 

  事实上,“玉衡”、“瑶光”、“开阳”这三位乐手的名字来源于中国的北斗七星,是北斗七星位于勺柄上的三颗星星的名字。

 

  可能大家会觉得,我在介绍这三个机器人的时候特别有感情——确实是。不光是我,我们团队的每一个人,经过这么长时间和机器人在同一个屋檐下生活,都变得对他们特别有感情,甚至晚上睡觉都会梦到他们。

 

  现在有一个流行的词叫做“C位出道”。当机器人乐手马上要上舞台演出的时候,我们既是他们的家长,同时又是他们的粉丝,特别希望他们也能够“C位出道”。

 

 

  所以我们为他们设计了很精美的舞台美术风格,这是用多媒体投影呈现的配合舞台效果的素材。

 

 

  还有这张,是通过竹林的元素来烘托一种笛声悠扬的意境。

 

  当然,让这样一个美妙的梦想变成真实,除了艺术家和设计师的努力,也少不了科学家和工程师的支持。我们有一个很强大的机器人科学家和工程师的团队,他们保障了这个庞大项目的顺利进行——从最开始的想法、设计、图纸,到最终呈现在观众面前,还要解决很多现场问题。

 

 

  这三位新手演员,第一次上台总会有点紧张,可能会出些紧急状况。我们的工程师团队,就需要随时帮助他们恢复到最佳的演出状态。

 

 

  通过我刚才的介绍,大家可以看到,“墨甲乐队”是一个特别交叉的、需要很多学科一起完成的项目。我们团队里面有音乐家、雕塑家,还有负责舞台美术和服装设计的设计师,我们甚至还请到了孟京辉工作室的演员来进行现场的表演指导。当然在这背后还有一个庞大的机器人科学家和工程师的团队,最终保障了世界上第一支中国风机器人乐队表演的成功。

 

  这是演出中的一段现场的视频。可以看到,除了机器人合作表演,还有一位演员和他们进行互动。

 

 

  这位演员来自清华大学未来实验室,是一位在读的博士生。他所扮演的小墨,在故事里是这几个机器人的创造者。在上台前的最后一刻,他还在跟箜篌演奏者瑶光进行交流,让她保证自己已经达到了演出前最好的准备状态。

 

  大家可以看到,机器人演奏的水平是很高的。其实我们这场演出,想传达给大家的不仅仅是机器人演奏能力,更多的还是对于人与机器人,还有艺术之间关系的一种思考。

 

  在演出结束之后,曾经有很多人问我:你们最开始怎么想到让机器人演奏中国音乐的呢?

 

  其实,最早我们完全是出于一种觉得“做这件事好酷”的想法。可是通过这么长时间的与艺术家和音乐家的合作、对中国文化的不断探索,我们的想法也有了很多的变化。我现在更想用这句话来回答这个问题——

 

 

  不久前,我访问了美国麻省理工学院的媒体实验室,他们未来歌剧实验室的主任托德•麦克弗(Tod Machover)教授,看了我展示的Z-Machines乐队和“墨甲乐队”。他很欣喜地跟我说,还是更喜欢“墨甲”。我觉得这不仅仅是对机器人表演技术的肯定,更多的是对中国文化魅力的肯定。

 

  其实中国有很多很优秀的传统文化,不仅仅有音乐,还有传统的手工艺。我们也尝试将科学和中国的传统手工艺相结合,创造出一些创新的、有趣的新作品。

 

  

这个作品叫做《木兰》,它是一个动态的刺绣作品。

 

  如果大家仔细观察,会发现屏幕里的花瓣会慢慢地绽放。“花开”在中国文化里面是很吉祥的一种寓意,我们常常说“花开富贵”,所以很多传统的工艺都会去表现花。但一旦制作完成,它就会静止在那,需要你去想象花开的那一个刹那。

 

  那么,有没有可能将“盛开的感觉”制作出来?

 

  我们进行了尝试,并最终取得了成功。

 

  我们是怎样做到的?

 

 

  这是被列为中国非物质文化遗产的湘绣技艺。其中有一种特别特殊的绣法叫做“立体绣”,是用很细的铁丝作为骨架,在上面进行绣片和绣法,可以部分或者完全地呈现出绣面立体感。

 

 

  我们用了一种很神奇的材料叫“形状记忆合金(SMA)”,用它替换了传统绣法里用于做骨架的细金属丝。这种材料有一个很有趣的特性:一旦塑形,不管怎么揉、掰、折,只要加热(有一点温度),它就会恢复到最开始记忆的形状。正是这个特性,使我们可能做到动态花瓣的效果——通过简单的电路控制,就可以实现花瓣的动态运动。

 

  经过工艺筛选和技术控制,最终呈现出了木兰花开的效果。

 

  在最终的作品里面,我们还利用多媒体影像的方式加入了一只小蝴蝶,呈现了一种蝶恋花的意境。大家可以看到,将新材料技术和传统手工艺相结合,我们能创造出一种新的工艺的表达方式,让花瓣可以在你眼前绽放盛开——就像有了灵性一样。

 

  其实可以拥有灵性的,远不止这些手工艺品。我们还在尝试,让更多材料也具有灵性。

 

 

  这件作品的名字叫做《鉎命》。注意,“鉎”字并不是一个错别字,它确实带一个金字旁。

 

  其实它的创意来自“水”——“水”在中国传统文化里是很重要的元素,我们常说“上善若水”,或者说“仁者乐山,智者乐水”。

 

 

  当然,在其他很多文化里面,“水”也是很重要的。比如,这几张图片,分别来自《大鱼海棠》、《千与千寻》和《终结者》,它们都将水或者液体的形象幻化出了生命的意象。

 

  几年前,清华大学刘静教授领导的团队在国际上首次发现了一种神奇的材料:一种液态金属,在特定条件下可以通过电场控制改变自身的形状,就像是软体生物动起来了。

 

 

  我们和刘教授的团队合作,通过交互设计,给原本没有生命的金属赋予了性格,让人觉得有生命感。

 

  比如左边这个,这些液态金属软体生物看起来很害羞,人靠近的时候它会藏起来;而右边这个,它很好奇,当有人接近的时候,它反而愿意出来去一探究竟。

 

  大家可以看到,科学和艺术的结合让原先我们觉得“不可能有生命”的形象变得活灵活现,就像有了灵性。

 

 

  不管是《鉎命》还是《木兰》,当然也包括“墨甲乐队”,我想跟大家分享的是:艺术很酷,科学也很酷。当艺术碰到科学,在传统文化的滋养之下,可以盛开出美丽的花朵。我们在尝试给这些传统的艺术、传统的手工艺、传统的形象赋予一种灵性,也相信未来通过艺术和科学的结合,可以打造出一个“万物有灵”的世界。

 

  谢谢大家。

 

 

演讲嘉宾米海鹏:《新技术如何让机器人弹箜篌,让刺绣木兰绽放?》

米海鹏:艺术遇见科技,好像有了灵性

来源:科普中国-我是科学家 作者: 时间:2022/03/09

  让机器人弹箜篌,让刺绣木兰绽放……艺术遇见科技,让看似不可能有生命的形象活灵活现,好像有了灵性。在传统文化的滋养下,未来的世界会是“万物有灵”的吗?清华大学美术学院信息艺术设计系副教授、博士生导师米海鹏为大家分享用科技传承中国文化的故事。

 

  以下为米海鹏演讲实录:

 

  大家好,我是来自清华大学美术学院的米海鹏。我是“墨甲乐队”的创始人和首席科学家。

 

 

  首先,我想问大家一个问题:

 

  最早出现机器人表演歌舞的记载大概是什么时候?

 

  A.100年前

 

  B.500年前

 

  C.1000年前

 

  D.2000年前

 

    答案:

 

  D

 

 

  2000多年前,我国有一部古书《列子·汤问》,里面记载了“偃师献技”的故事。周穆王西巡出游,当地有一位能工巧匠偃师,他自告奋勇献上了一件自己制作的机器人偶。这个人偶能说会道,能唱会跳,活灵活现,给周穆王表演,惹得穆王哈哈大笑。

 

  表演结束时,这个人偶向周穆王旁边的妃嫔抛了一个媚眼,这个大不敬的举动惹怒了周穆王,穆王马上下令要杀掉偃师。

 

  偃师吓坏了,赶紧跟穆王说,您看他真的是一个机器人——然后,他拿走了人偶的心脏,人偶就不会说话了;拿走了肝脏,看不见了;又拿走了肾脏,不能走路了;把这些再拼回去,人偶又恢复了原样,活灵活现了起来。

 

  穆王看后说了一句话:人之巧,乃可与造化者同功乎?

 

 

  2000多年后,我们会觉得这个故事不是真的。但我想说,故事所揭示的梦想却是真实的——2000多年前,我们的先人认为“人偶可以表演”。

 

 

  现在,我相信仍然有很多人有着让机器人表演的梦想——和我一样。

 

  2012年,我在日本留学,参与了世界上第一个机器人摇滚乐队Z-Machines的研发工作,还挺酷的。我们在横滨的一个仓库里面连续调试了很多次,到最后我心里就只剩一个感觉——太吵了。

 

  我是一个挺喜欢安静的人,尤其喜欢那种意境悠远、充满禅意的中国传统音乐。所以从那时起,我就在想:有没有可能打造一支具备中国特色、能演奏中国传统音乐的乐队呢?

 

  回国工作几年之后,我和几位志同道合的朋友开始认真研究这个问题。

 

  我们从“音乐”入手:什么样的乐器适合机器人演奏?通过走访调研很多音乐演奏者,我们最终确定了三件乐器:竹笛、排鼓、箜篌。

 

 

  尤其是箜篌(图右),它有一千多年的历史。在敦煌壁画上,我们可以看到大量关于箜篌演奏的画面——盛唐时期它达到了巅峰。可是特别遗憾,在宋末元初,这件乐器渐渐失传了,很长时间,我们再也没能听到箜篌的声音。

 

  直到上世纪80年代,在国内很多致力于恢复这件乐器的音乐家的努力下,它才再一次出现在舞台上——这是一件很让人兴奋和欣慰的事情。可是直到今天,全国能够演奏箜篌的专业人士也寥寥无几。

 

  所以,我们团队从最开始觉得“让机器人演奏乐器这件事很酷”,慢慢变成觉得“传承中国音乐文化是一种使命”。当我们确定了这几件乐器并了解了它们特点之后,脑海中也大概浮现出了机器人乐手应该具有的形象。

 

 

  比如演奏笛子的这一位,他应该是一个侠肝义胆、飒爽英姿的形象。我们通过反复的设计、迭代、测试、加工,最终呈现在大家面前的就是这样。他的名字叫“玉衡”,身高有两米多。特别值得一提的是,他的造型和结构完全出自清华美院一位青年雕塑家之手——大家可以看到下方的甲片,上面的纹饰都是用雕刻刀一刀一刀雕出来的。据我所知,这可能是中国第一个由雕塑家打造的机器人。我觉得只有传承千年的工艺打造出来的质感,才能与我们想要传达的机器人中国风乐队的意境和调性相契合。

 

 

  演奏箜篌的机器人叫“瑶光”,她应该是一个温柔贤淑的女子(图右)。大家可以看到,她的双手非常纤细和灵巧;而在这样纤细的手臂里面,我们藏了大量的驱动和传动机构,来实现外观优美、功能精细的目标。

 

  在这张照片中,玉衡和瑶光同框了。我们也做了很多创新的设计,比如他们身上的服装就出自清华美院服装设计专业的同学之手。

 

 

  演奏排鼓的这一位,它看起来不太像一个人——它有四只手臂可以同时击鼓。它的创作灵感来自古代的神兽,它也有自己的名字,叫“开阳”,是一个热情奔放、但有时候又会皮一下的形象。

 

  事实上,“玉衡”、“瑶光”、“开阳”这三位乐手的名字来源于中国的北斗七星,是北斗七星位于勺柄上的三颗星星的名字。

 

  可能大家会觉得,我在介绍这三个机器人的时候特别有感情——确实是。不光是我,我们团队的每一个人,经过这么长时间和机器人在同一个屋檐下生活,都变得对他们特别有感情,甚至晚上睡觉都会梦到他们。

 

  现在有一个流行的词叫做“C位出道”。当机器人乐手马上要上舞台演出的时候,我们既是他们的家长,同时又是他们的粉丝,特别希望他们也能够“C位出道”。

 

 

  所以我们为他们设计了很精美的舞台美术风格,这是用多媒体投影呈现的配合舞台效果的素材。

 

 

  还有这张,是通过竹林的元素来烘托一种笛声悠扬的意境。

 

  当然,让这样一个美妙的梦想变成真实,除了艺术家和设计师的努力,也少不了科学家和工程师的支持。我们有一个很强大的机器人科学家和工程师的团队,他们保障了这个庞大项目的顺利进行——从最开始的想法、设计、图纸,到最终呈现在观众面前,还要解决很多现场问题。

 

 

  这三位新手演员,第一次上台总会有点紧张,可能会出些紧急状况。我们的工程师团队,就需要随时帮助他们恢复到最佳的演出状态。

 

 

  通过我刚才的介绍,大家可以看到,“墨甲乐队”是一个特别交叉的、需要很多学科一起完成的项目。我们团队里面有音乐家、雕塑家,还有负责舞台美术和服装设计的设计师,我们甚至还请到了孟京辉工作室的演员来进行现场的表演指导。当然在这背后还有一个庞大的机器人科学家和工程师的团队,最终保障了世界上第一支中国风机器人乐队表演的成功。

 

  这是演出中的一段现场的视频。可以看到,除了机器人合作表演,还有一位演员和他们进行互动。

 

 

  这位演员来自清华大学未来实验室,是一位在读的博士生。他所扮演的小墨,在故事里是这几个机器人的创造者。在上台前的最后一刻,他还在跟箜篌演奏者瑶光进行交流,让她保证自己已经达到了演出前最好的准备状态。

 

  大家可以看到,机器人演奏的水平是很高的。其实我们这场演出,想传达给大家的不仅仅是机器人演奏能力,更多的还是对于人与机器人,还有艺术之间关系的一种思考。

 

  在演出结束之后,曾经有很多人问我:你们最开始怎么想到让机器人演奏中国音乐的呢?

 

  其实,最早我们完全是出于一种觉得“做这件事好酷”的想法。可是通过这么长时间的与艺术家和音乐家的合作、对中国文化的不断探索,我们的想法也有了很多的变化。我现在更想用这句话来回答这个问题——

 

 

  不久前,我访问了美国麻省理工学院的媒体实验室,他们未来歌剧实验室的主任托德•麦克弗(Tod Machover)教授,看了我展示的Z-Machines乐队和“墨甲乐队”。他很欣喜地跟我说,还是更喜欢“墨甲”。我觉得这不仅仅是对机器人表演技术的肯定,更多的是对中国文化魅力的肯定。

 

  其实中国有很多很优秀的传统文化,不仅仅有音乐,还有传统的手工艺。我们也尝试将科学和中国的传统手工艺相结合,创造出一些创新的、有趣的新作品。

 

  

这个作品叫做《木兰》,它是一个动态的刺绣作品。

 

  如果大家仔细观察,会发现屏幕里的花瓣会慢慢地绽放。“花开”在中国文化里面是很吉祥的一种寓意,我们常常说“花开富贵”,所以很多传统的工艺都会去表现花。但一旦制作完成,它就会静止在那,需要你去想象花开的那一个刹那。

 

  那么,有没有可能将“盛开的感觉”制作出来?

 

  我们进行了尝试,并最终取得了成功。

 

  我们是怎样做到的?

 

 

  这是被列为中国非物质文化遗产的湘绣技艺。其中有一种特别特殊的绣法叫做“立体绣”,是用很细的铁丝作为骨架,在上面进行绣片和绣法,可以部分或者完全地呈现出绣面立体感。

 

 

  我们用了一种很神奇的材料叫“形状记忆合金(SMA)”,用它替换了传统绣法里用于做骨架的细金属丝。这种材料有一个很有趣的特性:一旦塑形,不管怎么揉、掰、折,只要加热(有一点温度),它就会恢复到最开始记忆的形状。正是这个特性,使我们可能做到动态花瓣的效果——通过简单的电路控制,就可以实现花瓣的动态运动。

 

  经过工艺筛选和技术控制,最终呈现出了木兰花开的效果。

 

  在最终的作品里面,我们还利用多媒体影像的方式加入了一只小蝴蝶,呈现了一种蝶恋花的意境。大家可以看到,将新材料技术和传统手工艺相结合,我们能创造出一种新的工艺的表达方式,让花瓣可以在你眼前绽放盛开——就像有了灵性一样。

 

  其实可以拥有灵性的,远不止这些手工艺品。我们还在尝试,让更多材料也具有灵性。

 

 

  这件作品的名字叫做《鉎命》。注意,“鉎”字并不是一个错别字,它确实带一个金字旁。

 

  其实它的创意来自“水”——“水”在中国传统文化里是很重要的元素,我们常说“上善若水”,或者说“仁者乐山,智者乐水”。

 

 

  当然,在其他很多文化里面,“水”也是很重要的。比如,这几张图片,分别来自《大鱼海棠》、《千与千寻》和《终结者》,它们都将水或者液体的形象幻化出了生命的意象。

 

  几年前,清华大学刘静教授领导的团队在国际上首次发现了一种神奇的材料:一种液态金属,在特定条件下可以通过电场控制改变自身的形状,就像是软体生物动起来了。

 

 

  我们和刘教授的团队合作,通过交互设计,给原本没有生命的金属赋予了性格,让人觉得有生命感。

 

  比如左边这个,这些液态金属软体生物看起来很害羞,人靠近的时候它会藏起来;而右边这个,它很好奇,当有人接近的时候,它反而愿意出来去一探究竟。

 

  大家可以看到,科学和艺术的结合让原先我们觉得“不可能有生命”的形象变得活灵活现,就像有了灵性。

 

 

  不管是《鉎命》还是《木兰》,当然也包括“墨甲乐队”,我想跟大家分享的是:艺术很酷,科学也很酷。当艺术碰到科学,在传统文化的滋养之下,可以盛开出美丽的花朵。我们在尝试给这些传统的艺术、传统的手工艺、传统的形象赋予一种灵性,也相信未来通过艺术和科学的结合,可以打造出一个“万物有灵”的世界。

 

  谢谢大家。

 

 

演讲嘉宾米海鹏:《新技术如何让机器人弹箜篌,让刺绣木兰绽放?》