新华社香港7月17日电? 题:人机交互音乐会:唱响不一样的《东方之珠》
新华社记者 陆敏
“小河弯弯向南流,流到香江去看一看……”
歌声响起处,大屏幕上五彩斑斓的3D音画随着旋律“起舞”,晶莹欲滴的珠子不断幻变出城市、海港、船帆,还有月色和灯火,水母在玫瑰色的天空中游弋,巨大的海浪卷出彩虹……
一场别开生面的音乐会14日在香港大会堂音乐厅举行,担任指挥的是香港浸会大学交响乐团音乐总监潘明伦。在真人乐团的现场伴奏下,300多个虚拟人声合唱一曲《东方之珠》,配上由人工智能为歌曲创作的3D音画,瑰丽奇幻,气势恢宏。
人工智能专家、浸会大学副校长郭毅可接受新华社记者专访(7月11日摄)。新华社记者 吴晓初 摄
“这应该是全球首场同类的人机合作表演。”人工智能专家、浸会大学副校长郭毅可说,“人和机器共同创作和完成一个艺术作品,我们做到了。”
这是浸会大学“香港人机共生艺术创造平台技术建设”项目拿出的第一份成绩单。这一项目去年获得香港特区政府拨款5200多万港元,开展为期5年的艺术科技研究。
组建人工智能“合唱团”
今年是香港回归祖国25周年,项目团队首先想到了歌曲《东方之珠》。“用人机交互的方式进行再创作,以此送上我们的祝福。”负责该项目的郭毅可说。
第一个挑战是“组建”320个虚拟歌手组成的人工智能“合唱团”。
通过收集专业歌手的录音歌曲,他们提取和分解了声乐的主要特点,开发了声乐的生成模型,成功创建了一个四声部的合唱,同时通过8个人的人声采样,生成320个具有全新音色的虚拟歌手,“组建”成团。
虚拟歌手们开始“唱”得并不好,会唱错、唱不上高音甚至破音跑调。“声音就是频率,教它们学唱歌不算太难,就是需要不断地通过调整频率进行改善。”郭毅可说。
在彩排中,香港浸会大学交响乐团音乐总监潘明伦身上多处绑着传感器,他不时与台下的技术团队进行沟通(7月11日摄)。新华社记者 吴晓初 摄
第二个挑战是表演时的人机互动。在舞台上,指挥和乐团是真人,虚拟歌手们要学会“听”指挥的指令,做到与交响乐团的现场演奏无缝衔接,而这并非易事。
记者在彩排现场看到,指挥潘明伦脱去了西装,他的腰上、肩上、手臂和手腕处都绑着装有传感器的绑带,他不时停下指挥,与台下的技术团队进行沟通磨合。
传感器的作用是把指挥的肢体动作“同声传译”给人工智能合唱系统。“难点也在于此,指挥的手势不是固定的,需要有个模糊逻辑让系统学习。开始挺乱的,现在越练越好了。”郭毅可说。
经过长达半年的科研攻关和人机磨合,浸大的人工智能合唱团成功地完成了与真人交响乐团的合作。
人工智能眼里的“东方之珠”
最大的突破来自人工智能的“创作”。配合歌曲意境,人工智能自主创作的3D音画,用天马行空的想象力和表现力向人类描述了它眼中的“东方之珠”。
在这段时长约4分钟的3D音画里,人工智能共生成近3000张图像,且画面之间逻辑顺畅,并与《东方之珠》的歌词和旋律相匹配。“根据歌词内容不断变化,动态生成各种场景。镜头设计了一个虚拟的飞行视角,其速度和高度随旋律而变化,音量高就飞得高;节奏快,速度也会加快。”郭毅可说。
香港浸会大学交响乐团乐手在彩排中演奏(7月11日摄)。新华社记者 吴晓初 摄
刚开始的时候,团队只是让人工智能根据歌词生成一幅幅画,将它们简单连接。随着探索的深入,他们开始尝试让人工智能“创作”三维视频。“这需要对歌词内容系统地理解,而且逻辑必须连贯,并且自动生成。这个时候我们的创新就开始了。”郭毅可说。
要做到这一点,首先要让机器学会理解歌词的文字内涵,人“教会”机器了解一些相对应的关系,比如香江代表着香港,“珠”的意象要成为贯穿音画的主线等,在此基础上让机器自主想象,自行创作。而在机器完成创作后,具备不具备美感和意义则需要人来反馈,并帮助它修正。
“这就是人机交互的创作。”郭毅可说,“我们开发了一个人工智能驱动的媒体艺术家模型,‘东方之珠’音画是我们向超级人工智能艺术家目标迈出的重要一步。”
让科技赋能艺术
在以往的人工智能艺术创作中,一个传统的思路是机器模仿人。郭毅可对此并不认同。他认为,在艺术创作领域,人工智能有自己独特的创造能力。随着人机交互技术的进步,它的创作可以跟人不一样,也可以被人理解和欣赏,并可能随着人对美学的需求而不断改进。
“科学上的突破往往最先来自于观念,我认为我们中国人有这个能力,不在人家的话语体系里转圈圈。我们这次的创新在于理念变了,由此找到了新的突破点。”郭毅可说。
人工智能专家、浸会大学副校长郭毅可(右二)在彩排现场(7月11日摄)。新华社记者 吴晓初 摄
《东方之珠》音画第一版,整个图像投影在一颗珠子上,然后珠子一层层打开,到“流到香江去看一看”时,突然幻变成了一朵紫荆花。“我们都惊呆了,‘香江’的概念居然会以一朵紫荆花的形态展现,非常奇妙,这就是机器的创造力。”他说。
如果相信机器能够创造,那么未来的艺术会是什么样?这个问题令郭毅可和他的团队兴奋。郭毅可认为,科技赋能艺术,人机达成更多的互动与交流,为艺术的发展带来全新的可能。
下一步,人机互动要向更深层次探索,比如连接意识、情感。“我们可以把美感编码,让机器认识美感,然后让美感成为它创作的一部分,这是我们研究的一个重要方向。”郭毅可说。
郭毅可希望将来能人机合作创作一部歌剧,将编、导、演、唱集成展现。“探索无止境,没有什么是不可能的。”他说。