如今,人工智能“进军”绘画领域,风格迁移技术能将一张图片变为一幅艺术风格作品,强化学习可以让AI像艺术家样一笔一笔地画出精美佳作,AI画画已成可能。前不久,上海交大人工智能研究院与文创学院共同举办了首届人工智能互动艺术展。上海交通大学人工智能研究院AI-ART项目团队,在团队负责人倪冰冰教授带领下,经过一年半的尝试,利用人工智能技术学习大量绘画知识,产生了系列AI绘画作品,挑战原本只能由人类完成的绘画领域的创造性活动。 此次展览共展出了由AI创作的50余幅运用不同人工智能技术生成的画作,其色彩、构图、笔法等得到了在场艺术家的一致认可与好评,并表示AI画画在东方绘画艺术中也可大施拳脚,定能大有所为。
倪冰冰向领导与艺术家介绍AI画作
下面让我们一探AI作画究竟
混沌初开、对抗生成
如同人类大多数艺术创作行为一样,人工智能受启发也能产生画作。人工智能从混沌中获得起始信息,将其映射生成为一幅油画。AI-ART团队使用GAN模型(生成对抗模型),对约5万张技法类似的油画(宫廷画)进行学习,通过2天左右的训练,GAN模型最终掌握了这些油画的显著特点,包括配色特点、人像特征、场景布置等。 GAN模型(生成对抗模型)是一种基于博弈论的深度生成模型,模型中有两个相互竞争的结构,即生成器和判别器。生成器学习如何产生与油画画集中的画相像的油画,判别器则负责监督生成器,判断生成器产生的油画是否符合要求,判别器自身也会学习这些油画,以便更好地做出辨认与判断。生成器不断提高自己的油画水平,试图产生以假乱真的画作来骗过判别器,判别器则不断提高自己鉴别能力。经过不断地训练,两者水平达到一定高度后,一幅油画作品便能诞生。
文字生成油画
文字生成主要是根据文字描述来画出一幅油画作品。首先,模型必须理解文字,AI-ART团队成员通过NLP分词将文字分解为物体与位置关系。对于物体,团队提出了面向单个物体的生成算法来产生对应的物体,比如苹果、香蕉等;对于难以处理的位置关系,团队提出将这些位置信息表示为一个图,例如:苹果在陶罐左前方,陶罐右边有一个香蕉,通过深度模型将图转化为模型能够理解的图像在空间中的位置,利用这个位置将产生好的物体进行归位与渲染,最终得到一幅画作。
图片转为油画
目前,市面上的图片风格化处理基本上是一组基于传统图像处理的卷积滤镜,这些滤镜最多只能在颜色和一些显著纹理上对原图进行处理。AI-ART团队提出的ASPMA-GAN模型能够实现更多的尝试,可以学习到画家画作的颜色特征、笔触特征、甚至是年代特征等。ASPMA-GAN模型也是一种GAN模型,但是它更专注于学习特定画家的作品的特征,比如:配色、笔触、甚至题材。利用这个模型,可以实现20多名画家(画家数量依赖于能拿到的画家作品的数量)风格的图片转化。
依次为原图、Nicholas Roerich、Van Gogh、Monet、Picasso
基于笔触的油画临摹、创作
Alpha Go与人类的围棋博弈曾轰动一时,该类算法目前也可以用于绘画创作领域。AI-ART团队在强化学习层面也进行了AI 绘画探索。强化学习是一种更接近人类行为的人工智能算法,它通过自我探索环境,从环境中得到奖励,不断地修改自己的行为方式或者说“策略”。团队提出的作画算法自己虚拟化了一个画板,并在这个画板上进行尝试从而得到奖励,通过奖励大小来判断自己画的对不对、好不好。团队为算法提供了大约20万张画,算法不断地去尝试临摹这些画,通过临摹结果得到的奖励来不断地改善自己的作画策略,最后确定出一套快速且高准确性地临摹一幅画的策略。整个训练过程大概需要一到两天(当然还跟硬件条件有关)。
AI创作虽然学习了人类的艺术逻辑和规则,但又不受其束缚。AI-ART项目团队认为: “这些作品中,大师的艺术风格是若隐若现的,看起来有迹可循,但却又不完全相同,每张画都是独一无二的,都有值得期待的惊喜。”
在学术层面,AI-ART团队在智能绘画创作领域的研究成果已经广泛发表于国际多媒体顶级会议ACM Multimedia 2017/2018。 对艺术而言,AI虽然暂不具有人类的想象力,但是它能通过学习数亿个图像,对其中的元素甚至是意象进行提取,创造出新的表达形式和表现内容。从这样的角度出发,未来AI能帮助人类到达以往不能企及或未能尝试的新领域,会为艺术创作、审美体验带来广阔的新前景。