作者:wheart.eth
图片来源:由无界版图AI工具生成。
最近一年,随着AIGC技术的发展壮大,越来越多的人感受到了它的恐怖之处。AI降低了创作门槛,使每个普通人都有机会展现自己的创造力,做出不输专业水平的作品。但是就在全民AI作图的进程中,艺术家好像与其站在了对立面。
以StableDiffusion和Midjourney为代表的业内巨头经常受到艺术家们的集体抵制!究其原因无非两点:一是这些模型在未经允许的情况下使用艺术家的作品进行训练,做出的图片与艺术家风格极其类似,涉嫌侵权;二是某些传统艺术家认为,AI只是对图片进行简单的拼接,不能算是艺术,它的滥用导致艺术市场震荡,出现“劣币驱逐良币”的现象。
综合来看,现在的AIGC市场就像一个怀揣着炸弹的巨人,外表看过去非常强大,但是内部有尚未解决的致命威胁,如果这个威胁不解除,行业发展终究受限,本文将详细聊聊出现这种情况的前因后果,并给出可能的解决方案。
最近越来越多的画家发现,StableDiffusion等AIGC模型使用的数据集里有自己的作品,并且这里不乏作者经过数十年的摸索形成的具有自己独特的风格画作,现在人们可以利用AI几秒钟生成相同风格的内容,这对艺术家来说显然是不公平的。
这引发了艺术家非常严重的担忧:他们自己的艺术正在被用来训练一个有朝一日可能会影响他们生计的计算机程序。更急迫的是,任何使用StableDiffusion或DALL-E等系统生成图像的人都拥有对生成图像的版权和所有权。一位插画师对此解释道:人们会使用AI生成图书封面、文章插图等内容,这将威胁他们的生计,毕竟站在购买者视角,当你可以免费在1000张图里挑来挑去时,为什么要付1000美元给创作者?况且这些都是在艺术家不知情的情况下进行的。
证监会科技监管局局长姚前:重点发展基于AIGC技术的合成数据产业:3月7日消息,证监会科技监管局局长姚前在《中国金融》撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。在强化数据要素优质供给方面,应统筹兼顾自立自强和对外开放。可考虑对Wikipedia、Reddit等特定数据源建立过滤后的境内镜像站点,供国内数据处理者使用。
国家相关部门应对大模型训练数据的处理和使用标准进行统一规范;建立数据托管机制,对数据托管方进行约束,要求数据托管方按照监管机构的规定对数据来源、处理结果以及使用去向等进行监测,从而使得模型的输入、输出结果符合监管要求。[2023/3/7 12:46:29]
对于这个问题,StabilityAI创始人兼首席执行官EmadMostaque表示,艺术只是StableDiffusion背后的LAION训练数据的一小部分,艺术类图片占数据集的比例远低于0.1%,并且只有在用户选择调用时才会创建。但是一些搜索工具收集的数据表明,在世艺术家的很多画作都在数据集之中,几千张画作的情况并不少见。
技术是原罪?
这个问题的出现不是偶然,而是必然,也是AI发展无法绕开的问题,要想详细了解缘由,我们或许可以通过AIGC技术原理与发展路径窥探一二。
AIGC是利用人工智能技术来生成内容。2021年之前,AIGC生成的主要还是文字,而新一代模型可以处理的格式内容包括:文字、声音、图像、视频、动作等等。AIGC被认为是继专业生产内容、用户生产内容之后的新型内容创作方式,可以在创意、表现力、迭代、传播、个性化等方面,充分发挥技术优势。2022年AIGC发展速度惊人,年初还处于技艺生疏阶段,几个月之后就达到专业级别,足以以假乱真。
2014年提出的“对抗生成网络”GAN。
GAN的基本原理其实非常简单,这里以生成图片为例进行说明。假设我们有两个网络,G和D。正如它的名字所暗示的那样,G是一个生成图片的网络,它接收一个随机的噪声z,通过这个噪声生成图片,记做G(z)。D是一个判别网络,判别一张图片是不是“真实的”。它的输入参数是x,x代表一张图片,输出D(x)代表x为真实图片的概率,如果为1,就代表100%是真实的图片,而输出为0,就代表不可能是真实的图片。在训练过程中,生成网络G的目标就是尽量生成真实的图片去判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样,G和D构成了一个动态的“博弈过程”。最后博弈的结果是什么?在最理想的状态下,G可以生成足以“以假乱真”的图片G(z)。对于D来说,它难以判定G生成的图片究竟是不是真实的,因此D(G(z))=0.5。
动态 | 美国财政部长前助手Craig Phillips将加入Ripple董事会:曾担任美国财政部长Steven Mnuchin高级助手的Craig Phillips将加入Ripple董事会,这家数字转账公司正在关于虚拟货币的审查加强之际,扩大其在华盛顿的影响力。(彭博社)[2019/10/22]
这样我们的目的就达成了:我们得到了一个生成式的模型G,它可以用来生成图片。
但是GAN有三个不足:一是对输出结果的控制力较弱,容易产生随机图像;二是生成的图像分别率较低;三是由于GAN需要用判别器来判断生产的图像是否与其他图像属于同一类别,这就导致生成的图像是对现有作品的模仿,而非创新。因此依托GAN模型难以创作出新图像,也不能通过文字提示生成新图像。
GAN技术原理
在2021年,OpenAI团队将跨模态深度学习模型CLIP进行开源。CLIP模型能够将文字和图像进行关联,首先收集4亿未清洗的图像+文本pair的数据集,进行预训练以完成任务。用对比学习目标进行训练:分别对图像和文本编码,然后两两计算cosine相似度,再针对每个图片的一行或文本的一列进行分类,找出匹配的正例。每个图像都有32,768个文本候选,是SimCLR的两倍,负例个数的增多也是效果好的原因之一。在预测时也很简单,找一个图像分类的数据集,把label转为自然语言,比如“狗”可以转为“一张狗的照片”。再用预训练好的编码器对label和图像编码,再去计算相似度即可。
算法的总体过程可以总结为:输入图片,预测在32768个随机采样的文本片段集中,哪一个实际上与数据集配对。因为是文本描述不是具体的类别,所以可以在各种图像分类任务上进行zero-shot,其中Zero-Shot是一种迁移学习,描述一只斑马,可以用“马的轮廓+虎的皮毛+熊猫的黑白”,生成新的类别,普通的有监督分类器都可以将马、老虎、熊猫的图片正确分类,但遇到没有学习过的斑马的照片却无法分类,但是斑马却和已分类的图像有共同点,可以推理出这一新的类别。
动态 | 黑客Paige A. Thompson因窃取机构数据和非法挖矿而被起诉:据databreachtoday报道,黑客Paige A. Thompson因涉嫌窃取至少30家机构数据,并利用被入侵的服务器挖矿,目前已被起诉。[2019/8/29]
所以思路就是:设置类别更细粒度的属性,以建立测试集与训练集之间的联系。比如将马的特征向量转换到语义空间,每一维代表一个类别的描述,,熊猫就是,这样定义一个斑马的向量,通过对比输入图片的向量与斑马向量之间的相似度就可以进行判别。
因此,CLIP模型具备两个优势:一方面同时进行自然语言理解和计算机视觉分析,实现图像和文本匹配。另一方面为了有足够多标记好的“文本-图像”进行训练,CLIP模型广泛利用互联网上的图片,这些图片一般都带有各种文本描述,成为CLIP天然的训练样本。据统计,CLIP模型搜集了网络上超过40亿个“文本-图像”训练数据,这为后续AIGC尤其是输入文本生成图像/视频应用的落地奠定了基础。
CLIP技术原理图
随后出现的Diffusion扩散模型,则真正让文本生成图像的AIGC应用为大众所熟知,也是2022年下半年StableDiffusion应用的重要技术内核。
扩散模型的灵感来自于非平衡热力学。定义了一个扩散步骤的马尔可夫链,慢慢地向真实数据中添加随机噪声,然后学习反向扩散过程,从噪声中构建所需的数据样本。
DiffusionModels技术原理图
前向过程是不断加噪的过程,加入的噪声随着时间步增加增多,根据马尔可夫定理,加噪后的这一时刻与前一时刻的相关性最高也与要加的噪音有关
动态 | Craig Wright博士推出改变游戏规则的Metanet:据coincryptorama消息,nChain首席科学家Craig Wright推出Metanet项目。该项目本质上是一个商品分类账,旨在把所有东西都放在一个区块链中,它将改变游戏规则,目的是要创建成互联网的替代品,使互联网成为一个副链。[2018/12/2]
逆向过程是从一个随机噪声开始,逐步还原成不带噪音的原始图片——去噪并实时生成数据。这里我们需要知道全部的数据集,所以需要学习一个神经网络模型来近似这些条件概率,来运行反向扩散过程。
DiffusionModels逆向过程
Diffusion模型有两个特点:一方面,给图像增加高斯噪声,通过破坏训练数据来学习,然后找出如何逆转这种噪声过程以恢复原始图像。经过训练,该模型可以从随机输入中合成新的数据。另一方面,StableDiffusion把模型的计算空间从像素空间经过数学变换,降维到一个可能性空间的低维空间里,这一转化大幅降低了计算量和计算时间,使得模型训练效率大大提高。这算法模式的创新直接推动了AIGC技术的突破性进展。
AIGC相关深度学习模型汇总
漏洞!
通过以上算法简介大家也可以明白,AIGC本质上就是机器学习,既然是这样,那就无法避免使用大量的数据集执行训练,在这之中确实存在损害图片版权者的利益。
虽然我们都知道这种情况的存在,但是仍然很难解决。
对于艺术家来说,虽然认为这些平台侵害了自己的权益,但是现在仍没有完善的法律规定此类侵权行为,甚至在某些法律条文中,这种行为是合法的。
声音 | Craig Wright:比特币提供了监督政府支出并追究其责任的方法:nChain首席科学家Craig Wright发推特称,比特币作为一种透明的、不可改变的分布式账簿,提供了监督和报告所有政府支出并追究其责任的方法。[2018/9/13]
一方面,AIGC难以被称为“作者”。著作权法一般规定,作者只能是自然人、法人或非法人组织,很显然AIGC不是被法律所认可的权利主体,因此不能成为著作权的主体。但AIGC应用对生成的图片版权问题持有不同观点,图片属于平台、完全开源还是生成者,目前尚未形成统一意见。
另一方面,AIGC产生的“作品”尚存争议。传统意义上的作品是指文学、艺术和科学领域内具有独创性并能以某种有形形式复制的智力成果。AIGC的作品具有较强的随机性和算法主导性,能够准确证明AIGC作品侵权的可能性较低。同时,AIGC是否具有独创性目前难以一概而论,个案差异较大。
即使现在把自己的作品从数据集中删除也无法阻止自己风格作品的生成,首先,AI模型已经过训练,对应风格已经掌握。而且,由于OpenAI的CLIP模型,用户仍然可以调用特定的艺术风格。
对于AI项目方来说,让数据集每张图片都得到授权是不现实的,如果此类法案通过,那么AI行业的发展将受到很大的阻碍,或许是灭顶之灾。所以我们需要一个折中的方案。
方案?
首先我们来分析一下AIGC行程的创作闭环:
在创意构思方面,AIGC构建了新的创意完善通路,传统的创作过程中消化、理解以及重复性工作将有望交由AIGC来完成,最终创意过程将变为“创意-AI-创作”的模式。
在创意实现方面,创作者和AIGC的关系类似于摄影师和照相机。摄影师构建拍摄思路并进行规划,对相机进行参数配置,但是不用了解相机的工作机制,一键生成高质量的内容。同样的,创作者构思并进行规划,对AI模型进行参数配置,不需要了解模型的原理,直接点击输出内容即可。创意和实现呈现出分离状态,实现过程变为一种可重复劳动,可以由AIGC来完成,并逐步将成本推向趋近于0。
所以这里有两个大主体:创作者和AIGC。创意重要,创作同样也重要,AI做出的图片是创作者的“创意版权”,是AIGC或者说采用艺术家风格的“底层创意/创作版权”,两者都应该对生成内容享有权益,现在的情况就是少了艺术家的那份收益。
其实艺术家并不是不让AI学习他们的画作,只是也想在其中得到相应的收益,所以只要这份设计得到艺术家的承认,AIGC的漏洞就得以修复。
创作者的成果是AIGC学习的对象,但创作者的创意才是关键,创意本身比AIGC生成的绘画更有价值,因此如何将创作者的“创意”进行量化,甚至定价,将有助于打造AIGC的商业模式。这其中“注意力机制”将成为AIGC潜在的量化载体。例如有机构专家提出,可以通过计算输入文本中关键词影响的绘画面积和强度,我们就可以量化各个关键词的贡献度。之后根据一次生成费用与艺术家贡献比例,就可以得到创作者生成的价值。最后在与平台按比例分成,就是创作者理论上因贡献创意产生的收益。
例如某AIGC平台一周内生成数十万张作品,涉及这位创作者关键词的作品有30000张,平均每张贡献度为0.3,每张AIGC绘画成本为0.5元,平台分成30%,那么这位创作者本周在该平台的收益为:30000*0.3*0.5*=3150元的收益,未来参与建立AI数据集将有望成为艺术家的新增收益。
但是以上设计也有缺陷,因为AI并不完美,并不是每张图片都有价值,所以这里优化方案可以是生成时不向艺术家付款,而有满意的内容想要下载时,才需要支付相应的费用。这也与传统的艺术创作领域流程相似,甲方下单,乙方提供满意的作品时,甲方支付所有款项。
为了让流程更加合规,更完美的做法是首先向全球艺术家公开风格库,每个艺术家都可以选择是否将自己的作品内容加入训练集图库中,如果加入则可以在其他用户创作对应风格时获得相应收益,这也是在另一方面为艺术家寻求新的收益途径。在市场上“侵权”行为如此多的背景下,此“正版授权”图库定会受到艺术家群体的支持,这种模式才更类似于正向循环,也是更良性的模式。
Web3?
Web3一直在强调“创作者经济”,这与AIGC想要解决的问题不谋而合,利用区块链技术,完全可以打造一个围绕AIGC的生态网络。
创作者通过AICG的赋能,加上Web3模式下的经济模型,可以将自己的创意和影响力进行指数级的放大。也让更多的人能实现从消费到参与、从用户到所有者的转变。同时艺术家可以得到他赢得的收益份额,达到一个双赢局面。
其实Web3+AI并不是一件新鲜事,生成式艺术NFT领军者ArtBlocks就是一个成功的应用案例。
ArtBlocks是一个生成随机艺术品的平台。它是由ErickSnowfro在2020年推出,是一个专注于可编程、生成性内容的平台,其生成的内容在以太坊区块链上是不可改变的。那么「随机艺术品」是如何随机的呢?这个随机过程是受一串数字控制的,这串数字存储在以太坊链上的一个非同质化代币上。之后这个代币所存储的数字串控制你所购买艺术品的一系列属性,最终生成属于你的独一无二的艺术品。
如果你是一个买家,比较看好某个艺术家的风格,然后支付后开始铸造,算法生成随机的同风格的艺术品就会被发送到你的账户中,以代币的形式存在,最终的作品可能是静态图像、3D模型或交互式的艺术品。每个输出都是不同的,并且在平台上创建的内容类型具有无限种可能性,但每个项目可铸造的艺术品的数量是一定的,也就是说一旦铸造满了,这个项目就不会有新的作品生成了。
对于创作者:他们需要预先在ArtBlocks上调整和部署好自己的生成艺术脚本,并确保它的输出结果与输入的哈希值有关。这个脚本会通过ArtBlocks存储在以太坊链上。
对于收藏者:当收藏者铸造某一系列的作品,他们实质上获得了一个随机的哈希值,然后脚本执行,一副对应这个哈希值的生成艺术作品当场被创作出来。
这种模式让收藏者也参与了生成艺术的创作。
这副作品的内容,实际上是由原艺术家的风格、生成算法和你的铸造时机三者决定。工具、创作者和买家联合完成了这样的作品,这种新的NFT创作模式让这幅艺术品拥有了更多的纪念价值,留下了当下最新技术的印记。
和购买主流的NFT头像项目不同,在ArtBlocks上购买NFT更像是在直接支持一位艺术家——这些艺术家往往是实名的,有大量的历史作品,并且ArtBlocks会对他们进行作品相关的深度采访。ArtBlocks上初次出售的NFT,艺术家可以获得90%的收入,剩下的10%分给ArtBlocks。
所以大家可以发现,ArtBlocks简直是给AIGC开辟了一条“康庄大道”,当然这条路并不完能粘贴复制,但是在细节方面对其修改完全可以成为AIGC+Web3的商业闭环!而且现在也已经有项目在做类似的事情。
正是因为有那么多先行者探路,我们有理由相信AIGC将会走的越来越远,现在的缺陷也将慢慢修补完善。
YFI是近期DeFi项目中出现的一个妖币,在没有ICO、预挖、公募、团队份额,甚至连创始人自己都没有代币奖励的情况下,创造了上市后最高涨幅32000%的市场奇迹.
1900/1/1 0:00:00空投猎人旨在通过推测潜在的空投并提前埋伏来赚钱。虽然这种策略可以带来高额利润,但也会带来财务风险和道德问题。空投是一种真正仅限加密的现象,涉及向协议和平台的早期采用者分发加密代币.
1900/1/1 0:00:00据墨西哥当局报道,拉丁美洲的犯罪组织使用加密资产进行的活动有所增加。在路透社12月8日的一份报告中,墨西哥财政部金融情报部门的负责人SantiagoNieto描述了卡特尔贩集团如何使用加密.
1900/1/1 0:00:00一些信徒失去了信心,另一些人则指责魔鬼——还有一些人走得更艰难,在这篇文章中探讨区块链预言失败后会发生什么。2021年初的一天,我的老朋友乔治给我打了电话.
1900/1/1 0:00:00自2020年上线主网,次年升级品牌以来,Polygon已成为了现实世界企业采用的首选区块链网络.
1900/1/1 0:00:00哥伦比亚当地时间10月12日,在由MantaNetwork主办的ZKHouse第二日活动中,斯诺登针对隐私问题发表主题演讲.
1900/1/1 0:00:00