木星链 木星链
Ctrl+D收藏木星链

CEL:一张照片生成 3D 头像!苹果新模型击败 StyleGAN2,表情光线都能调

作者:

时间:1900/1/1 0:00:00

来源:量子位

随便一张照片,就可生成3D头像。而且光线真实,任意角度可调。

这是苹果的最新黑科技生成框架FaceLit。

正如其名,FaceLit的特色就是可以将人脸“点亮”。

“自带光环”的FaceLit在易用性上也不输同类,甚至更胜一筹——

进行3D建模时,需要的照片素材无需专门选择角度,数量上也只需一张。

甚至对表情、发型、眼镜等元素进行调节时,也不需要额外素材。

而传统的头像合成工具或者需要多张图片才能工作,或者对照片角度有刁钻的要求。

正是凭借这一创新,FaceLit获得了3.5的FID评分,较同类产品直接高出了25%。

改进式EG3D合成人像,光线信息单独处理

下面就来看一下FaceLit具体是如何实现头像合成的。

深圳开出第一张区块链代理出口货物证明:7月26日消息,24日深圳地区开出了全国第一张基于区块链技术的“代理出口货物证明”,这是区块链技术在出口退税领域的首次应用,标志着深圳市税务局圆满完成了税务总局证明类业务区块链上链的试点任务。(凤凰网)[2021/7/26 1:16:00]

总的来说,苹果采用了将人物本体与光线分别处理再进行叠加的策略。

早期的三维人像合成工具在转换过程中可能产生形变。

而爆火的NeRF通过将场景拆分成具体因素,提高了3D图像合成效果,改善了这一问题。

但苹果团队认为,在可控性方面,NeRF仍存有不足之处。

于是,在EG3D框架的基础上,苹果创造了FaceLit的合成模型。

EG3D通过三平面解码器,赋予了二维卷积神经网络生成渲染3D模型所需深度参数的能力。

苹果团队对标准的EG3D训练方式进行了扩展,并将之转化成了FaceLit框架。

Visa批准第一张用于消费比特币的实体借记卡:7月14日消息,悉尼科技大学的两位伙伴创建的一家初创公司已说服全球信用卡巨头Visa批准发行实体借记卡,该借记卡将允许CryptoSpend应用程序的用户通过在商店和酒吧中花费他们的比特币交易利润在现有的支付终端上。这是第一次可以使用在澳大利亚发行的借记卡支付加密货币,该借记卡运行在其中一个国际卡计划的网络上,并突出了Visa和万事达卡的全球举措,使比特币及其他数字货币更容易用来支付日常用品。(Financial Review)[2021/7/14 0:50:19]

△FaceLit与传统EG3D渲染流程对比图

标准的ED3G使用相机位置p参数作为基本输入参数。

在建立GAN2操作时,苹果在EG3D的基础上加入了光照参数l。

不同p(左→右)与l(上→下)值下的初始图像

国内第一张数字银行卡已经正式发行:8月15日,国内第一张数字银行卡已经正式发行。经中国人民银行营业管理部批准,百信银行通过虚拟发卡系统发行的首张数字银行卡正式亮相。据悉,这张由中国银联和百度公司、百信公司三方共同推出的银行卡,同时集合了借记卡和贷记卡的功能于一身,申请时就可以获取几千元到五万元不等的额度。由于该银行卡没有实体卡片,完全存在于数字网络中,因此在安全上也采取了更多的防范措施。(财华社)[2020/8/20]

苹果选择了经过球形谐波方式简化后的Phong反射模型作为处理光源的物理基础。

光照参数l就是在这一基础之上独立处理得到的。

在自然界中,反射包括镜面反射和漫反射两种形式。

△不同镜面反射率条件下的效果对比

因此,苹果在ED3G模型中加入了镜面反射解码器和漫反射解码器。

动态 | 全国第一张医保电子凭证诞生 未来将加入区块链技术:据新浪财经消息,11月24日,全国医保电子凭证首发式在山东省济南市举行。在发布式现场,济南诞生了全国第一张医保电子凭证。医保电子凭证由国家医保信息平台统一生成,标准全国统一,跨区域互认。未来还将加入5G和区块链等技术,继续推进医保治理体系和治理能力现代化。[2019/11/24]

它们替代了可以直接得到颜色c、密度σ数据的三平面解码器。

△反射解码器流程示意图

通过对GAN2产生的数据进行再次解码,可以得到镜面反射率ks和漫反射率kd。

然后再通过两种反射着色器得到颜色c,密度σ则由漫反射解码器计算得出。

最终,FaceLit以与三平面解码器相同的参数渲染图像,并进行分辨率优化。

有的放矢设计训练策略,数据无需人工标注

动态 | 招商基金开具基金业第一张区块链电子发票:据新浪财经报道,近日,招商基金在为客户办理基金购买业务后,成功为客户开出了基金行业首张区块链电子发票。这标志着,深圳市税务局区块链电子发票试点范围由零售、银行、餐饮、物业、游戏行业扩大至基金行业。招商基金是首批通过招商银行代理接入服务接入深圳市区块链电子发票平台的金融机构,也是全国首个开具区块链电子发票的公募基金公司。[2018/12/29]

生成框架已有,那就来到训练阶段,其特点在于训练过程中无需人工标注。

方法论层面,在训练时,团队使用了FFHQ、MetFaces和CelebA-HQ数据集。

对于不同的数据集,苹果使用了不同的训练方式。

FFHQ包含了7万余条人脸数据,其训练分为两个阶段:先在较低的分辨率下训练,再提高分辨率再次进行。

对于包含2万数据量的CelebA-HQ,训练不需要分阶段进行。

而对于更小的MetFAces,则只需要通过ADA扩容的方式,使用预训练的FFHQ进行优化调整即可。

定性地看,训练结果在机位、光源和反射高光等方面都有出色的表现,图中的细节也有所增强。

△FaceLit生成的头像唇齿部位的细节进行了明显重构

定量结果同样表明,FaceLit在FID、KID等指标上均优于包括标准EG3D在内的传统生成方式。

在使用FFHQ作为训练集的条件下,各生成方式的表现如下表,不难看出FaceLit拥有最低的FID和KID值。

而相比于英伟达的StyleGAN2,FaceLit的表现依旧出色:

光线准确度方面,FaceLit在使用三种不同训练数据集的情况下,与人工设定的标准值平均均方误差均低于0.01。

网友:人们低估了苹果AI

消息发出后,便有网友认为“这是对更重磅产品的预热”。

更有网友直接推测,FaceLit的出现标示着人工智能将进军AR和VR领域,苹果的混合现实将最终实现商用……

也有网友认为,FaceLit不会商用,否则苹果才不会以论文的形式发表。

针对FaceLit本身,也有网友表示,除了LLM,其他都是浮云,他们如果不开发LLM,就没有未来。

但这位网友同时也说,苹果可能已经在做了。

相应的,也有网友称人们“低估了苹果在AI领域的深度”。

所以各位网友对苹果在AI领域还有什么样的期待呢?

论文地址:https://arxiv.org/abs/2303.15437

GitHub地址:https://github.com/apple/ml-facelit

参考链接:https://twitter.com/AlphaSignalAI/status/1648361623004774400

标签:CELFACEACELITcelo币价格预测NOFACESAFESPACE币CALIT币

以太坊价格今日行情热门资讯
SUI:Sui很优秀 但没有区块也没有链 它只能是Web3世界的外围

作者:北辰上周在《Sui是下一轮的行业叙事or上一轮的末日余晖?》的文章中的观点引发的讨论比较多,本来想用一篇文章来「小心求证」,但发现是给自己挖了一个大坑,后面才是慢慢填坑的时候.

1900/1/1 0:00:00
PEN:NFT深熊之时,“胖企鹅”起死回生

NFT市场正处于最寒冷的时刻。DuneAnalytics数据显示,头部交易平台OpenSea的每日交易量已降至800万美元左右,不足巅峰期数据的2%.

1900/1/1 0:00:00
BRC:为什么推特KOL都在BRC赚钱 我一冲就亏?

近日的市场热度令人焦虑,但真的这么多人在BRC-20上赚钱了吗?纵览推特,众多KOL号称在BRC-20大赚了一笔,纷纷分享心得,目前,领涨的ORDI?单价已突破27?美元.

1900/1/1 0:00:00
LAYER:金色观察 | Bankless:再质押协议EigenLayer测试网交互指南

作者:WilliamPeaster,Bankless作者;翻译:金色财经xiaozou以太坊质押的下一个重头戏是EigenLayer,这是一种新的“再质押”协议.

1900/1/1 0:00:00
SHA:用一句话就能创造3D模型,OpenAI的AI新神器放飞你的想象力,开源哦!

来源丨元宇宙简史编写丨元宇宙简史主理人FunOpenAI近日发布条件生成模型Shap-E,可用来生成3D资产。据悉,该模型不像传统模型只是产生一个单一的输出表示,Shap-E生成隐含函数的参数.

1900/1/1 0:00:00
以太坊:以太坊坎昆升级即将来临,波卡的地位又将动摇?

背景以太坊是目前最大和最活跃的区块链平台之一,它支持了数千个DApp和智能合约,涵盖了金融、游戏、社交、艺术等各个领域。然而,以太坊也面临着一些挑战和局限,比如可扩展性、安全性、成本和效率等.

1900/1/1 0:00:00