STA:Stable Diffusion 团队放大招！新绘画模型直出 AI 海报，像素级生成

来源：量子位

开源AI绘画扛把子，StableDiffusion背后公司StabilityAI再放大招！

全新开源模型DeepFloydIF，一下获星2千+并登上GitHub热门榜。

DeepFloydIF不光图像质量是照片级的，还解决了文生图的两大难题：

准确绘制文字。

多链 DeFi 管理协议 Instadapp 推出智能合约钱包 Avocado:3月9日消息，多链 DeFi 管理协议 Instadapp 推出智能合约钱包 Avocado，支持多网络交易，所有网络的 Gas 以 USDC 形式支持，无需管理多个本地 Gas 代币。同时用户可利用内置帐户抽象来创建只有自己可以控制的确定性智能合约，Avocado 额外收取 20% 的 Gas 费，其中 10% 给 DApp 集成商。[2023/3/9 12:50:59]

以及准确理解空间关系。

网友表示，这可是个大事，之前想让Midjourneyv5在霓虹灯招牌上写个字AI都是瞎划拉两笔，对于镜子理解的也不对。

媒体：英国对币安的打击为Bitstamp和Kraken交易所带来新用户的增长:自从币安在英国遭遇打击后，加密交易所Bitstamp和Kraken的新用户大幅增长。Bitstamp的新用户增加了 138%，Kraken也表示过去几周来自英国的注册人数比例翻番。（CNBC）[2021/7/8 0:37:41]

使用DeepFloydIF，可以把指定文字巧妙放置在画面中任何地方。

霓虹灯招牌、街头涂鸦、服饰、手绘插画，文字都会以合适的字体、风格、排版出现在合理的地方。

Bitstamp计划将美国员工人数增至目前的三倍:金色财经报道，加密货币交易所Bitstamp周一表示，将加强其美国业务，以应对新客户和管理资产的激增。Bitstamp计划将使其共11人的美国团队增至目前的三倍，并将在2021年将客户支持提升50％。[2021/5/4 21:21:43]

这意味着，AI直出商品渲染图、海报等实用工作流程又打通一环。

还在视频特效上开辟了新方向。

目前DeepFloydIF以非商用许可开源，不过团队解释这是暂时的，获得足够的用户反馈后将转向更宽松的协议。

吴梦夏：托管机构需要能支持更多POS币种以及链上治理和Staking等操作。:在今日，由金色财经和Matrixport主办的“全方位解读资产安全的奥秘”的AMA中，针对“作为专业托管生态的从业者，您认为未来托管业务将会如何发展来更好的满足各类机构客户，促进区块链生态的稳步发展？”Matrixport托管业务负责人吴梦夏表示，一个是币种上，很多新兴币种采用了POS共识，POS币种也许是未来的另一个趋势，托管机构需要能支持更多POS币种以及链上治理和staking等操作。技术上，目前主要采用的方案是加密机(HSM)，多签(Multi-sig)，或者是两者混合方案。我们认为多种技术未来可能有机会被混合使用在托管方案中，可能是MPC+HSM，对于技术上，市场的竞争和技术的进步会彼此促进, 我们也会始终追踪技术前沿，在技术成熟之后选择融入我们的方案。另一个不容忽视的趋势是合规，各国监管机构会在未来一两年对托管机构制定出更加清晰可依的框架，推出更有针对性的托管牌照，其中包含更严格的AML/CFT和链上KYT的指引。这会一定程度增加服务提供商的成本，但是确能打开一个广阔的金融市场容量。[2020/3/21]

行情 | Gate.io Startup首发区项目MovieBloc今日开通交易 现跌超10%:Gate.io Startup首发区项目MovieBloc（MBL）今日12：00在Gate.io平台开通交易，其价格在12:34达到最高0.0021美元后出现暴跌，目前已跌至0.001134美元，跌幅达到12.76%。跌幅较大，请做好风险控制。[2019/5/6]

有需求的小伙伴可以抓紧反馈起来了。

像素级图像生成

DeepFloydIF仍然基于扩散模型，但与之前的StableDiffusion相比有两大不同。

负责理解文字的部分从OpenAI的CLIP换成了谷歌T5-XXL，结合超分辨率模块中额外的注意力层，获得更准确的文本理解。

负责生成图像的部分从潜扩散模型换成了像素级扩散模型。

也就是扩散过程不再作用于表示图像编码的潜空间，而是直接作用于像素。

官方还提供了一组DeepFloydIF与其他AI绘画模型的直观对比。

可以看出，使用T5做文本理解的谷歌Parti和英伟达eDiff-1也都可以准确绘制文字，AI不会写字这事就是CLIP的锅。

不过英伟达eDiff-1不开源，谷歌的几个模型更是连个Demo都不给，DeepFloydIF就成了更实际的选择。

具体生成图像上DeepFloydIF与之前模型一致，语言模型理解文本后先生成64×64分辨率的小图，再经过不同层次的扩散模型和超分辨率模型放大。

在这种架构上，通过把指定图像缩小回64×64再使用新的提示词重新执行扩散，也实现以图生图并调整风格、内容和细节。

并且不需要对模型做微调就可直接实现。

另外，DeepFloydIF的优势还在于，IF-4.3B基础模型是目前扩散模型中U-Net部分有效参数是最多的。

在实验中，IF-4.3B取得了最好的FID分数，并达到SOTA。

谁是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的独立研发团队，深受摇滚乐队平克弗洛伊德影响，自称为一只“研发乐队”。

主要成员只有4人，从姓氏来看均为东欧背景。

这次除了开源代码外，团队在HuggingFace上还提供了DeepFloydIF模型的在线试玩。

我们也试了试，很可惜的是目前对中文还不太支持。

原因可能是其训练数据集LAION-A里面中文内容不多，不过既然开源了，相信在中文数据集上训练好的变体也不会太晚出现。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在开源上的唯一动作

语言模型方面，他们也推出了首个开源并引入RLHF技术的聊天机器人StableVicuna，基于小羊驼Vicuna-13B模型实现。

目前代码和模型权重已开放下载。

完整的桌面和移动界面也即将发布。

DeepfloydIF在线试玩：

https://huggingface.co/spaces/DeepFloyd/IF

代码：

https://github.com/deep-floyd/IF

StableVicuna在线试玩：

https://huggingface.co/spaces/CarperAI/StableVicuna

权重下载：

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

参考链接：

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

标签：STADEEPFLOPFLMe Gustadeepbrain-chainTFLOKIPFL价格

FIL热门资讯