GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

标签:

x 广告
重磅!2022年自然指数年度榜单揭晓 中国位居第二

6月16日,2022自然指数年度榜单(NatureIndex2022annualtables)揭晓,展示了不同国家和科研机构在自然科学领域的高质量科研产出情况。其中,

最新!科学家开发出半透明载玻片控制光流的能力

据最新一期《自然·光子学》杂志报道,澳大利亚国立大学(ANU)物理学家开发出一种微小的半透明载玻片,通过操纵光在纳米尺度上的传播方向,

重磅!内蒙古自治区部署“十四五”期间节能减排十大重点工程

节能减排是党中央、国务院作出的重大决策部署。近年来,自治区党委、政府高度重视节能减排各项工作,将其作为推动内蒙古自治区经济社会全面

时政现场评丨跟随总书记的脚步 在三晋大地上踏雪迎春

<script src="http: tv people com cn img player v js">< script><script>showPlayer({id:" pvservice xml 202

第一观察·瞬间 | 两度踏雪 一路为民

春节前夕,习近平总书记赴山西考察调研,看望慰问基层干部群众。总书记走进两个村——霍州市师庄乡冯南垣村、汾西

100的背后是什么?

<script src="http: tv people com cn img player v js">< script><script>showPlayer({id:" pvservice xml 202

在北京的非洲体育人:准备好为北京冬奥会喝彩

<script src="http: tv people com cn img player v js">< script><script>showPlayer({id:" pvservice xml 202

国网绍兴供电公司:打造新型有源配电网 保障山区用电可靠

1月25日,国网绍兴供电公司通过配电自动化主站平台远程控制位于绍兴南部山区线路末端发电机成功启动,成功以小成

x 广告

Copyright ©  2015-2022 人人城市网版权所有  备案号:粤ICP备18023326号-36   联系邮箱:8557298@qq.com