草莓视频下载app,深夜草莓视频app,草莓视频app无限观看,草莓视频下载app


資訊中心

馬賽克秒變沒!杜克大學推AI圖像生成器,糊圖像5秒變清晰

2020-06-27 08:37:10來源:智東西 閱讀量:15746

分享:
導讀:近日,杜克大學的研究團隊研發了一個AI圖像生成模型PULSE。PULSE可以在5秒鍾內將低分辨率的人像轉換成清晰、逼真的人像。
  近日,杜克大學的研究團隊研發了一個AI圖像生成模型PULSE。PULSE可以在5秒鍾內將低分辨率的人像轉換成清晰、逼真的人像。
 
  要指出的是,PULSE所做的工作並不是把輸入的低分辨率人像變成一張高分辨率的人像,而是“一對多”地輸出許多張面部細節各不相同的高分辨率人像。比如,用戶輸入一張16*16分辨率的圖像,PULSE可輸出一組1024*1024分辨率的圖像。
 
  这项研究于本月在计算机视觉与模式识别顶会CVPR 2020上发表,论文标题为《PULSE:通过对生成模型的潜在空间探索实现自监督照片上采样(PULSE:Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models)》。
 
  一、PULSE:能爲天文學/醫學提供參考
 
  在好萊塢間諜電影中,肩負拯救世界重任的特工常常采用高科技手段、把一張模糊的凶犯照片還原成清晰的人臉照片。現實中,許多研究人員致力于用AI技術使電影中的炫酷場景成真。但是,現有AI模型的性能普遍較差,生成的人臉圖像往往與照片主人公的真實長相並不相似。
 
  杜克大学计算机科学专业教授Cynthia Rudin指出,这是因为低像素图像中的信息较少,AI模型无法准确地“补足”缺失信息、进而还原出清晰人脸图像。因此,用AI技术对模糊人像进行面部识别十分困难。
 
  Rudin團隊認爲,雖然不能用于模糊人像的面部識別,但是這類AI模型可以作爲一種分類和探索工具,用于天文學、醫學等難以獲得清晰圖像的領域。也就是說,基于模糊圖像中缺失信息的各種可能性,AI模型可以生成許多清晰的圖像,生成的多種圖像可以爲天文學、醫學等領域研究人員提供參考。
 
  基于這種設想,杜克大學研究人員研發了基于生成式對抗網絡(GAN)的圖像超分辨率模型PULSE。PULSE模型基于NVIDIA的StyleGAN算法進行開發。
 
  二、降尺度損失方法:用生成圖像“倒推”模糊圖,相似才能輸出
 
  为了保证输出图像与输入图像的“对应性”,研究人员在PULSE模型中应用了一种“降尺度损失(downscaling loss)”方法。
 
  當PULSE模型的生成網絡提議以一張清晰圖像作爲輸出時,判別網絡會把這張清晰圖像的分辨率降低到與輸入圖像相等的水平。然後,判別網絡會對比降尺度損失圖像與輸入圖像之間的相似性。
 
  只有在降尺度損失圖像與輸入圖像相似性較高時,判別網絡才會判定生成網絡提議的清晰圖片可以作爲輸出。
 
  三、40位評估者參與打分,PULSE模型MOS得分最高
 
  研究人员用高分辨人脸数据集CelebA HQ评估PULSE的性能。为了进行对比,研究人员利用CelebA HQ数据集训练了监督模型BICBIC、FSRNET和FSRGAN。
 
  所有模型均以16*16分辨率的圖像作爲輸入,BICBIC、FSRNET和FSRGAN模型以128*128分辨率圖像作爲輸出,PULSE模型以128*128分辨率圖像和1024*1024分辨率圖像作爲輸出。
 
  評估結果顯示,圖像質量方面,PULSE模型在生成眼睛、嘴唇等圖像細節方面的能力優于其他模型。
 
  接下來,研究人員用平均意見分數(MOS)測試來定量評估模型的分辨率。研究人員應用6個模型生成128*128分辨率的圖像,邀請40位評估者對6個模型的輸出結果進行打分。
 
  用于對比的模型分別是:HR、Nearest、Bicubic、FSRNet、FSRGAN。
 
  結果顯示,PULSE的MOS分數最高,爲3.60,即評估者認爲PULSE模型生成的圖像分辨率最高。
 
  結語:代碼已在GitHub開源,用戶擔憂種族偏見
 
  本項研究中,杜克大學研發的PULSE模型能夠基于一張模糊的人像,生成多張面部細節不同的清晰人像,爲使用者提供一個可能的參考範圍。目前,研究團隊已將模型代碼在GitHub開源,鼓勵其他開發者進行實驗。
 
  研究人員稱,在未來,PULSE或可被用于天文學、醫學等領域。比如,一位天文學研究人員可以輸入一張模糊的黑洞圖像,並獲得許多可能的天體照片。
 
  同時,也有人對PULSE的種族偏見問題表示擔憂。有Twitter用戶爆料稱,其在PULSE模型中輸入深膚色種族(比如奧巴馬的照片)的人臉照片後,PULSE輸出了白人的照片。研究人員稱,目前他們正嘗試通過引入更廣泛的數據集解決這一問題。

我要評論

文明上網,理性發言。(您還可以輸入200個字符)

所有評論仅代表网友意见,与本站立场无关。

相關新聞

高科技護航特殊高考,無人機、AI等齊齊上陣! 2020-07-07 14:17:52
爲護衛考場秩序與安全,保障考試公平與公正,今年在傳統防作弊手段和安保措施基礎上,各省市也是動用了一些新技術來護航高考。
自动监测、实时警报 AI防逆水系统拉起安全防护 2020-07-06 11:44:02
炎炎夏日,火伞高张,吃西瓜、吹空调、玩漂流,也成为了解暑降温的新时尚。去游泳馆游泳、去海滩冲浪时,该如何确保人身安全呢?AI、物聯網等技术的运用,为保障人们的生命安全拉起了一道隐形防护网。
一周趣評:韓國用戶遇假5G?我國AI企業迎激增 2020-07-03 14:06:31
戲說一周趣事,秒知行業大勢。大家好,歡迎大家來到本周的《一周趣評》。

版權與免責聲明:凡本网注明“来源:智能制造網”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造網合法拥有版权或有权使用的作品,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造網”。违反上述声明者,本网将追究其相关法律责任。

本网转载并注明自其它来源(非智能制造網)的作品,目的在于传递更多信息,并不代表本网赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。

如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視爲放棄相關權利。

不想錯過最新資訊?

下載智能制造APP

一鍵篩選來訂閱

信息更精准

圖說智能 更多