「GANpaint」是一款非常神奇的繪圖工具,可以任意重繪DEMO建築物照片,由美國麻省理工學院人工智慧實驗室釋出,該工具使用深層網路繪製物件級控制元件,每一筆都能機會GAN中的一組神經元。
解鎖GAN的隱藏原理才能控制GAN,圖片裡面的草,木,雲,天,穹頂,磚瓦,房門等等,每個元素都對應GAN的其中一組神經元。只要啟用某一組神經元,抑制其他神經元,就可以有選擇地生成想要的元素。每次啟用不同的神經元,相當於把GAN肢解
(Dissect) 開來,讓人一點一點去領會;團隊還提出了一個分析框架(Analytical Framework) ,把肢解過程視覺化。
「GANpaint」實現步驟:
首先,把跟某個物體 (比如樹) 相關的、可解釋的GAN單元 (Interpretable GAN Units)
挑出來。通俗說來就是根據特徵圖,找到哪些神經元對應哪個物體。
然後,衡量這些單元對物體的影響力有多強,量化出來。也就是說,不只是相關 (Correlated) ,神經元要能控制物體的變化,才有用。
最終,考察這些單元與背景之間的上下文關係(Contextual Relationship) 。研究要在一幅圖裡生成某種物體,怎樣才能不突兀。
生成對抗網路(GAN)近期在很多現實世界任務中取得了巨大成就,很多 GAN 的變體都在樣本質量和訓練穩定性上獲得了很大的進展。然而,對 GAN
的視覺化和理解仍然是缺乏探究的課題。在 MIT CSAIL 主導的這項工作中,研究者展示了在單元、物件和場景級別上視覺化和理解 GAN
的框架。研究者首先通過基於分割的網路剖析方法(network dissection
method)識別出一組和物件概念很相關的可解釋單元。然後通過評估人類干預(控制輸出中的物件)的能力來量化可解釋單元的因果效應。最後,通過將發現的物件概念嵌入到新影象中來測試這些單元和周圍事物之間的語境關係。