。
宣告:本人只是分享一些床長人工智慧教程相關的免費pdf文件而已,並非床長人工智慧網校的收費文章。尊重版權,支援原創!
文章來源
擴張卷積的提出
論文筆記
在像分割領域,像輸入到典型的網路比如中,先像傳統的那樣對像做卷積再,降低像尺寸的同時增大感受野,但是由於像分割預測是的輸出,所以要將後較小的像尺寸到原始的像尺寸進行預測一般採用反捲積操作,之前的操作使得每個預測都能看到較大感受野資訊。
因此像分割中有兩個關鍵,一個是減小像尺寸增大感受野,另一個是擴大像尺寸。
在先減小再增大尺寸的過程中,肯定有一些資訊損失掉了,那麼能不能設計一種新的操作,不透過也能有較大的感受野看到更多的資訊呢?答案就是。
這裡的話我們就主要介紹一下擴張卷積的理解,具體在像分割或者語音合成機器翻譯應用暫時不做考慮。
理解的難點
其實上來就給出這個,確實有點不知所云,有幾個問題需要我們回答
感受野
在理解上面這個公式之前,我們先理解一下感受野這個含義。
參考
你知道如何計算感受野嗎?這裡有一份詳細指南
然後看完之後我們才可以進行下面的內容,我們擷取其中重要的進行說明
4計算空洞卷積感受野
空洞卷積就是在傳統的卷積中加入了一個這個係數。
可以從兩個方面理解這個引數,從原像層面理解就是我們對原以進行間隔取樣從卷積核自身的角度來看,我們相當於在未使用空洞卷積的卷積核中,在其內部插入個0,可以理解為使用空洞卷積之後我們卷積核的尺寸變大了。
後面的公式推導中,我們按照後面一種理解進行講述。
下是空洞卷積的動態示意
¨èéè°
從一個簡單的一維例子出發
為了更好理解空洞卷積,我們從一維入手
卷積核大小是3,然後移動的步長是2,是1
卷積核大小是3,移動的步長是1,是1
卷積核大小是3,移動的步長是1,是
然後我們著重對比和兩張,考慮亮黃色的神經元,我們在中視野感受野只有,也就是隻有在中我們的視野變成了,也就是感受野變成了,增加了感受野了。
那麼為什麼感受野變成了?
我們可以這樣理解,從到,我們僅僅是使用了空洞卷積,按照上面對空洞卷積第二層理解也就是從卷積核的角度出發,我們相當於在內部每隔一個卷積核插入個,共插入次。
再加上原始的卷積核的感受野,可以這樣計算
這裡是是,。
因此我們的感受野為。
這裡第一個代表的原始的感受野,也就是大小,這裡是。
一個稍微複雜的例子
最初的四個問題
在第二小節中我們提出了四個問題,現在我們可以嘗試回答一下
紅點代表什麼意思?代表的是感受野的中心~
為什麼擴張卷積導致像尺寸不變
從那個一維的例子出發我們可以直觀的理解,空洞卷積只是可以以指數形式提高網路的感受野,但是不改變像輸出的特徵。
特徵的計算可以依據
中最外層像的代表什麼
代表的就是感受野的大小
其實這個公式自己並不是特別理解,也不是特別好用,感覺不具有一般性。
下面是關於多尺度的一些理解
機器學習基礎–多尺度
多尺度理解
個人理解,理解多尺度首先理解尺度空間,我們的尺度空間是解析度是相同的,然後使用不同的高斯核傳統反向從直覺上說,這個多尺度是模仿人類的視網膜的特徵,不同的距離看的物體模糊是不同的,離我們越遠,然後越模糊,從而我們看到全域性資訊離我們越近的話,我們看的越清楚,然後看到的是區域性資訊。
從網路來看我們使用不同的層,縮放到同一尺寸下面。
越深的卷積層提取出的特徵越抽象,提取到的特徵更高階。
所以這個就相當於是一種不同的尺度下的特徵解析度一致這麼理解的。
而多和多尺度相對應的是多解析度,他的解析度不是不變的,常見的是像金字塔,它的解析度是逐漸縮小的
和使用空洞卷積
參考
實現空洞卷積也叫擴張卷積
參考文章
普通卷積和空洞卷積。。。