可信賴的大良網(wǎng)站建設(shè),天津做網(wǎng)站制作,wordpress get_post_mime_type,wordpress postid原文#xff1a;towardsdatascience.com/group-equivariant-self-attention-19e47f0b786e 在不斷發(fā)展的神經(jīng)網(wǎng)絡(luò)架構(gòu)動態(tài)景觀中#xff0c;效率至關(guān)重要。為特定任務(wù)定制網(wǎng)絡(luò)需要通過戰(zhàn)略性的架構(gòu)調(diào)整來注入先驗知識。這不僅僅是參數(shù)調(diào)整——這是將所需理解嵌入到模型中的過程…原文towardsdatascience.com/group-equivariant-self-attention-19e47f0b786e在不斷發(fā)展的神經(jīng)網(wǎng)絡(luò)架構(gòu)動態(tài)景觀中效率至關(guān)重要。為特定任務(wù)定制網(wǎng)絡(luò)需要通過戰(zhàn)略性的架構(gòu)調(diào)整來注入先驗知識。這不僅僅是參數(shù)調(diào)整——這是將所需理解嵌入到模型中的過程。實現(xiàn)這一目標(biāo)的一種方法是通過使用幾何先驗——這正是本文的主題。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9013f7d9580395d4386d4852bf9d9a80.png一張在 90 度旋轉(zhuǎn)下的狗的圖片。中間我們看到具有旋轉(zhuǎn)等變的模型的權(quán)重表示而右側(cè)的模型沒有這種等變。?J. Hatzky前置條件在前一篇文章中我們探討了視覺中的自注意力操作?，F(xiàn)在讓我們在此基礎(chǔ)上構(gòu)建并通過使用幾何深度學(xué)習(xí)的最新進(jìn)展來擴(kuò)展它。如果你還不熟悉幾何深度學(xué)習(xí)邁克爾·布朗斯坦創(chuàng)建了一個優(yōu)秀的入門系列。群等變模型的好處等變模型可以將搜索空間定制為當(dāng)前任務(wù)并減少模型學(xué)習(xí)虛假關(guān)系的概率。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/449467fb18782be2a530757ba928f5a4.png在 90 度旋轉(zhuǎn)下的癌細(xì)胞。中間我們看到具有旋轉(zhuǎn)等變的模型的權(quán)重表示而右側(cè)的模型沒有這種等變。?J. Hatzky以這個癌細(xì)胞為例看看。如果我們假設(shè)模型具有旋轉(zhuǎn)等變那么模型對這個細(xì)胞圖像的表示只會隨著圖像旋轉(zhuǎn)但保持其結(jié)構(gòu)完整。而如果沒有這種等變模型的表示幾乎會任意變化因此在一個方向上看起來像癌細(xì)胞當(dāng)旋轉(zhuǎn)時可能會看起來完全不同。顯然這并不是我們想要用于檢測特定細(xì)胞類型的任務(wù)。我們真正想要的是一個理解這種旋轉(zhuǎn)對稱性的等變模型因此不受旋轉(zhuǎn)或其他輸入變換的影響。幾何模型的藍(lán)圖當(dāng)將幾何先驗集成到深度學(xué)習(xí)架構(gòu)中時一種常見的方法涉及一系列系統(tǒng)的步驟。最初網(wǎng)絡(luò)的層被擴(kuò)展以與目標(biāo)幾何群如旋轉(zhuǎn)對齊從而產(chǎn)生我們所說的G-等變層。這種適應(yīng)確保網(wǎng)絡(luò)捕捉并尊重數(shù)據(jù)中固有的特定幾何特征。在整個過程中可以戰(zhàn)略性地應(yīng)用局部池化技術(shù)來管理和簡化網(wǎng)絡(luò)復(fù)雜性尤其是如果減小尺寸被認(rèn)為是有益的。引入池化操作有助于關(guān)注關(guān)鍵特征同時保持網(wǎng)絡(luò)識別幾何細(xì)微差別的能力。最終該架構(gòu)旨在在所選幾何群的變換下表現(xiàn)出不變性。為了實現(xiàn)這一點在最后執(zhí)行對群維度的全局池化操作。這一步驟確保網(wǎng)絡(luò)學(xué)習(xí)到的表示在應(yīng)用幾何變換時保持一致和可靠。實質(zhì)上這種方法圍繞調(diào)整網(wǎng)絡(luò)的內(nèi)部工作方式以適應(yīng)不同的幾何特性采用池化策略進(jìn)行復(fù)雜性控制最終形成一個在指定幾何群內(nèi)變換時保持不變性的網(wǎng)絡(luò)。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9a0b6de24f32d4d15eebe96774af1f49.png幾何深度學(xué)習(xí)架構(gòu)的一個示例。結(jié)合了等變層并在其中可能進(jìn)行局部池化最后進(jìn)行全局池化以在群作用下創(chuàng)建不變性。?J. Hatzky群等變卷積神經(jīng)網(wǎng)絡(luò)G-CNNsG-CNNs 首次亮相于 2016 年標(biāo)志著神經(jīng)網(wǎng)絡(luò)架構(gòu)領(lǐng)域的一項重大進(jìn)步。其理念是在 CNN 的卷積核上應(yīng)用群變換。基本上包括兩個操作稱為提升和群卷積。提升卷積的概念涉及取一個圖像并將其提升到所選群的維度。讓我們用一個具有 90 度旋轉(zhuǎn)的群作為例子來進(jìn)一步分解。這是如何工作的想象我們的群由旋轉(zhuǎn)組成我們希望將核提升到這個群的維度。我們通過將核旋轉(zhuǎn)四次來實現(xiàn)這一點對應(yīng)于 90 度旋轉(zhuǎn)群中的四個不同方向。隨后我們將這四個提升核應(yīng)用到同一圖像上。結(jié)果是四個變換后的圖像每個對應(yīng)于核的一個旋轉(zhuǎn)版本。這個過程有效地捕捉了卷積操作中組變換的本質(zhì)使網(wǎng)絡(luò)能夠理解和從輸入數(shù)據(jù)的不同方向中學(xué)習(xí)。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/83f041c31b6034b5bb94dd8a543e5e65.png提升卷積。我們創(chuàng)建提升版本的卷積核。在這種情況下是在 90 度旋轉(zhuǎn)群 C4 下的旋轉(zhuǎn)。然后我們用每個核對輸入圖像進(jìn)行卷積。?J. Hatzky在進(jìn)行提升卷積之后我們現(xiàn)在有一組四個卷積圖像。如果我們想應(yīng)用進(jìn)一步的卷積我們必須對所有的四個變換進(jìn)行操作而不僅僅是單個輸入圖像。為此我們使用分組卷積層。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/4728c1fcce59415e04fd4bea811d0096.png分組卷積。類似于提升卷積我們在組上創(chuàng)建位置索引。進(jìn)一步地我們?nèi)『鸵员３志S度。?J. Hatzky如您所見我們也在組維度上取和以保持維度恒定。最后我們進(jìn)行全局池化使我們的卷積操作在組作用下保持不變。分組等變 Transformer在考慮了分組等變卷積的概念后我們現(xiàn)在可以將相同的直覺轉(zhuǎn)移到構(gòu)建分組等變自注意力。截至此時許多深度學(xué)習(xí)架構(gòu)已經(jīng)有了分組等變的對應(yīng)物。最近這種情況也適用于 Transformer 模型更具體地說是 Transformer 模型的引擎——自注意力操作。在其初始形式中自注意力由于缺乏位置信息表現(xiàn)出排列等變性。用簡單的話說輸入的排列會導(dǎo)致輸出的相應(yīng)排列。這種內(nèi)在屬性非常靈活可以輕松地適應(yīng)旋轉(zhuǎn)、平移、翻轉(zhuǎn)和其他保持對稱性的動作作為排列的特殊情況。然而這種廣泛的等變性雖然強大但對于許多任務(wù)來說往往過于通用尤其是在位置感細(xì)膩時。為了解決這一限制將位置信息引入模型已成為標(biāo)準(zhǔn)做法。有趣的是當(dāng)引入絕對位置信息時模型會放棄其等變性屬性。這是因為每個位置上的每個輸入都變得獨特破壞了所需的對稱性。相反利用相對位置可以恢復(fù)平移等變性因為當(dāng)位置移動時相對方向保持不變。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/cb94cb93eda0e92971f512322ad851e0.png關(guān)于位置編碼形式的等變性層次結(jié)構(gòu)的部分有序群。?J. Hatzky因此我們想要的是封裝某些對稱群如旋轉(zhuǎn)的東西但不要太通用這被稱為獨特的群等變性。你可以猜到我們可以通過使用群作用以特定方式改變位置信息來實現(xiàn)這一點。結(jié)果如果我們把絕對位置編碼看作是一個 2D 網(wǎng)格那么與 G-CNNs 有很多類比。事實上我們可以將相同的群變換應(yīng)用于這個位置的 2D 網(wǎng)格就像我們應(yīng)用于 2D 卷積核一樣。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a6e2d85c6328536647e7c783f70eb03e.png具有絕對位置嵌入的提升自注意力。類似于 G-CNNs我們將群作用應(yīng)用于自注意力位置嵌入的索引以獲得提升變換。?J. Hatzky與 G-CNNs 中創(chuàng)建內(nèi)核的作用版本不同我們現(xiàn)在為絕對位置索引的 2D 網(wǎng)格創(chuàng)建作用版本。我們稱此操作為提升自注意力。然后我們應(yīng)用四個單獨的多頭自注意力操作這為我們提供了相同輸入圖像的四個獨特表示?，F(xiàn)在你可以希望看到這些步驟與分組卷積的相似之處。我們以類似的方式繼續(xù)進(jìn)行。我們定義了一個我們稱之為分組自注意力的操作它直接作用于我們索引的提升版本。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d037a9ff024cf407e859a262bd954387.png具有絕對位置嵌入的分組自注意力。類似于 G-CNNs我們將群作用應(yīng)用于自注意力位置嵌入的索引以獲得提升變換。?J. Hatzky注意到分組自注意力導(dǎo)致內(nèi)核旋轉(zhuǎn) 90 度并在群軸上發(fā)生循環(huán)排列。在多個這樣的分組自注意力層之后我們進(jìn)行類似于平均池化的池化操作從而在群作用下創(chuàng)建不變性。我們現(xiàn)在構(gòu)建一個對輸入 90 度旋轉(zhuǎn)不變的自我注意力操作。太棒了現(xiàn)在讓我們在提升自注意力和分組自注意力的背景下考察等變性屬性。為了評估這一點我們將一張圖像及其 90 度旋轉(zhuǎn)后的對應(yīng)圖像輸入到我們的網(wǎng)絡(luò)中觀察模型表示在提升和分組自注意力操作后的演變。通過審查模型表示的變化我們獲得了對等變性設(shè)計的有效性的見解。具體來說我們試圖了解網(wǎng)絡(luò)對輸入變化的響應(yīng)特別是旋轉(zhuǎn)方面的變化。這種比較分析為模型在輸入數(shù)據(jù)變換下保持一致和可解釋不變表示的能力提供了細(xì)微的視角。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/cbbe6f98566214408a1cb326a782c383.png提升和分組自注意力層的特征表示行為。輸入旋轉(zhuǎn)導(dǎo)致網(wǎng)絡(luò)中間特征表示發(fā)生旋轉(zhuǎn)和循環(huán)排列。?J. Hatzky顯著的是我們觀察到網(wǎng)絡(luò)的表示在 90 度旋轉(zhuǎn)和循環(huán)排列下保持不變。這種模型響應(yīng)的穩(wěn)健一致性強調(diào)了所實現(xiàn)的等變性證實了其在群作用下保持基本特征和模式的能力。結(jié)論所獲得的見解突顯了分組等變先驗的潛在價值。在特定變換中維持一致表示的能力表明了一條提高整體網(wǎng)絡(luò)性能和泛化的寶貴途徑。將群等變性集成到網(wǎng)絡(luò)架構(gòu)中提供了提高穩(wěn)定性和泛化的前景使其成為在數(shù)據(jù)中可以利用幾何模式的應(yīng)用中的一種有吸引力的方法。