重慶建設(shè)網(wǎng)站哪家好,一般做網(wǎng)站哪家好,wordpress付費(fèi)查看內(nèi)容,海南高端建設(shè)網(wǎng)站矩陣#xff0c;線性代數(shù)里非常常見的元素。 在大多數(shù)人的印象里#xff0c;它似乎只是一張枯燥的、由數(shù)字排列而成的方方正正的表格。如果不幸通過應(yīng)試教育去認(rèn)識(shí)它#xff0c;它更像是一個(gè)用來進(jìn)行繁瑣加減乘除的“計(jì)算容器”?！芭?xff0c;他作用于一堆數(shù)字#xff…矩陣線性代數(shù)里非常常見的元素。在大多數(shù)人的印象里它似乎只是一張枯燥的、由數(shù)字排列而成的方方正正的表格。如果不幸通過應(yīng)試教育去認(rèn)識(shí)它它更像是一個(gè)用來進(jìn)行繁瑣加減乘除的“計(jì)算容器”?！芭端饔糜谝欢褦?shù)字然后通過繁雜的公式得出另一堆數(shù)字”…但在我看來矩陣不應(yīng)當(dāng)僅僅是枯燥的數(shù)字表格。我們需要理解矩陣的“幾何直覺”。明白他是列視角下的“空間變換”和行視角下的“信息處理”的語言我們才能更好應(yīng)用他。無論是在人工智能領(lǐng)域如魚得水地應(yīng)用矩陣還是面對(duì)”考研“”期末“不想那么痛苦的應(yīng)試。去建立直覺永遠(yuǎn)是一個(gè)好方向。矩陣乘法為了“作用”而生矩陣不能憑空出現(xiàn)孤零零地呆在那。如果我們還是用“應(yīng)試”的角度去看矩陣矩陣確實(shí)可以孤零零的。 因?yàn)樗褪且欢押翢o意義的數(shù)字。然而矩陣從誕生的那一刻起就有個(gè)使命“作用”于他人的。這個(gè)“作用”在數(shù)學(xué)上正是矩陣乘法。我們可以這樣理解矩陣一旦出現(xiàn)就是為了去“乘”某個(gè)對(duì)象的。它是一個(gè)動(dòng)詞是一個(gè)機(jī)器而不是一個(gè)名詞。那么矩陣乘法到底蘊(yùn)含著什么直覺呢忘掉那背的滾瓜爛熟的“行乘列求和”公式。從現(xiàn)在開始我會(huì)展示矩陣乘法但請(qǐng)不要套用公式去驗(yàn)證它。我們要重新建立對(duì)它的直覺。矩陣與向量的初次相遇讓我們從最基礎(chǔ)的場(chǎng)景開始一個(gè)矩陣AAA想要“作用”于一個(gè)向量xxx。我們默認(rèn)“作用”是將矩陣放到向量的“左邊”位置不能錯(cuò)。OutputMatrix?Input ext{Output} ext{Matrix} cdot ext{Input}OutputMatrix?Input我們?cè)O(shè)定變換機(jī)器AAA一個(gè)2×22 imes 22×2的矩陣。輸入對(duì)象xxx一個(gè)2×12 imes 12×1的列向量。舉個(gè)例子[1320]?[xy] ? egin{bmatrix} 1 3 \ 2 0 end{bmatrix} cdot egin{bmatrix} x \ y end{bmatrix} ?[12?30?]?[xy?]?A是個(gè)機(jī)器我們不用想它的物理含義 目前只知道它用于變換別人。在按下“計(jì)算”按鈕之前我們先好好看看這個(gè)輸入對(duì)象。我們可以理解為熟知的二維坐標(biāo)xy不過高中知識(shí)告訴我們我們也可以理解為以原點(diǎn)為起點(diǎn)終點(diǎn)為xy 箭頭方向從原點(diǎn)到終點(diǎn)的向量。圖《矩陣力量》 https://github.com/Visualize-ML/Book4_Power-of-Matrix那么二維向量[xy]egin{bmatrix} x \ y end{bmatrix}[xy?]其實(shí)是兩個(gè)基向量的組合i^hat{i}i^橫軸單位向量[10]egin{bmatrix} 1 \ 0 end{bmatrix}[10?]j^hat{j}j^?縱軸單位向量[01]egin{bmatrix} 0 \ 1 end{bmatrix}[01?]顯然他們的長度|i|、|j|都是1。向量[xy]egin{bmatrix} x \ y end{bmatrix}[xy?]的本質(zhì)含義是“沿著i^hat{i}i^方向走x倍的∣i∣x倍的|i|x倍的∣i∣步再沿著j^hat{j}j^?方向走y倍的∣j∣y倍的|j|y倍的∣j∣步”?；蛘咧苯诱fx倍的i于y倍的j做向量加法。寫成數(shù)學(xué)式子就是Inputx?i^y?j^ ext{Input} x cdot hat{i} y cdot hat{j}Inputx?i^y?j^?如圖向量v可以拆分成i^,j^hat{i} , hat{j}i^,j^?的組合本例中為1?i^2?j^1cdot hat{i} 2 cdot hat{j}1?i^2?j^?列視角現(xiàn)在矩陣AAA開始發(fā)揮作用了。這個(gè)機(jī)器到底做了什么列視角告訴我們要盯著矩陣的“列”看矩陣的第一列[12]egin{bmatrix} 1 \ 2 end{bmatrix}[12?]這是i^hat{i}i^變換后的新位置Newi^hat{i}i^。矩陣的第二列[30]egin{bmatrix} 3 \ 0 end{bmatrix}[30?]這是j^hat{j}j^?變換后的新位置Newj^hat{j}j^?。隨著基向量i和j的改變整個(gè)坐標(biāo)軸我們都可以理解為變了。既然原來的向量是 “xxx份的i^hat{i}i^加上yyy份的j^hat{j}j^?”那么變換后的向量必然就是“xxx份的新i^hat{i}i^加上yyy份的新j^hat{j}j^?”帶來的結(jié)果是空間里千千萬萬個(gè)向量都變成了新向量。同時(shí)網(wǎng)格線始終保持平行且等距原點(diǎn)保持不動(dòng)。這就叫”線性變換“ 。我們不需要關(guān)心空間里千千萬萬個(gè)向量各自去了哪里我們只需要追蹤這兩個(gè)基向量整個(gè)空間就被確定了。原來的坐標(biāo)軸或許已經(jīng)被拉伸、旋轉(zhuǎn)不再是標(biāo)準(zhǔn)的十字架但我們的路徑法則依然有效Outputx?(New i^)y?(New j^) ext{Output} x cdot ( ext{New } hat{i}) y cdot ( ext{New } hat{j})Outputx?(Newi^)y?(Newj^?)把它代入我們具體的矩陣AAA[1320][xy]x?[12]?Col 1y?[30]?Col 2[1x3y2x0y]egin{bmatrix}1 3 \2 0end{bmatrix}egin{bmatrix}x \yend{bmatrix}x cdot underbrace{egin{bmatrix} 1 \ 2end{bmatrix}}_{ ext{Col 1}} y cdot underbrace{egin{bmatrix} 3 \ 0 end{bmatrix}}_{ ext{Col 2}} egin{bmatrix}1x 3y \2x 0yend{bmatrix}[12?30?][xy?]x?Col 1[12?]??y?Col 2[30?]??[1x3y2x0y?]如圖我們的原始向量v是1?i^2?j^1cdot hat{i} 2 cdot hat{j}1?i^2?j^?現(xiàn)在只不過變成了1?(New i^)2?(New j^)1cdot ( ext{New } hat{i}) 2 cdot ( ext{New } hat{j})1?(Newi^)2?(Newj^?)。當(dāng)然實(shí)際上可以理解為整個(gè)空間坐標(biāo)軸都因?yàn)樾碌幕蛄慷淖冞@就是列視角矩陣列向量看做New i^,New j^ ext{New } hat{i}, ext{New } hat{j}Newi^,Newj^?矩陣與向量的乘法本質(zhì)上是在說基向量變換后的空間向量[xy]egin{bmatrix}x \yend{bmatrix}[xy?]去哪了去到了outputOutputx?(New i^)y?(New j^) ext{Output} x cdot ( ext{New } hat{i}) y cdot ( ext{New } hat{j})Outputx?(Newi^)y?(Newj^?)也可以看作結(jié)果是矩陣列向量的線性組合。輸入向量的坐標(biāo)(x,y)(x, y)(x,y)其實(shí)就是分配給這些列向量的權(quán)重。維度的邏輯ok 這樣一來矩陣的形狀幾行幾列就不再是死記硬背的規(guī)則而是邏輯的必然。我們能用一個(gè)2×32 imes 32×32行3列的矩陣去變換一個(gè)2×12 imes 12×1的向量[xy]egin{bmatrix}x \yend{bmatrix}[xy?]嗎不能這個(gè)向量是二維的表明只有倆個(gè)基向量組成他們。xxx和yyy。那么New i^,New j^ ext{New } hat{i}, ext{New } hat{j}Newi^,Newj^?也一定是倆個(gè)則矩陣一定是倆列用線性加權(quán)角度思考2×32 imes 32×3的矩陣有3列3個(gè)基向量。我們有 3 個(gè)基向量等待被縮放卻只來了 2 個(gè)權(quán)重指令。第 3 列基向量就問了“誰來乘我”故而矩陣的列數(shù)必須等于輸入向量的維度數(shù)行數(shù)。批量處理假設(shè)我們不是處理一個(gè)向量而是同時(shí)處理兩個(gè)向量v1?[x1y1]vec{v_1} egin{bmatrix}x_1 \y_1end{bmatrix}v1??[x1?y1??]和v2?[x2y2]vec{v_2} egin{bmatrix}x_2 \y_2end{bmatrix}v2??[x2?y2??]。我們可以把它們拼起來變成一個(gè)2×22 imes 22×2的矩陣B[v1?,v2?]B [vec{v_1}, vec{v_2}]B[v1??,v2??]。A?[v1?v2?][Av1?Av2?] A cdot egin{bmatrix} vec{v_1} vec{v_2} end{bmatrix} egin{bmatrix} Avec{v_1} Avec{v_2} end{bmatrix}A?[v1???v2???][Av1???Av2???]這只是批量處理矩陣AAA并沒有發(fā)生什么神奇的變化它只是勤勤懇懇地、獨(dú)立地對(duì)BBB中的每一列分別進(jìn)行了變換然后把結(jié)果并排擺放。輸入2個(gè)向量。輸出2個(gè)變換后的向量。維度的含義可能又有人問用剛才這個(gè)矩陣A作用于橫著寫的向量[x,y][x, y][x,y]行不行有的人很容易把這個(gè)向量也理解為二維的?？墒前凑丈厦婺莻€(gè)“批量處理”的法則實(shí)際上這應(yīng)該是一維的數(shù)軸上的倆個(gè)獨(dú)立的點(diǎn)拼接的向量所以不可以。行數(shù)一共多少行代表維數(shù)列數(shù)一行有多少個(gè)說明了向量的個(gè)數(shù)。維度的躍遷現(xiàn)在來到最精彩的部分。ok 那我們這樣如果矩陣是3×23 imes 23×23行2列的它可以作用于二維向量[xy]egin{bmatrix}x \yend{bmatrix}[xy?]嗎檢查規(guī)則輸入向量有 2 個(gè)權(quán)重x,yx, yx,y。矩陣有 2 列。沒問題但是這一次發(fā)生了質(zhì)的變化。讓我們看看這個(gè)矩陣長什么樣A[a1b1a2b2a3b3] A egin{bmatrix} a_1 b_1 \ a_2 b_2 \ a_3 b_3 end{bmatrix}A?a1?a2?a3??b1?b2?b3???第一列Newi^hat{i}i^[a1a2a3]egin{bmatrix} a_1 \ a_2 \ a_3 end{bmatrix}?a1?a2?a3???。這是一個(gè)三維空間中的向量第二列Newj^hat{j}j^?[b1b2b3]egin{bmatrix} b_1 \ b_2 \ b_3 end{bmatrix}?b1?b2?b3???。這也是一個(gè)三維空間中的向量運(yùn)算過程Outputx?[3D Vector]?New i^y?[3D Vector]?New j^[New 3D Vector] ext{Output} x cdot underbrace{egin{bmatrix} ext{3D Vector} end{bmatrix}}_{ ext{New } hat{i}} y cdot underbrace{egin{bmatrix} ext{3D Vector} end{bmatrix}}_{ ext{New } hat{j}} egin{bmatrix} ext{New 3D Vector} end{bmatrix}Outputx?Newi^[3D Vector?]??y?Newj^?[3D Vector?]??[New 3D Vector?]如圖從矩陣形狀來說確實(shí)規(guī)定了僅有的倆個(gè)基向量圖中藍(lán)色、紅色向量的新去處即New i^,New j^ ext{New } hat{i}, ext{New } hat{j}Newi^,Newj^?但這個(gè)新地方不在原來[xy]egin{bmatrix}x \yend{bmatrix}[xy?]如圖中綠色向量所生活的二維平面的世界了 而是去了三維世界矩陣的列數(shù)Columns輸入空間的維度因?yàn)榱袛?shù)就是原來空間的基向量個(gè)數(shù)。矩陣的行數(shù)Rows輸出空間的維度把你送去幾維世界。讀者你現(xiàn)在可以自己想象一個(gè)1×21 imes 21×2的向量當(dāng)作矩陣變換的機(jī)器作用于2×22 imes 22×2的拼接向量當(dāng)然我們也稱其為矩陣會(huì)發(fā)生什么維度的“降維”現(xiàn)在讓我們把思維逆轉(zhuǎn)過來。如果我們的矩陣A這個(gè)變換的機(jī)器變得非常薄只有一行會(huì)發(fā)生什么設(shè)想我們的機(jī)器AAA是一個(gè)1×21 imes 21×2的矩陣A[12] A egin{bmatrix} 1 2 end{bmatrix}A[1?2?]與我們之前建立的“列視角”依然堅(jiān)不可摧邏輯完全一致看第一列[1][1][1]這意味著原來的橫向基向量i^hat{i}i^在這個(gè)一維新世界里變成了數(shù)字1?？吹诙衃2][2][2]這意味著原來的縱向基向量j^hat{j}j^?在這個(gè)一維新世界里變成了數(shù)字2。變換過程輸入向量[xy]egin{bmatrix} x \ y end{bmatrix}[xy?]本質(zhì)上是xxx個(gè)i^hat{i}i^加上yyy個(gè)j^hat{j}j^?。既然i^hat{i}i^變成了111j^hat{j}j^?變成了222那么結(jié)果自然就是Outputx?(1)y?(2)x2y ext{Output} x cdot (1) y cdot (2) x 2yOutputx?(1)y?(2)x2y我們的輸入對(duì)象BBB是一個(gè)2×22 imes 22×2的矩陣代表兩個(gè)二維向量B[3014] B egin{bmatrix} 3 0 \ 1 4 end{bmatrix}B[31?04?]讓我們看看AAA是如何“作用”于BBB的[12]?1D Machine?[3014]?2D Data[(1?32?1)(1?02?4)][58] underbrace{egin{bmatrix} 1 2 end{bmatrix}}_{ ext{1D Machine}} cdot underbrace{egin{bmatrix} 3 0 \ 1 4 end{bmatrix}}_{ ext{2D Data}} egin{bmatrix} (1cdot3 2cdot1) (1cdot0 2cdot4) end{bmatrix} egin{bmatrix} 5 8 end{bmatrix}1D Machine[1?2?]???2D Data[31?04?]??[(1?32?1)?(1?02?4)?][5?8?]發(fā)生了什么輸入兩個(gè)生活在二維平面上的向量[31]egin{bmatrix} 3 \ 1 end{bmatrix}[31?]和[04]egin{bmatrix} 0 \ 4 end{bmatrix}[04?]。輸出兩個(gè)躺在數(shù)軸上的數(shù)字555和888。這是三體里的“二向箔”攻擊啊1×21 imes 21×2的矩陣代表了一個(gè)投影動(dòng)作。它把二維空間中的所有物體強(qiáng)行壓縮投影到了一根數(shù)軸上。雖然輸入有xxx和yyy兩個(gè)維度的信息但經(jīng)過這個(gè)機(jī)器的降維最后只剩下一個(gè)維度的標(biāo)量。行視角在純幾何變換移動(dòng)向量的世界里列視角確實(shí)夠了。但一旦涉及到數(shù)據(jù)處理、方程求解、AI特征提取行視角就是不可或缺的上帝視角。假設(shè)我們要計(jì)算CA?BC A cdot BCA?B。列視角會(huì)如何看待這個(gè)過程如”批量處理“那一小節(jié)BBB實(shí)際上是看作一列一列的向量 (b1?,b2?,...vec{b_1}, vec{b_2}, ...b1??,b2??,...)拼起來等待A的作用。AAA是什么一個(gè)空間的變換機(jī)器。它勤勤懇懇地分別把b1?vec{b_1}b1??扭曲成了c1?vec{c_1}c1??把b2?vec{b_2}b2??扭曲成了c2?vec{c_2}c2??…最后得到C[Ab1? ∣ Ab2? ∣ ...]C [Avec{b_1} | Avec{b_2} | ... ]C[Ab1??∣Ab2??∣...]行視角 會(huì)如何看待這個(gè)過程BBB是仍然是等待作用的原材料每一行是同一種原料AAA仍然是作用在B上。但我們要把AAA切成一行一行的向量 (r1?,r2?,...vec{r_1}, vec{r_2}, ...r1??,r2??,...)。CCC的每一行都是AAA的那一行指令對(duì)BBB的所有行原料進(jìn)行的加權(quán)混合公式C[Row1(A)?BRow2(A)?B...] C egin{bmatrix} ext{Row}_1(A) cdot B \ ext{Row}_2(A) cdot B \ ... end{bmatrix}C?Row1?(A)?BRow2?(A)?B...??核心機(jī)制點(diǎn)積 (The Dot Product)敲黑板在深入例子之前我們需要看清“加權(quán)混合”的數(shù)學(xué)本質(zhì)。當(dāng)矩陣的一行配方作用于一個(gè)列向量數(shù)據(jù)時(shí)它們?cè)谶M(jìn)行一種最基礎(chǔ)的運(yùn)算——點(diǎn)積。配方?數(shù)據(jù)r??x?r1x1r2x2?rnxn ext{配方} cdot ext{數(shù)據(jù)} vec{r} cdot vec{x} r_1 x_1 r_2 x_2 dots r_n x_n配方?數(shù)據(jù)r?xr1?x1?r2?x2??rn?xn?點(diǎn)積的物理意義是雙重的代數(shù)上它是“加權(quán)求和”。配方里的數(shù)字就是權(quán)重決定了我們要取多少份的對(duì)應(yīng)原料。幾何上它是“投影”與“相似度”。衡量了數(shù)據(jù)x?vec{x}x在配方r?vec{r}r方向上的分量有多少。記住這兩點(diǎn)非常關(guān)鍵。案例重演讓我們用行視角重新審視那個(gè)維度躍遷 (3×23 imes 23×2)的例子。[100111]?[xy][xyxy]egin{bmatrix}1 0 \0 1 \1 1end{bmatrix}cdotegin{bmatrix}x \yend{bmatrix}egin{bmatrix}x \y \xyend{bmatrix}?101?011???[xy?]?xyxy??我們之前講的列視角我們?cè)?3D 空間里組合兩個(gè)基向量現(xiàn)在來看看行視角我們將矩陣看作 3 行獨(dú)立的“指令”第一行[1,0][1, 0][1,0]“只保留第一個(gè)分量忽略第二個(gè)?！秉c(diǎn)積運(yùn)算1?x0?yx1 cdot x 0 cdot y x1?x0?yx結(jié)果xxx。 提取了 x 軸的信息。第二行[0,1][0, 1][0,1]“忽略第一個(gè)分量只保留第二個(gè)?！秉c(diǎn)積運(yùn)算0?x1?yy0 cdot x 1 cdot y y0?x1?yy。結(jié)果yyy。 提取了 y 軸的信息。第三行[1,1][1, 1][1,1]“把兩個(gè)分量等比例混合?！秉c(diǎn)積運(yùn)算1?x1?yxy1 cdot x 1 cdot y x y1?x1?yxy。結(jié)果xyx yxy。創(chuàng)造了一個(gè)新的特征——“總和這三行指令提取的數(shù)據(jù)結(jié)果縱向拼接形成最終的矩陣計(jì)算結(jié)果。再回到那個(gè)1×21 imes 21×2的例子[1,2][1, 2][1,2][xy]egin{bmatrix} x \ y end{bmatrix}[xy?]這倆個(gè)矩陣作用看看列視角把基向量變成了1和2。想象空間變化的話確實(shí)有點(diǎn)抽象行視角點(diǎn)積這是一個(gè)加權(quán)配方[1,2][1, 2][1,2]。它計(jì)算1?x2?y1 cdot x 2 cdot y1?x2?y。它把二維數(shù)據(jù)壓縮成了一個(gè)讀數(shù)。AI場(chǎng)景舉例點(diǎn)積即“相似度”行視角的威力在人工智能領(lǐng)域特別是計(jì)算機(jī)視覺展現(xiàn)得淋漓盡致。在神經(jīng)網(wǎng)絡(luò)中矩陣WWW權(quán)重矩陣通常左乘輸入向量xxxyWxy WxyWx本質(zhì)上就是一堆點(diǎn)積運(yùn)算的集合。場(chǎng)景手寫數(shù)字識(shí)別輸入向量xxx我們將一張28×2828 imes 2828×28像素的圖片拉直變成一個(gè)784×1784 imes 1784×1的長向量。這就是原材料。假如它是數(shù)字”7“權(quán)重矩陣WWW假設(shè)這是一個(gè)10×78410 imes 78410×784的矩陣。它有 10 行分別代表數(shù)字 0 到 9 的“過濾器”。如果用列視角嗯… 一個(gè)784維的向量其784個(gè)基向量每個(gè)都被投影到了10維空間里比如W的第645列就是645維方向上的基向量投影到10維空間時(shí)的坐標(biāo)…然后x經(jīng)過這些新基向量再次組合成新向量…我們只可以粗略理解為輸入向量x經(jīng)過”降維“的空間變換。除此之外再想不到什么特別有效的信息行視角視角則更好理解整個(gè)過程我們看WWW的第 “7” 行對(duì)應(yīng)檢測(cè)數(shù)字7的那一行在這行向量里對(duì)應(yīng)圖片“頂部橫線”和“右側(cè)斜線”位置的數(shù)值會(huì)非常大正數(shù)比如說第600維度到700維度代表了這個(gè)含義。其他位置可能是 0 或負(fù)數(shù)。代表我們想要提取的就是600維度到700維度這些特征的數(shù)。當(dāng)我們用WWW去乘輸入圖片xxx時(shí)WWW的第七行明確說了它要提取的信息就是600維度到700維度 比如這些維度的”配方“是[12,34,12,…]以單獨(dú)的行視角來看本質(zhì)上是在做點(diǎn)積Dot Product也就是相似度匹配[00…123412…00]?W 的第7行 (模版): 關(guān)注 600-700 維的特征?[00?200255200?00]?輸入圖片 x (數(shù)據(jù)): 在 600-700 維有筆畫巨大的正數(shù) underbrace{egin{bmatrix} 0 0 dots 12 34 12 dots 0 0 end{bmatrix}}_{ ext{W 的第7行 (模版): 關(guān)注 600-700 維的特征}} cdot underbrace{egin{bmatrix} 0 \ 0\ vdots \ 200 \ 255 \ 200 \ vdots \ 0 \0 end{bmatrix}}_{ ext{輸入圖片 x (數(shù)據(jù)): 在 600-700 維有筆畫}} ext{巨大的正數(shù)}W的第7行(模版):關(guān)注600-700維的特征[0?0?…?12?34?12?…?0?0?]???輸入圖片x (數(shù)據(jù)):在600-700維有筆畫?00?200255200?00????巨大的正數(shù)點(diǎn)積結(jié)果算出來一個(gè)巨大的正數(shù)。 我們的輸入圖片xxx這些維度真的有數(shù)字且不小也可以說向量的方向很一致。模版是 7輸入也是 7匹配成功看WWW的第 “0” 行它去乘輸入圖片 “7”600維到700維沒多幾個(gè)數(shù)即像素位置對(duì)不上。 算出來很小甚至接近 0。 向量方向幾乎垂直無關(guān)。確實(shí)證明它不是”0“如圖 我們看左中右三種矩陣左邊這就是我們的輸入向量x?vec{x}x。雖然在計(jì)算時(shí)它是 高維的列向量但在行視角下我們把它這個(gè)列向量重新排列下看做一張圖片。圖中所有矩陣同理。中間“行視角”的核心這個(gè)紅藍(lán)相間的圖。就是矩陣的一行數(shù)字r7?vec{r_7}r7??和r0?vec{r_0}r0??。紅色區(qū)域表示正權(quán)重“希望這些維度有數(shù)字提取他們”。藍(lán)色區(qū)域表示負(fù)權(quán)重“不希望這里有數(shù)字”。右邊第一行匹配 7輸入的黑色筆畫完美落在了模版的紅色區(qū)域。正正得正。結(jié)果是一片亮綠色的激活區(qū)。 把所有綠色像素加起來總分Sum很高例如 10.5。系統(tǒng)便判定我們的輸入是 7第二行匹配 0輸入的黑色筆畫 “7”大部分落在了模版Row 0的白色或藍(lán)色區(qū)域那是 0 的空心部分。只有很少的地方重合。總分很低例如 2.5。系統(tǒng)判定這不是 0。所以在 AI 里行視角的”信息提取“非常有用.行視角與列視角的統(tǒng)一說實(shí)話用兩種視角解釋同一種東西確實(shí)有一種強(qiáng)行解釋的感覺。 而不是從矩陣誕生最初的意義自下而上地梳理。實(shí)際上創(chuàng)造矩陣的人也沒想到矩陣在如今能有這么多的應(yīng)用而對(duì)不同的應(yīng)用幾何變換 vs 數(shù)據(jù)挖掘我們選擇不同的角度不同的思維模型來應(yīng)對(duì)去給計(jì)算結(jié)果一個(gè)恰當(dāng)?shù)慕忉屖欠浅１阌谖覀兏檬褂镁仃嚨?。在剛才我們分別介紹了列視角和行視角的應(yīng)用場(chǎng)景而接下來我們來研究一個(gè)能同時(shí)用這倆個(gè)視角思考的場(chǎng)景。并最后做出視角的”統(tǒng)一“。我們知道無論列視角還是行視角設(shè)矩陣為AAA輸入向量為xxx當(dāng)然也可以把它看作矩陣AxAxAx都會(huì)產(chǎn)出一個(gè)結(jié)果。上面的例子我都是給出AAA和xxx分析輸出。如果我們已知的只有AAA以及他們的輸出”0“ 求xxx呢即Ax0? A x vec{0}Ax0讓我們用一個(gè)簡(jiǎn)單的2×22 imes 22×2矩陣來看看這一切是如何發(fā)生的。A[1?12?2] A egin{bmatrix} 1 -1 \ 2 -2 end{bmatrix}A[12??1?2?]我們要找Ax0Ax0Ax0的解。這里我就告訴大家一個(gè)答案當(dāng)x[x1x2][11]x egin{bmatrix} x_1 \ x_2 end{bmatrix}egin{bmatrix} 1 \ 1 end{bmatrix}x[x1?x2??][11?]時(shí)結(jié)果為 0。 也就是[11]egin{bmatrix} 1 \ 1 end{bmatrix}[11?]就為一個(gè)解?！玖幸暯强创麄€(gè)過程】A這個(gè)空間變換把基向量變成新基向量。Ax0?A x vec{0}Ax0代表最后向量按照x的組合加起來恰巧為0。比如兩個(gè)向量方向相反或者三個(gè)向量在一個(gè)平面上互相抵消。x1?(Col1)x2?(Col2)?0? x_1 cdot ( ext{Col}_1) x_2 cdot ( ext{Col}_2) dots vec{0}x1??(Col1?)x2??(Col2?)?0在本例中x1?[12]x2?[?1?2]0? x_1 cdot egin{bmatrix} 1 \ 2 end{bmatrix} x_2 cdot egin{bmatrix} -1 \ -2 end{bmatrix} vec{0}x1??[12?]x2??[?1?2?]0新基向量[1,2]與[-1,-2]和x的搭配非常獨(dú)特倆個(gè)新向量剛好相反。這里我沒說怎么求解x 而是讓大家思考下 為什么一定有非零解x其實(shí).用列視角我們可以觀察到倆個(gè)新的基向量[12]egin{bmatrix} 1 \ 2 end{bmatrix}[12?]和[?1?2]egin{bmatrix} -1 \ -2 end{bmatrix}[?1?2?]是共線的 他們張成了一維空間一條線。原來的二維空間坍縮成了一條線。二維到一維一維沒有足夠的地盤映射二維所以一定有輸入向量被擠壓到了 0 點(diǎn)。我們正是求解這些擠壓到0點(diǎn)的向量。x[11]x egin{bmatrix} 1 \ 1 end{bmatrix}x[11?]是其中一個(gè)。圖中紅色與藍(lán)色線是新基向量虛線就是新基向量張成的空間?！拘幸暯强创麄€(gè)過程】在行視角中矩陣的每一行都是一個(gè)針對(duì)輸入向量xxx的特征提取器。在本例中第一行r1?[1,?1]vec{r_1} [1, -1]r1??[1,?1]。即取 1 份x1x_1x1?減去 1 份x2x_2x2?。第二行r2?[2,?2]vec{r_2} [2, -2]r2??[2,?2]。同理。當(dāng)我們將解向量x[1,1]Tx [1, 1]^Tx[1,1]T放入機(jī)器時(shí)兩行提取的結(jié)果統(tǒng)統(tǒng)是 0。這意味著這組提取器在輸入向量xxx身上什么特征都沒提取到。這在幾何上到底意味著什么1. 核心原理點(diǎn)積與垂直還記得嗎讓我們看看老朋友點(diǎn)積 (Dot Product)。當(dāng)我們寫下Row?x0 ext{Row} cdot x 0Row?x0時(shí)我們實(shí)際上是在說這兩個(gè)向量的點(diǎn)積為 0。而在幾何公理中點(diǎn)積為 0 的唯一幾何含義就是垂直。因此我們可以得出一個(gè)普適的結(jié)論無論矩陣?yán)锏臄?shù)字多么復(fù)雜維度多么高Ax0Ax0Ax0是按第 1 行的組合方式提取x的結(jié)果是 0。第 2 行提取結(jié)果是 0?！璵mm行提取結(jié)果全是 0。{Row1?x0Row2?x0?Rowm?x0?Ax0? egin{cases} ext{Row}_1 cdot x 0 \ ext{Row}_2 cdot x 0 \ vdots \ ext{Row}_m cdot x 0 end{cases} quad Rightarrow quad A x vec{0}????Row1??x0Row2??x0?Rowm??x0??Ax0那它的含義就是“尋找一個(gè)向量xxx它必須同時(shí)垂直于矩陣AAA的所有行向量?！?.視覺驗(yàn)證我們可以驗(yàn)證一下看看那個(gè)x在哪里解的樣子 (xxx)既然x1x2x_1 x_2x1?x2?那么這個(gè)xxx向量一定躺在yxyxyx這條直線上比如[1,1],[2,2][1,1], [2,2][1,1],[2,2]。這是一條45度朝向右上方的線。配方的樣子 (Row1 ext{Row}_1Row1?)行向量本身是[1,?1][1, -1][1,?1]。這是一個(gè)向右(x1x1x1)、向下(y?1y-1y?1)的向量。這是一條-45度朝向右下方的線。第二行也躺在這視角上解向量xxx往右上45度。行向量Row1 ext{Row}_1Row1?往右下-45度。它們相交的角度正是 90 度垂直如圖紫色和淡紫色是”配方“的向量。 綠色是解。通過剛才點(diǎn)積的回顧我們知道這個(gè)垂直的幾何關(guān)系不是這個(gè)例子特殊而是一個(gè)特有的性質(zhì)。3. 結(jié)論苛刻的過濾器矩陣是極為苛刻的過濾器。要求輸入向量必須滿足其配方最終配出來為0。絕大多數(shù)輸入向量都不滿足此配方出來是0而只有一些向量滿足即我們要求解的x。他們的特點(diǎn)就是若把配方”可視化“為向量這些x與這些配方”垂直“。在輸入空間里絕大多數(shù)向量都被過濾掉了只有躲在一個(gè)垂直方向里的向量能滿足應(yīng)用配方的結(jié)果”0“?？偨Y(jié)行與列現(xiàn)在讓我們把兩個(gè)視角拼在一起列視角看輸出它展示了空間發(fā)生了坍縮平面壓成線根據(jù)維度守恒必然有向量被壓成了 0。它證明了非零解一定存在。行視角看輸入它展示了矩陣內(nèi)部的結(jié)構(gòu)。解向量必須躲在所有行向量的垂直死角里。它幫我們具體算出了這個(gè)解是誰。秩與核我們給倆個(gè)視角看到的兩個(gè)關(guān)鍵現(xiàn)象正式命名。(1) 秩 (Rank)回到列視角。我們看到原本二維的輸入空間平面經(jīng)過矩陣AAA的變換后坍縮成了一條一維的直線由[12]egin{bmatrix} 1 \ 2 end{bmatrix}[12?]與[?1?2]egin{bmatrix} -1 \ -2 end{bmatrix}[?1?2?]張成這個(gè)“變換后剩下的空間”數(shù)學(xué)上叫列空間。這個(gè)空間的維度這里是 1就叫做秩 (Rank)記為r(A)r(A)r(A)。秩代表了矩陣AAA“保留信息的能力”。我們通過列視角倆個(gè)新基向量能很輕松地判斷出”秩“。此情景下秩 1說明它把二維世界的信息壓縮成了一維丟失了一部分信息。(2) 核 (Kernel)再看行視角。我們發(fā)現(xiàn)矩陣的配方極其挑剔只有躺在yxyxyx這條直線上的向量比如[1,1][1,1][1,1]會(huì)被矩陣變成 0。這個(gè)“所有變成 0 的向量組成的集合”數(shù)學(xué)上叫核空間 (Null Space)或零空間。其維度這里也是 1因?yàn)槭且粭l線叫做零度 (Nullity)。核代表了矩陣AAA“毀滅信息的能力”。掉進(jìn)核空間里的向量再也找不回來了變成0了。行視角通過配方的可視化讓我們看出”核空間“到底在哪里統(tǒng)一視角現(xiàn)在讓我們?cè)俅慰偨Y(jié)一下。我們的輸入是一個(gè)2維的向量有兩個(gè)自由度x1,x2x_1, x_2x1?,x2?。經(jīng)過矩陣AAA的處理后通過列視角我們能清楚新基向量張成的維度即對(duì)于輸入一部分維度被“顯現(xiàn)”了出來變成了秩也就是輸出的那條線。通過行視角我們能看到到底哪些向量會(huì)被變成0即對(duì)于輸入有另一部分維度被“毀滅”了那一部分為核也就是與配方垂直的那條線。你會(huì)發(fā)現(xiàn)一個(gè)算術(shù)關(guān)系輸入總維度 (2)幸存的維度 (1)毀滅的維度 (1) ext{輸入總維度 (2)} ext{幸存的維度 (1)} ext{毀滅的維度 (1)}輸入總維度(2)幸存的維度(1)毀滅的維度(1)這不是巧合。這就是線性代數(shù)中最偉大的“秩-零度定理” (Rank-Nullity Theorem)的直覺版nr(A)dim(N(A)) n r(A) ext{dim}(N(A))nr(A)dim(N(A))輸入空間的維度 秩 核的維度此刻行與列的視角碰撞終于有了意義。列視角讓你看到 新維度去哪了秩行視角讓你看到原來的維度哪些消失了核它們共同構(gòu)成了矩陣完整的“降維畫像”。結(jié)語至此我們已經(jīng)建立了一套關(guān)于矩陣的全新直覺矩陣是機(jī)器它既可以從列視角看作空間的變換也可以從行視角看作信息的提取。乘法是作用它是變換的疊加也是配方的組合。秩是靈魂它決定了信息的保留與丟失。但這僅僅是開始。我們不僅要能“看見”這些直覺還要能用它們?nèi)ソ鉀Q具體的問題如果AxbAxbAxb中的bbb不再是 0解還在哪里如何精準(zhǔn)地算出那些“被毀滅的維度”基礎(chǔ)解系那些復(fù)雜的“初等變換”究竟是在對(duì)空間做什么…在下一篇文章中我們將帶上這套行與列視角的直覺正式踏入線性方程組的陣地去拆解那些讓無數(shù)考生頭疼的計(jì)算與證明線代此時(shí)是不是并不枯燥了呢