1、第四章,非監督式類神經網路,4.1 簡介,非監督式的類神經網路在缺乏期望輸出值的情況下，能夠自行發掘出資料中的那些特徵是重要的或是可忽略的，以便將資料作“群聚” (clustering) 的處理。此種類神經網路經常被用來作為前處理單元 (preprocessing unit)，以便萃取出資料的特徵，或將資料做向量量化 (vector quantization) 之後，再配合監督式學習法，便可完成圖樣識別 (pattern recognition) 的任務。基本上，此類型的網路，其類神經元的輸出值所代表的意義是，此類神經元對於目前輸入網路的資料，其熟悉程度有多高？熟悉程度的高低，則取決於目前資料
2、與過去網路所見過的一些已經形成範例的資料，彼此之間的相似度有多大？而量測相似度的方法，則依據各種不同的非監督式類神經網路，有各自的考量。,4.2競爭式學習演算法則 (1),除了來自生物現象的動機之外，在群聚分析 (clustering analysis) 的問題上，我們會需要非監督式的學習法來發掘出資料本身所具備的結構。 在類神經網路中有兩種實現非監督式學習法的演繹法則： 1. Hebbian 學習規則 通常不是被用來分析資料間的群聚關係或被用來將資料分類；反而是被用來量測資料間的相似性或分析出資料中的“主要成份向量 (principle components)”。 2. 競爭式學習法則 使用
3、競爭式學習法的類神經網路，只有其中的一個類神經元會被活化，這個被活化的類神經元就稱為“得勝者 (winner)”類神經元。這種類神經網路通常是被用來作群聚分析，在沒有事先的分類資訊下，去發覺資料中本身的結構及群聚關係。,群聚分析 (1),群聚分析是用來探索資料中資料群聚結構的一種工具，其目的主要是將相似的資料歸類在同一群聚中。透過分群演算法所得到的這些群聚，可以用來解釋原始資料的分布與特性。有關群聚分析的研究，仍有待解決的問題有下列幾項：(1) 如何決定相似度？(2) 如何決定群聚的數目？(3) 如何決定哪個分群的結果是較理想的？,群聚分析 (2),不同的相似度會導致所形成之群聚幾何特性不同。
4、若用歐基里德距離 ，( 代表資料點而 代表群聚中心向量)，來當相似度 (距離越小則相似度越高)，則會形成大小相似且緊密之圓形群聚。 若用 來當相似度( 值越大則相似度越高，其中 代表夾角)，則會形成同一角度之狹長形群聚。 倘若採用的是 (值越大則相似度越高)，則並不一定會形成同一角度之狹長形群聚，因為 和 的大小不同，會導致即使它們幾乎同一角度，但 值還是有很大之差異。,4.2競爭式學習演算法則 (2),競爭式學習法 (此法有時被稱為Kohonen學習規則或贏者全拿學習規則 (winner-take-all learning rule) 的單層類神經網路，如圖4.1所示,圖4.1：競爭式學習法
5、之網路架構。,4.2競爭式學習演算法則 (3),競爭式學習法的執行分為兩個階段： 步驟一：競爭階段 (competitive phase) 選出得勝者 1. 若活化函數 為嚴格遞增型的函數(如sigmoid 函數或線性函數) 如果鍵結向量 都被正規化為長度為 1 的基本向量 2. 若活化函數 為高斯型基底函數，則在不需任何其它條件下，式(4.1) 可以直接重寫為：,(4.1),(4.2),(4.3),(4.4),4.2競爭式學習演算法則 (4),步驟二：獎勵階段(reward phase)調整得勝者的鍵結向量 步驟三：疊代階段(reward phase)檢查停止訓練條件是否吻合 如果鍵結值向量
6、的改變量小於事先設定之閥值，或則疊代次數到達事先設定之上限，則停止訓練；否則，回到步驟一，繼續訓練。,4.2競爭式學習演算法則 (5),圖4.2 :鍵結值向量調整公式的幾何說明。,範例4.1：競爭式學習法則 (1),假設學習率，網路由兩個類神經元所組成，類神經元的鍵結值初始值分別為： 以及 。,範例4.1：競爭式學習法則 (2),歐基里德距離,範例4.1：競爭式學習法則 (3),值,範例4.1：競爭式學習法則 (4),內積,圖4.6 : 以內積為得勝者選取標準的分群結果。,圖4.5 : 以cos值為得勝者選取標準的分群結果。,圖4.4 : 以歐基里德為得勝者選取標準的分群結果。,4.2競爭式學
7、習演算法則 (6),我們將競爭式學習法的特性分析如下： 鍵結向量的初始化會影響到學習的最後效果，而這個問題的解決方式有： (1)將所有類神經元的鍵結向量隨機初始化為一部份的輸入向量。(2)加入良心機構 。 (3) 在獎勵階段時，所有的類神經元的鍵結向量都予以調整，但 得 勝者調整得最多。 類神經元的數目必須由使用者設定，因此如果設定的不對 (即不等於實際資料的群聚數目)，則會將資料錯誤地歸類。,圖4.3：鍵結值向量之初始化對競爭式學習法之影響：其中 將永遠得不到被調整的機會。,K-means 演算法,步驟一：設定群聚目K0，以及群聚中心的初始中心位 置 ，其中 。 步驟二：將訓練資料 ，依據它
8、們與各個群聚中心的距離 (可以用一般的歐基里德距離或是其它距離量測)遠近，分配到最近的群聚中心。 步驟三：依據下式來更新群聚中心位置： 其中代表所有被歸類於第個群聚的資料集合，代表屬於的資料個數。 步驟四：如果 ( 是一個事先給定的正實數)，或資料的歸類與前一次疊代過程相同，又或者是疊代次數超過某一上限，那麼就停止運算，否則，回到步驟二，繼續疊代。,競爭式學習法與K-means 演算法之比較,競爭式學習法比K-means 演算法更受資料順序所影響。競爭式學習法是圖樣學習，而K-means 演算法是批次學習。競爭式學習法所得到之鍵結值不一定是群聚中心，但K-means 演算法卻是。,4.3適應共
9、振理論 (1),“穩定性與可塑性的進退兩難論 (stability and plasticity dilemma)” 。這個學習系統要有足夠的穩定性來抗拒環境中不相干的干擾或事件，但又要有足夠的可塑性以便能夠快速地改變及學習，來因應環境的變化，也就是說，要能夠快速學習，但又不會洗去舊有的記憶。 適應共振理論 (Adaptive Resonance Theory 簡稱ART) 採用的是動態式的網路架構，也就是說，有足夠數目的類神經元等待著被使用 。由適應共振理論發展出來的，有處理二元值輸入的 ART 1 3 及處理連續信號的 ART 2 4，除此之外，Fuzzy ART 7 及 ARTMAP 8
10、 也是相關的網路。,4.3適應共振理論 (2),步驟一：設定所有類神經元的初始鍵結值為構成元素都為 1 的向量，亦即 。 步驟二：將輸入向量呈現至網路，若是第一筆資料，則設定第一個輸出類神經元為得勝者，然後直接跳到步驟六。 步驟三：致能所有曾經得勝過的輸出類神經元。 步驟四：在所有被致能的類神經元中，根據以下的標準尋找與輸入向量 最接近的類神經元，所謂的 “最接近” 就是指 “相似度” 最大，此時相似度的量測被定義為 (第一種評比標準)：,(4.6),4.3適應共振理論 (3),步驟五：從步驟三中所選出的得勝者 (相似度最大之類神經元) ，假設第 j個類神經元是得勝者，我們再用第二種相似度標準
11、來量測得勝的類神經元中所儲存的樣本，與輸入向量 x 的相似度是否真的夠大？第二種相似度的量測被定義為 (第二種評比標準)： 當 ( 為評定輸入向量與樣本間是否相似的警戒參數) 時，則代表 wj 與 x 可被視為極為相似，這時便可執行步驟六；否則將第 j 個類神經元取消致能 (disable)，回到步驟四，找尋下一個 高的類神經元。 步驟六：調整得勝者類神經元的鍵結值。調整的目標是使得 更接近 ： 然後輸出 j，代表此時的輸入 被分為第 j 類；回到步驟一，重新接受新的輸入。,範例4.2 ART 1 網路應用於圖樣識別 (1),範例中的每個圖樣都是一個 55 的灰階圖 (黑色代表 1，白色代表
12、0)，我們用251的向量來代表每一個圖樣，因此網路的輸入層共有 25 個結點 (類神經元)，假設網路的輸出層共有四個類神經元。,圖4.4：以ART 1進行圖樣識別之輸入圖樣以及分類結果：(a)，(b) 。,範例4.2 ART 1 網路應用於圖樣識別 (2),首先將網路鍵結值初始化，並且致能所有的類神經元，也就是：我們將警戒參數設定於 =0.7 和設定式(4.6)中的 =1/2。然後將四個圖樣一一輸入。(1) 輸入圖樣 A xA： (2)輸入圖樣 BxB：,範例4.2 ART 1 網路應用於圖樣識別 (3),(2)輸入圖樣 CxC：,範例4.2 ART 1 網路應用於圖樣識別 (4),(4) 輸
13、入圖樣 DxD：,4.3.2ART 1的特性分析 (1),由於 ART 1 處理的輸入是單極性的二元值 (unipolar binary)，所以需要 及 來確定 與 的 1 與 0 位於相同的位置有多少 ? 另一種變通的方式是計算漢明距離 (Hamming distance)，即可取代上述的兩種標準。 x=1100111T, w1=1110110T, w2=1100100T, S1(w1, x)=4/5, S1(w2, x)=3/3, S2(w1,x)=4/5, S2(w2, x)=3/5 。,4.3.2ART 1的特性分析(2),若增加警戒參數值 的大小，則會導致群聚數目的增加。警戒參數值的
14、選定，關係到整體的分群效果，目前沒有具體的參考標準可以依據，以便設定警戒參數值。若輸入的維度為 P，則 ART 1 可以形成的群聚數目最大為2P，此乃因為輸入向量的維度為 P，所以最多有2P個不同的輸入，只要警戒參數 設得夠大的話，則2P個輸入便可分成 2P類。,4.3.2ART 1 的網路實現 (1),最底下一層為輸入層 F0，此層的類神經元不具資訊處理的能力。中間那一層為 “特徵表現區 (feature representation field)” F1，這一層的主要工作是接受來自 的輸入。最上一層為 “分類表示區 (category representation)” F2，亦稱為 “贏者
15、全拿層 (winner-take-all layer)” 。,圖4.5：ART 1 的網路架構。,4.3.2ART 1 的網路實現 (2),1. 增益控制單元 (gain control unit) 2. 特徵表現區 F1 這三種信號，必須至少有兩個同時為 1， uh才會為 1，否則為 0，這就是所謂的2/3 規則。,4.3.2ART 1 的網路實現 (3),3. 分類表現區 代表F1的第 h 個類神經元至F2的第 j 個類神經元的鍵結值，與由上至下的鍵結值的關係如下：輸入向量輸入 ART 1 時，會透過由下而上的鍵結值 送至F2。因此，類神經元得到的總輸入為,4.3.2ART 1 的網路實現
16、 (4),代表的就是F2的第 j 個類神經元所儲存的樣本向量。F2層的類神經元便會根據 的大小來競爭，以便成為得勝者。當有一個類神經元勝出時，會導至 G = 0，因此， 。F1的類神經元的輸出總合 就與4.3.1節之步驟五中的 的分子相同，所以,4.3.2ART 1 的網路實現 (5),4. 重置單元 (reset unit) (1) 若 R = 0，則進入所謂的 “共振 (resonance)” 狀態，亦即 與 之間傳遞的信號會反覆出現。 (2) 若 R = 1，則剛才得勝者的那個類神經元會被取消致能 (disable)，然後剩餘的類神經元便彼此競爭以爭取勝出的機會。,4.4特徵映射,人類的
17、大腦可以依其不同的功能區分為不同的區域，舉例來說，負責觸覺、視覺、聽覺等的感應器分別對應至大腦皮質上的不同區域 。自我組織特徵映射網路 (self-organizing feature map network，簡稱為 SOFM 網路或SOM 網路)，是根植於競爭式學習的一種網路。 輸出層的類神經元會根據輸入向量的特徵以有意義的拓蹼結構 (topological structure) 展現在輸出空間中 。,4.4.1大腦皮質中的特徵映射(1),人類學家發現身為靈長類的我們，之所以比其它哺乳類動物具有更高的智慧，是因為人類大腦發展出更高層次的大腦皮質。人類的大腦表面，幾乎完全地被一層皮質所覆蓋著，
18、這層皮質雖然只有大約 2mm 的厚度，但將其展開的表面積可達 2400 平方公分。大腦約三磅，需五分之一血及氧氣供應量。以其複雜程度來說，大腦皮質的結構堪稱為是目前已知的最複雜的系統。,4.4.1大腦皮質中的特徵映射(2),人類大腦分成左腦和右腦兩個半腦，左右兩個半腦透過胼胝體(corpus callosum) 連接起來。在大腦裡，除了中央底部的松果體之外，每一模組在兩個腦半球都各有一個。由於左右兩半腦的生理結構並非完全相同，左腦有較多之灰質(細胞體組成) ；而右腦卻有較多之白質(軸突束組成) ，導致左右兩腦各有不同之功能。一般而言，左腦善於計算及構思；而右腦則與感覺及知覺較有關係。此外，左腦
19、和身體右半邊的關係最直接(嗅覺是例外)；右腦則正好相反。,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,摘自：大腦的秘密檔案 洪蘭 譯,黑猩猩的大腦在子宮裡就幾乎發展完成，但人類則於出生後又持續發展。,4.4.1大腦皮質中的特徵映射(3),許多大腦的研究已確定腦部確實有某種程度的局部化。但大多數的腦功能仍需不同部位的皮質一同合作，才能正常運作，所以大腦也並非絕對地局部化。大部份的皮質是用來做感覺處理，只有額葉負責做非感覺處理；尤其特別的是，每一種感覺在大腦都有特定部位負責處理。圖4
20、.10所示為大腦皮質的結構圖，其中不同區域的劃分是以其不同的皮質厚度以及不同種類的神經元來加以區分。,4.4.1大腦皮質中的特徵映射(4),我們可以發現不同的感應器輸入，會以某種特定的方式，映射至大腦皮質上不同的區域，這種映射關係並不是天生就固定不變的，而是在神經系統的發展初期時所決定的。許多人相信，基因並無法完全主導神經元的連接模式來達成此種拓樸結構，很可能有許多不同的機制 (mechanisms)，一同參與此種發展，其中“學習”與“制約” (conditioning)，最可能參與拓樸映射圖形成的過程。,4.4.1大腦皮質中的特徵映射(5),一旦映射圖形成之後，神經系統就能夠很有彈性地處理外
21、界的各種刺激。即使大腦皮質上的特徵映射關係形成後，在某種程度上來說，這些映射關係仍然是可以改變的，以適應外界或是感應器輸入的變化，而其可以改變的程度，則視不同的系統而有不同的可塑性。 左半腦切除手術 。每兩萬五千人中，有可能會有一人會得到感官相連症 。,4.4.1大腦皮質中的特徵映射 (2),大腦皮質上採用特徵映射的好處是 ： 有效地處理資訊 易於存取資訊 共同的資訊表示方式,圖4.6：大腦皮質結構圖。其中，1.腿; 2.軀幹; 3.手臂; 4.頸; 5.面部; 6.舌、語言; 7.味覺; 8.聽覺; 9.知覺; 10.觸覺;,4.4.1大腦皮質中的特徵映射(6),大腦皮質上採用特徵映射的好處
22、是 ：有效地處理資訊 易於存取資訊加快對傳入訊息的辨識速度：倘若沒有映射圖的存在，任何的刺激都可能產生多重感官的認知。譬如說，我們眼前出現黃蜂，這個刺激會被感受成味覺、嗅覺、及聽覺等感知，等到大腦產生要我們小心的認知時，我們可能已伸手想品嚐誤以為是美味的食物，而被它螯得痛死了12。易於系統的交互作用：,摘自：大腦的秘密檔案 洪蘭 譯,4.4.2側向聯結 (1),特徵映射圖形成的原因，除了非監督式學習是個重要關鍵之外，“側向聯結”也是不可或缺的要素之一。在許多生物的腦部組織中會有大量的神經元，彼此之間有側向聯接，側向聯結的回饋量，通常是以墨西哥帽函數來代表 。一、具有一短距離的側向激發作用區域
23、(半徑約 50 至 100 微米)，圖中標示為 1 的區域。 二、具有一較大的側向抑制作用區域 (半徑約 200 至 500 微米)，圖中標示為 2 的區域。 三、一個強度較小的激發作用區域，其涵蓋區域包圍著抑制區域 (半徑可達好幾公分)，圖中標示為 3 的區域。,圖4.7：墨西哥帽函數。,4.4.2側向聯結 (2),由圖4.8所示的類神經網路有兩項重要的特徵：第一個是網路的反應會集中於一小區域稱之為活化氣泡(activity bubbles) 的範圍內；第二個是產生活化氣泡的位置是由輸入向量的特徵所決定。,圖4.8：一維陣列結構之側向聯結。,圖4.9：式(4.35)所表示的回授系統。,範例4
24、.3：活化氣泡的電腦模擬 (1),圖4.10：簡化之墨西哥帽函數。,圖4.11：簡化之活化函數。,範例4.3：活化氣泡的電腦模擬 (2),圖4.12：不同的回授因子所產生之活化氣泡；(a); (b)。 (本圖摘自：S. Haykin, Neural Networks : A Comprehensive Foundation, 1994),4.4.3自我組織特徵映射演算法 (1),自我組織特徵映射演算法的主要目標，就是以特徵映射的方式，將任意維度的輸入向量，映射至一維或二維的特徵映射圖上。“贏者全拿”的競爭式學習法，無法發展出拓樸映射圖。藉由定義“鄰近區域”函數的方法，來表現活化氣泡的基本精神，
25、以取代較複雜的側向聯接的回授功能。,圖4.13：二維矩陣之自我組織特徵映射模型。,4.4.3自我組織特徵映射演算法 (2),步驟一、初始化：將鍵結值向量 wj(0)，以隨機方式設定其值，但須注意所 有的 N 個鍵結值向量之初始值都應不同，而 N 是類神經元的個數。 步驟二、輸入呈現：從訓練集中隨機選取一筆資料輸入此網路。 步驟三、篩選得勝者類神經元：以最小歐幾里德距離的方式找出，在時間 n 的得勝者類神經元 j*： 步驟四、調整鍵結值向量：以下列公式調整所有類神經元的鍵結值向量： 其中 是學習率參數， 是得勝者類神經元 的鄰近區域， 兩者都是時間 n 的函數。 步驟五、回到步驟二，直到特徵映射
26、圖形成時才終止演算法。,4.4.4參數的選擇,學習率參數 ：Kohonen建議 就是一個合理的選擇。 鄰域函數：鄰近區域函數通常採用包圍著得勝者類神經元 j* 的正方形的型式。鄰近區域的設定，應於一開始時包括全部的類神經元，然後隨著時間的增加而慢慢縮減鄰近區域的大小 。學習次數： Kohonen建議學習過程的次數大約可以設定為網路中類神經元個數的500倍以上。在每一次的學習循環中，應該將資料輸入至網路的次序打亂，以得到較好的數理統計特性。,圖4.14：鄰近區域函數：(a) 正方形; (b) 六邊形的型式。,4.4.5改良方法,我們將得勝者類神經元 j* 的鄰近區域函數 j* ，依側向聯結的距離
27、予以遞減，令 j,j* 代表第 j 個類神經元與得勝者類神經元 j* 的側向聯結距離，其距離的計算方式是以輸出空間 A 中，與第 j* 個類神經元的歐幾里德距離，令 dj,j* 代表得勝者類神經元 j* 的鄰近區域函數的強度，由於鄰近區域函數的強度 是側向聯結距離 的函數，因此我們可以發現 鍵結值向量的調整公式修正為：,圖4.20：高斯型式之鄰近區域函數。,良心機構(conscience mechanism),使得所有的類神經元，能有較均等的機會成為得勝者，以免得網路會因初始值設定的不良，而導致不良的結果。步驟一、經由下式找出最接近輸入向量 的鍵結值向量 ： 步驟二、令 為第 j 個類神經元成
28、為得勝者的機率，則： 步驟三、使用良心機構找出新的得勝者類神經元： 步驟四、調整得勝者類神經元的鍵結值向量：,範例4.4 均勻分佈之資料的自我組織特徵映射圖 (1),我們使用100個類神經元排列成1010的二維矩陣來進行電腦模擬，用來進行測試的輸入向量 的維度也是二維的資料，且其機率分佈為均勻地分佈在 。,圖4.17：均勻分佈之資料的自我組織特徵映射圖：(a)隨機設定之初始鍵結值向量;(b)經過50次疊代後之鍵結值向量;(c) 經過1,000次疊代後之鍵結值向量;(d) 經過10,000次疊代後之鍵結值向量;(e) 訓練過程中，網子打結的情形; (f) 訓練過程中，網子纏繞的情形。,範例4.4
29、 均勻分佈之資料的自我組織特徵映射圖 (2),如果我們將輸入資料均勻地分佈至三角形的區域，網路經過充分的訓練之後，可以得到如圖4.18(a)的拓蹼映射圖。又如果此時將原本1010的二維網路架構改成1001的一維網路架構。,圖4.18：(a) 1010的拓蹼映射圖；(b) 1001的拓蹼映射圖。,範例4.5非均勻分佈之資料,類神經元在特徵映射圖中的機率分佈，的確可以反應出輸入向量的機率分佈。這裏要強調一點的是，資料的機率分佈特性並非是線性地反應於映射圖中。,圖4.19：三群高斯分佈之資料。,4.4.6特徵映射圖之應用,特徵映射圖的應用可從兩方面來看： 藉由電腦模擬的驗證，可以用來佐證人腦的映射圖
30、的形成假設16-17。 可利用特徵映射圖來解決許多工程方面的問題，如：機器人手臂控制18、群聚分析19-22、及向量量化23等，有心的讀者可以參考文獻12，24，以便能進一步的瞭解特徵映射圖，因為這些文獻詳盡地介紹特徵映射圖於工程上的各種應用。,範例4.7：應用特徵映射圖於語音辨識,應用特徵映射圖於語音辨識 : Kohonen 曾經利用芬蘭語的音素 ，訓練出一個 812 的類神經元矩陣，經過此校正的加標過程後，得到圖4.21 的音素映射圖，從此圖可以讓我們很清楚地看到，音素的頻譜特徵向量有群聚效果，而此圖的用途，可用於語言“治療” (therapy) 或訓練。 事實上，此圖的終極用途是希望能解
31、決語音辨認的問題。經過加標過程後的特徵映射圖，可被用來當作是分類器使用，當輸入送進網路後，我們可用得勝者之加標符號將此輸入予以分類。此種將特徵映射圖當作分類器使用的作法，基本上是對每一類別用多個樣本(templates) (即類神經元之鍵結值向量) 來代表。,圖4.21：芬蘭語之音素映射圖。,範例4.8：應用特徵映射圖於群聚分析 (1),如何從訓練好的特徵映射圖中得到分群資訊是一大挑戰。Ultsh 和Siemon 提出U-matrix 方法19、以及Kraaijveld 等人提出了一種將特徵映射圖轉換為灰階影像以利肉眼判讀出群聚資訊的方法 20。 在訓練完SOM的網路後，求出每一個神經元與其上
32、下左右的四個鄰居的神經元的距離 (神經元間的距離是以鍵結值向量間的歐基里德距離為準) ，然後，取其最大值當作該神經元的強度，距離越大則該神經元於灰階影像的灰階值越大(越亮)。因此，若影像中有被白色環繞之黑色區塊出現時，則該黑色區塊很可能就代表一個群聚的存在。,圖4.26：灰階影像以利肉眼判讀出群聚資訊的方法。,範例4.8：應用特徵映射圖於群聚分析 (2),在原本的SOM網路架構中加入調整類神經元之平面位置向量的概念，以反應出資料間的拓樸關係，進而提供我們更多有關於資料集合中的群聚資訊。DSOM在特徵映射圖的形成過程中，除了會調整鍵結值向量外，也會一起調整平面位置向量，兩者交互進行。如此一來，不
33、但可以得到傳統的由鍵結值向量所組成之特徵映射圖，還可以得到由平面位置向量所形成之神經元移動軌跡圖。從移動軌跡圖中，使用者便可以估測出資料的群聚資訊，以輔助我們判斷群聚之數目及其幾何特性。,圖4.27：雙自我組織特徵映射圖（DSOM）判讀出群聚資訊的方法(本圖摘自22)。,4.4.6特徵映射圖之應用(3),4.5學習向量量化 (1),LVQ網路的訓練使用加標的資訊 (category information)，而競爭式學習網路則沒有這類的期望輸出值。LVQ網路則可採用多個樣本向量來代表同一分類(class)。LVQ網路的訓練過程分成兩個階段:第一階段是採用非監督式學習法 : 分群的方法可以是競爭
34、式學習法或其它群聚分析法如k-means演繹法，接著我們利用加標資訊將這些群聚予以加標，使用“多數制”的投票法將群聚加標，也就是說，這個群聚所涵蓋的圖樣以那一種分類(class)為最多，則這個群聚就被標示為那個分類，群聚經此加標過程之後。第二階段 監督式學習法，使用加標的圖樣將群聚位置予以細調。,4.5學習向量量化 (2),步驟一、利用群聚演繹法(clustering algorithm)(如：競爭式學習法和k-means演繹法等)來將圖樣的群聚中心位置找到，並以這些位置來初始化類神經元的鍵結值。 步驟二、利用“多數制”的投票法將類神經元予以加標。 步驟三、隨機選取加標過的資料(圖樣 x)輸入
35、至網路，並根據下式找出得勝者 j*步驟四、調整得勝者類神經元的鍵結值 步驟五、若疊代次數已超過限制或鍵結值已收斂則停止訓練，否則回到步驟三。,範例4.7 學習向量量化 (1),=0.1,範例4.7 學習向量量化 (2),4.6結語,我們介紹了幾種以非監督式學習為架構的類神經網路，此種架構的類神經網路最適合用來分析資料的群聚關係，在沒有任何分類資訊(category information)的情況之下，這些神經網路可以主動地偵測到資料的結構，進而將資料依其相似度的大小而分成數個群聚。當然每種網路都各有其優缺點。自我組織特徵映射圖則是特徵萃取的有利工具，若再配合監督式學習法將是很有效的圖樣分類器。學習向量量化網路則是一種將非監督式與監督式學習法結合的類神經網路，可被當作分類器使用。,
