ann

類神經網路簡介

主講人：巫沛倉博士

義守大學工業工程系碩士班

類神經網路

 類神經網路（Artificial Neural Networks）

又名:

– 分散式處理器（parallel distributed processors)

– 適應系統（adaptive systems）

– 自我組織系統（self-organizing systems）

– 神經計算機（neurocomputers）

– 連接機構（connectionism）

– 神經網路（neural networks）

類神經網路講義

巫沛倉製

何謂類神經網路？

 類神經網路是指利用電腦來模仿生物神

經網路的處理系統。

 更精確的說﹕類神經網路是一種計算系

統，包括軟體與硬體，它使用大量簡單

的相連人工神經元來模仿生物神經網路

的能力。





類神經網路講義

巫沛倉製

類神經網路定義

 『類神經網路是一種計算系統，包括硬

體與軟體，它使用大量簡單的相連人工

神經元來模仿生物神經網路的能力。人

工神經元是生物神經元的簡單模擬，它

從外界環境或其它的人工神經元取得資

訊，並加以非常簡單的運算，而後輸出

其結果到外界環境或其它人工神經元。』



類神經網路講義

巫沛倉製

生物神經架構









類神經網路講義

巫沛倉製

類神經網路範圍

 類神經網路的理論衍生自個個不同科學，

其中，包含心理學、數學、神經科學、

物理學、計算機科學、生物學、工程科

學、哲學等。僅管這些領域的研究方向

不盡相同，但它們的目標確是一致的：

都是為了建立一個智慧型的系統，以滿

足各方面的需求。



類神經網路講義

巫沛倉製

表 2-1.1 類神經網路（ANN）的研究發展史



時間 貢獻者 ANN模型

1957 Rosenblatt 感知機(Percentron)

1961 Steinbuch 學習矩陣(Lermatrix)

1962 Widrow 自我調適線性元件(Adaline)

1968 Grossberg 大系統模型

1969 Willshaw 布爾AM

1971 Amari 布爾網路理論

1972 Anderson 線性AM

1972-1984 Fukushima 認識機/神經認知機

1972 Albus 雪崩網路理論

1972 Vonder Malsburg 自組織原理

1972 Kohonen AM理論

1975 Freeman AM網路設計

1977 Hecht-Nielsen 自適應大系統

1977 Anderson BSB---盒中腦

1978-1986 Grossberg 自我調適共振理論(ARTl和ART2)

1980 Kohonen 自組織映射

1974-1985 Rumelhart,webb等 BP理論

1982 Hepfieid HNN

1982 Psaltis,Hinton等 聯想網路

1982 Crz-Yong 學習網路

1985 Hinton等 Boltzman機(BM)/Cauchy機

1986 Hecht-Nielsen Counter -- Propagation

1986 Marks ⅠⅠⅠ 交替投影NN(APNN)

1986 Psaltis 光學NN

1988 Chua-Yang 細胞NN(CNN)

1985-1988 Kosko BAN/自適應BAM



類神經網路講義

巫沛倉製

類神經網路特性

 嚴謹的數學基礎  圖形辦識的能力

 平行處理的本質  分散式聯想記憶

 容忍錯誤的能力 (Associative Memory)

 自我調適的能力  解決最佳化

 非線性的運算

(Optimisation)問題

 超大型積體電路實現

 翰入輿輸出的對映

(VLSI Implementation)

 具有學習的能力





類神經網路講義

巫沛倉製

工業與工程方面應用

 資料分析(例如礦床探測訊號分析) 、

 故障診斷(例如飛機、汽車引擎診斷) 、

 決策諮詢(例如自來水廠水質處理操作、

材料選用) 、

 製程監控(例如化工、鋼鐵製程監控) 、

 最適化問題求解。





類神經網路講義

巫沛倉製

商業金融方面應用

 商業決策(期貨交易決策、債券分級、保

單審核) 、

 商業預測(股票預測、利率預測) 、

 商業分析(財務分析、稅務分析)。









類神經網路講義

巫沛倉製

科學與資訊方面應用

 醫學疾病診斷、

 氣象預測、

 電腦輔助教學、

 電腦音樂...等。









類神經網路講義

巫沛倉製

類神經網路架構

 輸入層

 隱藏層

 輸出層









類神經網路講義

巫沛倉製

類神經網路講義

巫沛倉製

類神經網路學習

 監督式學習網路(Supervised Learning

Network)。

 無監督式學習網路(Unsupervised Learning

Network)。

 混合式學習網路(Hybrid Learning Network)。

 聯想式學習網路(Associate Learning Network)。

 最適化學習網路(Optimization Application

Network) 。

類神經網路講義

巫沛倉製

監督式學習網路

 從問題領域中提供訓練範例，包含輸入

資料輿翰出資料。

 網路從中學習輸入資料與輸出資料的內

在對映規則。

 有如老師指導學生對問題做正確的回答。

 常應用於圖形辨認和預測領域。

 如倒傳遞神經網路。

類神經網路講義

巫沛倉製

無監督式學習網路

 只從問題領域中取得只有輸入資料的訓

練範例。

 網路從中學習輸入資料的內在聚類規則，

以應用於新的案例。

 有如腦神經細胞有『物以類聚』的特性。

 如自組織映射圖網路(Self-Organizing

Map，SOM)、自適應共振理論網路

(Adaptive Resonance Theory Network,

類神經網路講義

ART)。 巫沛倉製

混合式學習網路

 結合無監督式學習與監督式學習

 學習過程分成兩階段:

– 第一階段以無監督式學習調整輸入層與隱藏

層間的連結加權值，達到將訓練範例聚類到

隱藏層單元的目的，如SOM。

– 第二階段以監督式學習調整隱藏層與輸出層

問的鏈結加權值，達到學習訓練範例輸入向

量對映輸出向量內在規則的目的，如Counter

Propagation。

類神經網路講義

巫沛倉製

聯想式學習網路

 以狀態變數值為訓練範例，並從中學習

範例的記憶規則，然後應用於只有不完

整狀態值，而需推論完整狀態的新案例，

這種網路可以應用於擷取應用與雜訊過

濾。

 霍普非爾網路(Hopfield Neural Network)

以及雙向記憶網路(Bi-directional

Associative Memory)等屬之。

類神經網路講義

巫沛倉製

最適化學習網路

 先設計問題的變數值，使其在滿足設計

限制下，達到最佳目標狀況的應用，這

種網路可用在設計應用與網路應用。

 霍普菲爾－坦克網路(Hopfield-Tank

Neural Network)以及退火神經網路

(Anealed Neural Network)等屬之。





類神經網路講義

巫沛倉製

類神經網路的分類

 前向式架構(Feed Forward Network)

– Perceptrons

– Back Propagation Network

– Linear Associate Memory

– Hamming Network

– Clustering Network

– Counter Propagation Network

– Self Organizing Network

類神經網路講義

巫沛倉製

類神經網路的分類

 回饋式架構(Recurrent Network)

– Auto-associative Memory

– Bi-directional Associative Memory

– Gradient-type Network

– Temporal Associative Memory

– MAXNET

– Adaptive Resonance Theory Network



類神經網路講義

巫沛倉製

類神經網路常遇到的問題

 區域極小值 (Local Minimum)。

 過度訓練(Over Training)或訓練不足

(Under Training)。

 隱藏層數目及神經元數目的決定。

 無法收斂。







類神經網路講義

巫沛倉製

區域極小值 (Local Minimum)

 類神經網路在尋找整體最小值(Global

Minimum)之解時，所採用的方法乃是坡

度遞降(Gradient Decent)法。

 坡度遞降法的缺點是所找出的解可能只

是區域的極小值，而非整體最小值。







類神經網路講義

巫沛倉製

Local vs Global Minimum









區域最小值







整體最小值

類神經網路講義

巫沛倉製

過度訓練或訓練不足

 若對輸入訓練的資料學習過度，可能會

將資料中的雜訊學習進去，造成過度訓

練，對新資料的預測反而有不良的效果。

 若學習不足，亦無法作出太好預測，也

就是訓練不足。

 一般較重視的是過度訓練的問題，因為

若能收斂，表示已有相當的學習。



類神經網路講義

巫沛倉製

如何知道過度訓練

 除了訓練範例之外，另外準備一組測試

範例。

 當網路對訓練範例收斂時，測試範例是

否也跟著收斂。

 解決過度訓練的方法之一是更改誤差的

容忍度。





類神經網路講義

巫沛倉製

隱藏層數目及神經元數目

 層數越多，計算就越複雜，也就容易有

區域極小值的問題出現。

 一般認為至多只要二層隱藏層即可處理

任何問題。

 隱藏層內的神經元數，一般皆採用嘗試

錯誤法(Try Error Method)找出最佳處理單

元數。通常介於輸入層神經元數與輸出

層神經元數和的一半，到輸入層神經元

數的兩倍間。 類神經網路講義

巫沛倉製

造成無法收斂的原因

 輸入訓練的資料內有極端狀況或互相矛

盾。

 輸入訓練的資料其排列順序問題。

 所設定之誤差容忍度太小。

 隱藏層內處理單元數目太少。

 學習率太大所產生的震盪現象。





類神經網路講義

巫沛倉製

倒傳遞神經網路

 倒傳遞類神經網路是目前類神經網路學

習模式中最具代表性，應用實務最普遍

的模式。

 1957年感知機模式被提出，此一模式缺

乏隱藏層，它的學習能力受到相當大的

限制。

 1985年P. Werbos, D. Parker, G. E. Hinton,

等提出了隱藏層的學習演算法，才使得

倒傳遞神經網路進入新的一頁。

類神經網路講義

巫沛倉製

倒傳遞神經網路

輸出值

誤差值







輸出值

誤差值







輸出值

誤差值



輸入層 隱藏層 輸出層



類神經網路講義

巫沛倉製

倒傳遞類神經網路

 屬於監督式學習網路，因而適合診斷、預測等

應用。

 由許多單層網路所連結，而每一層的網路，則

由數個神經元（Neuron），或稱節點（Node）

所組成。

 在網路中某一個神經元的的基本架構，每一個

神經元的輸出，都乘上其相對應的加權連結值

（Weights）再加總，再透過激發函數

（Activation function）的計算產生輸出訊號。

類神經網路講義

巫沛倉製

倒傳遞類神經網路架構

 輸入層：在輸入層的神經元，用以表現

網路的輸入變數，沒有計算能力，其輸

入變數的個數視處理問題的狀況而定，

輸入的資料型態需先做正規化處理，使

用線性轉換函數，如F(X)=X。









類神經網路講義

巫沛倉製

倒傳遞類神經網路架構

 隱藏層：在隱藏層中的神經元稱為隱藏

元，用以處理輸入單元送來的資料，使

用線性轉換函數。









類神經網路講義

巫沛倉製

倒傳遞類神經網路架構

 輸出層：用以表現網路的輸出變數，當

網路在訓練時，此輸出為一訓值，將訓

練值和實際值的誤差回饋互連接權值

(Connect Weight)，以調整權值至最佳狀

態，直至網路收斂為止。其處理單元的

個數亦視問題而定，使用的是非線性轉

換函數。



類神經網路講義

巫沛倉製

神經元架構圖

x 1

w 1j









x 2

w 2j





.

.

.

. å f o j







x n -1

w

( n -1) j









x n

w nj





類神經網路講義

巫沛倉製

非線性激發函數

 雙彎曲函數（Sigmoid function）

 高斯主動函數（Gauss action function）

 雙曲線正切函數（Hyperbolic tangent

function）

 片段線性函數（Piecewise-linear function）

 雙極性函數（Bipolar function）





類神經網路講義

巫沛倉製

雙彎曲函數(Sigmoid Function)





1.0



1

f ( x)  -x

0.5



1 e -¥ 0 ¥







類神經網路講義

巫沛倉製

Feedforward學習過程

 輸入層：



o pi  x pi , i  1,2,..., nI

– 其中， xpi為訓練範例p(pth pattern)第i個輸入

層節點。 opi為第i個輸入層神經元的輸出。









類神經網路講義

巫沛倉製

Feedforward學習過程

 隱藏層：

o ph  f (net ph ), h  1,2,..,nH ,

nI

net ph  å whi * o pi   h

i 1

– 其中，oph為第h個隱藏層節點輸出，netph為

第h個隱藏層節點淨輸入值，而h為第h個隱

藏層節點的偏權值，whi是第h個隱藏層節點

對第i個輸入層節點的鏈結權重值， f(netph)

為網路之激發函數。

類神經網路講義

巫沛倉製

Feedforward學習過程

 輸出層：

o pk  f (net pk ), k  1,2,...,nO

nO

net pk  å wkh * o ph   k

k 1

– 其中，為opk第k個輸出層節點輸出， netpk為

第k個輸出層節點的淨輸入值，而 k為第k個

輸出層節點的偏權值，是wkh 第k個輸出層節

點對第h個隱藏層節點的鏈結權重值， f(netpk)

為網路之激發函數。類神經網路講義

巫沛倉製

坡度遞降法(Gradient Decent Method)

 定義成本函數E（Cost function）

1

E P  å ( d pk - o pk ) 2

2 k

E  å EP

P



其中，Ep為各訓練範例輸出的誤差，E為

所有訓練範例的總輸出誤差，dpk為第k個

輸出層節點目標值，k為輸出節點數，而

p為訓練範例的個數。

類神經網路講義

巫沛倉製

坡度遞降法(Gradient Decent Method)

 為了要降低成本函數E可經由節點與節點

之間的連結權重值調整來達成，即：

E (W  W )  E (W )

其中，W為節點與節點之間的連結權重

值修正量。







類神經網路講義

巫沛倉製

坡度遞降法(Gradient Decent Method)

 故對成本函數作二個結點之間的連結全

重值的偏為分為：

E

wkh  -   *  k * o ph

wkh



k定義為：

 k  o pk * (1 - o pk ) * (d pk - o pk )



類神經網路講義

巫沛倉製

坡度遞降法(Gradient Decent Method)

 相同的，從隱藏層到輸入層，將成本函

數對此層的連結權重值的偏微分為：

E

whi  -   *  h * o pi

whi



而

 h  o ph * (1 - o ph ) * å wkh k

k







類神經網路講義

巫沛倉製

坡度遞降法(Gradient Decent Method)

 在得到節點與節點之間的權重值的修正

量後，便可帶入修正公式

- E (t )

w(t )  - ( )  w(t - 1)

w

其中，i、h和k為輸入層、隱藏層、輸出層節點

數，η為學習速率（Learning rate）表示控制每

次以坡度遞降法最小化誤差函數的調幅，β為

動量係數（Momentum coefficient），而t為網

路訓練過程的訓練次數（epoch、iteration）。

類神經網路講義

巫沛倉製

倒傳遞網路之學習過程

 步驟1：確定網路架構，決定網路層數及

各層間神經元數目。

 步驟2：隨機設定權數與偏權值之初始值

於之間。

 步驟3：隨機選取一訓練組輸入net 。

 步驟4：調整權數及偏權值。

 步驟5：回到步驟3，直至網路收斂為止。

類神經網路講義

巫沛倉製

自組織映射網路

 自組織映射(Self-Organizing Map ; SOM)

神經網路是一種非監督式學習網路模式，

是由Tuevo Kohonen在1979年到1982年間

所發展完成的一種以競爭架構為學習基

礎的類神經網路模式。

 一個典型的SOM類神經網路的架構包括

兩層網路層，輸入層的每個處理單元都

是完全連接到二維的Kohonen網路層上的

每個結點上。 類神經網路講義

巫沛倉製

自組織映射網路

 而SOM網路之作用可溯自大腦結構的特

性，大腦中有相似功能的腦細胞聚集在

一塊，譬如人類大腦中明顯地有專司視

覺、聽覺、味覺等區塊，也就是說腦神

經細胞具有『物以類聚』之特性；而

SOM網路便是模仿這種特性，其輸出處

理單元會互相影響，當網路學習完成後，

其輸出處理單元相鄰近者會具有相似的

功能，而形成各聚類區域。

類神經網路講義

巫沛倉製

自組織映射網路





輸出層:代表聚類









輸入層:代表輸入變數









輸入向量

類神經網路講義

巫沛倉製

自組織映射網路

 SOM神經網路和一般類神經網路最大的

不同，就是將輸出神經元安排在有前後

關係的直線或平面上；而這種特徵映射

最大的目的，就是要將高維度的特徵，

映射至一維或二維的輸出神經元陣列。









類神經網路講義

巫沛倉製

自組織映射網路

 SOM網路的基本原理便是計算輸入的特

徵值映射至輸出層每一處理單元的歐幾

里得距離(Euclidean Distance)，而具有最

小距離值的處理單元就是優勝單元並且

將會調整它的連接權值，使其能夠更接

近原始的輸入向量，而且此處理單元的

鄰近區域)也會調整本身的連接權值，使

自己與輸入向量間的歐幾里得距離能夠

減少。 類神經網路講義

巫沛倉製

自組織映射網路結構

 輸入層：用以表現網路的輸入變數，即

訓練範例的輸入向量，或稱特徵向量，

其處理單元數目依問題而定，每一個處

理單元代表著輸入向量的每一個元素，

亦即該輸入資料所擁有的特徵。使用線

性轉換函數，即F(x)=x。





類神經網路講義

巫沛倉製

自組織映射網路結構

 輸出層：用以表現網路的輸出變數，及

訓練範例的聚類，其處理單元數目依問

題而定。其結構本身有『網路拓樸』以

及『鄰近區域』(Neighborhood)的觀念。









類神經網路講義

巫沛倉製

自組織映射網路結構

 網路連結：每個輸出層處理單元與輸入

層處理單元相連結的權數所構成的向量，

表示一個輸入特徵值向量對映訓練範例

聚類之形心座標。當網路學習完畢後，

其輸出處理單元相鄰近者會具有相似的

連結權數。





類神經網路講義

巫沛倉製