如何構建神經網絡

一.項目背景

    神經網絡是模擬人體生物神經元原理構建的，比較基礎的有M-P模型，它按照生物
神經元的結構和工作原理構造出來的一個抽象和簡化的模型。簡單來說，他是對一個生
物神經元建模，下圖是一個M-P模型示意圖。

    跟人體生物神經元類似，神經元激活與否取決于某一閾值電平，即只有大當其總和閾值θ
時，神經元才會被激活而發放脈沖，否則整個神經元不會發生輸出信號。整個過程用下面函數
來表示。

   上圖中f我們稱為激活函數，常見的激活函數可以分為兩種類型，線性與非線性函數，具體見下圖。
常用激活函數有S形函數，雙曲正切函數等,后期我們會講到。對于M-P模型而言，神經元只有興奮和抑
制狀態，因此這里的激活函數定義為單位階躍函數，輸出y只有0和1兩種信號

二.搭建網絡

該網絡含有一個輸入層，兩個隱藏層和一個輸出層的神經網絡，接下來我們手動實現它。

import numpy as np

#定義Sigmod激活函數
def sigmod(z):
    return 1/(1+np.exp(-z))

#Z1=X*W1+b1,A1=sigmod(Z1)

#輸入數據，形狀為(1,2)
X=np.array([
    [0.1,0.5]
])

#(2,3)
W1=np.array([
    [0.1,0.3,0.5],
    [0.2,0.4,0.6]
])

#(1,3)
b1=np.array([
    [0.1,0.2,0.3]
])

#進行線性運算
Z1=np.dot(X,W1)+b1
#經過sigmod激活函數，將線性函數轉換為非線性函數
A1=sigmod(Z1)

print('Z1 shape',Z1.shape)
print('A1 shape',A1.shape)

#第2層
#Z2=W2*A1+b2，A2=sigmod(Z2)

#(3,2)
W2=np.array([
    [0.1,0.2],
    [0.3,0.4],
    [0.5,0.6]
])

#(1,2)
b2=np.array([[0.1,0.2]])
#進行線性運算
Z2=np.dot(A1,W2)+b2
#經過sigmod激活函數，將線性函數轉換為非線性函數
A2=sigmod(Z2)

print('Z2 shape',Z2.shape)
print('A2 shape',A2.shape)

#第3層
#Z3=W3*A2+b3，A3=sigmod(Z3)

#(2,2)
W3=np.array([
    [0.1,0.3],
    [0.2,0.4]
])

#(1,2)
b3=np.array([[0.1,0.2]])
#線性運算
Z3=np.dot(A2,W3)+b3
#輸出Y
Y=sigmod(Z3)
#表示一個樣本兩個輸出值
Y