Perceptron 이란

개요

뉴런의 시스템을 모델링하려는 목표로 뉴련의 다수의 입력을 통해 특정 threshold(임계치)를 넘기면 신호를 주는 것에서 영감을 받았다. 시냅스끼리 얼마나 강한 강도(weight) 로 연결되어 있는지와 이전 신호의 세기(입력(X)), 뉴련별 민감도(bias),  임계치 생김새(Activation function)로 대략적으로 표현할 수 있다. 
이는 매우 대략적인 표현이고, 실제 뉴련의 종류는 매우 다양하고 더 복잡안 비선형 계산을 한다. 

어떻게 생겼나

 

이 글에서 AND 게이트 예시를 그대로 가져와 보자 각 입력값 X1,X2 과 각 해당하는 가중치를 곱해주고 편향과 다 더해진 값을 출력하고 Activation Function를 통과하면 하나의 퍼셉트론이라 할 수 있다. 

 

$$ \sum_{i}^{n} w_{1,i} x_{i} +b = y $$

$$ H(y) = Activation\ Function $$

 

bias trick

위 사진에서 가장 불편해 보이는 것이 무엇인가? 혼자 더해지는 저 편향(bias)이다. 트릭이라 부르는 팁으로 더 편하게 그림으로 다음과 같이 표현할 수 있다. 

$$ \begin{bmatrix}
w_{1,1} & w_{1,2} \\
\end{bmatrix} \begin{bmatrix}
x_{1} \\x_{2}
\end{bmatrix} + b \to \begin{bmatrix}
w_{1,1} & w_{1,2} & b \\
\end{bmatrix}
\begin{bmatrix}
x_{1} \\x_{2}
 \\ 1
\end{bmatrix} $$

마치 입력값이 하나 늘어난 것 처럼 보이지만 1의 고정값이고 b와 곱해져서 계산은 똑같이 진행된다. 이를 bias 트릭으로 부르며 이는 입력값의 차원을 늘리며 계산 편의가 증대된다. 2개의 Matrix에 곱하고 더하는 과정을 Matrix 곱 한번으로 대체 하는 것이다. 

 

매번 weight, bias, activation function을 표현하면 너저분 하다. 깔끔하게 다음 그림처럼 표현하겠다.

---

이상 간단하게 Perceptron 생김새를 알아봤습니다.

 

질문과 의견 환영합니다.