대답해드리는게 인지상정

목차 열기" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스 개요MLP에서 미처 말하지 못했지만, MLP같이 완전히 서로 연결되어 있는 Fully Conneted Layer이라 한다. 이것의 단점은 훈련할 파라미터(가중치와 편향)의 개수가 많다는 것이다. 입력의 개수를 N이라 했을 때 레이어의 퍼셉트론 개수를 O라 하면 (N+1) O가 파라미터의 수이다. 인풋이 이미지라고 생각해 보면 입력의 개수는 가로세로 256X256이어도 이미지는 색이 존재해 3채널(R,G,B)로 있어 256X256X3개이다. 퍼셉트론의 수가 곧 분석 도구의 개수이니 초반부터 개수를 줄이기 힘들다. 이를 극복할 방법중 하나로 CNN을 사용할 수 있다. 합성곱 신경망이라고도 부르는 CNN은 2개의 차원(가로,..

개요이번 글에서는 활성화 함수의 종류에 대해 이야기하겠다.활성화 함수의 역할은 선을 비선형으로 만드는 것으로 목적이다. 종류SigmoidtanhReLULeakyReLU 이전 예시로 사용한 Sigmoid의 특징부터 이야기하자어떤 입력값이든 0~1사이의 값으로 결과를 압축해 주는 역할을 한다. 이중분류에서는 마지막 아웃풋에서도 사용한다. 뉴런의 firing rate를 잘표현하다는데 그건 무슨 의미인지 모르겠다.  Activation Function Thinking PointSigmoid는 현재 잘 안쓰인다. 왜 그럴까? 다음과 같은 문제점들이 있다. 기울기 죽이기(Killing gradients)역전파(BackPropagation) 진행 시 중요한 건 미분의 값이다. Sigmoid의 입력값이 엄청 크거나 작..

안녕하세영, 로사입니다.홈베이킹을 좀 더 잘하고 싶은 마음으로 쓰게 된 글,베이킹하다 생기는 궁금증을 풀어보고자오늘도 한 가지의 의문점을 갖고 왔습니다.그럼 오늘도 스따뚜@베이킹을 하다 보면베이킹소다와 베이킹파우더가 필요할 때가 있다.이름도 비슷한2개의 차이가 뭘까..?1)  베이킹파우더 와 베이킹소다 란..?? (1) 베이킹소다흔히들 "식소다"라고 불리며, 이는 탄산수소나트륨 만으로 구성되어 있습니다.베이킹소다는 열에 반응해 탄산가스가 발생하고 이 때문에 부풀어 오르게 됩니다.하지만 부푸는 힘이 약하기 때문에 옆으로 퍼지는 특징이 있으며,또한 글루텐을 약화시켜 바삭한 느낌을 주기 때문에 주로 쿠키를 만들 때 사용합니다.대신 많이 사용하면 탄산수소나트륨 때문에 쓴 맛이 날 수가 있으니 조심하자..! (2..

개요이번 MLP의 모습이나 용어보다 각 퍼셉트론의 역할과 왜 층을 쌓는지에 대해 이야기하겠다. 인공지능의 학습 포스트의 예시에서 알 수 있듯이 단 하나의 Perceptron으로도 판단을 내릴 수 있다. 하지만 한 번 접어 선을 구부리는 것으로는 더 복잡한 모양을 표현하기 어렵다. 예로 XOR gate를 만들기 위해 활성화함수를 Sigmoid만 사용해 하나의 Perceptron으로 만들 수 있을까?결론부터 말하면 불가능이다.   왜 하나만으로 불가능일까먼저 가정이 Sigmoid라는 Activation Function만 사용하는 것이다. Sigmoid는 선을 구부리면서 값의 최대 최솟값을 0~1 값으로 고정할 수 있으며 확률로 계산 가능하기 때문에 사용한다. 물론 Activation Function을 XOR..

개요뉴런의 시스템을 모델링하려는 목표로 뉴련의 다수의 입력을 통해 특정 threshold(임계치)를 넘기면 신호를 주는 것에서 영감을 받았다. 시냅스끼리 얼마나 강한 강도(weight) 로 연결되어 있는지와 이전 신호의 세기(입력(X)), 뉴련별 민감도(bias),  임계치 생김새(Activation function)로 대략적으로 표현할 수 있다. 이는 매우 대략적인 표현이고, 실제 뉴련의 종류는 매우 다양하고 더 복잡안 비선형 계산을 한다. 어떻게 생겼나 이 글에서 AND 게이트 예시를 그대로 가져와 보자 각 입력값 X1,X2 과 각 해당하는 가중치를 곱해주고 편향과 다 더해진 값을 출력하고 Activation Function를 통과하면 하나의 퍼셉트론이라 할 수 있다.  $$ \sum_{i}^{n} ..