개요이번 글에서는 활성화 함수의 종류에 대해 이야기하겠다.활성화 함수의 역할은 선을 비선형으로 만드는 것으로 목적이다. 종류SigmoidtanhReLULeakyReLU 이전 예시로 사용한 Sigmoid의 특징부터 이야기하자어떤 입력값이든 0~1사이의 값으로 결과를 압축해 주는 역할을 한다. 이중분류에서는 마지막 아웃풋에서도 사용한다. 뉴런의 firing rate를 잘표현하다는데 그건 무슨 의미인지 모르겠다. Activation Function Thinking PointSigmoid는 현재 잘 안쓰인다. 왜 그럴까? 다음과 같은 문제점들이 있다. 기울기 죽이기(Killing gradients)역전파(BackPropagation) 진행 시 중요한 건 미분의 값이다. Sigmoid의 입력값이 엄청 크거나 작..