대답해드리는게 인지상정

개요이번 글에서는 활성화 함수의 종류에 대해 이야기하겠다.활성화 함수의 역할은 선을 비선형으로 만드는 것으로 목적이다. 종류SigmoidtanhReLULeakyReLU 이전 예시로 사용한 Sigmoid의 특징부터 이야기하자어떤 입력값이든 0~1사이의 값으로 결과를 압축해 주는 역할을 한다. 이중분류에서는 마지막 아웃풋에서도 사용한다. 뉴런의 firing rate를 잘표현하다는데 그건 무슨 의미인지 모르겠다.  Activation Function Thinking PointSigmoid는 현재 잘 안쓰인다. 왜 그럴까? 다음과 같은 문제점들이 있다. 기울기 죽이기(Killing gradients)역전파(BackPropagation) 진행 시 중요한 건 미분의 값이다. Sigmoid의 입력값이 엄청 크거나 작..

개요이번 MLP의 모습이나 용어보다 각 퍼셉트론의 역할과 왜 층을 쌓는지에 대해 이야기하겠다. 인공지능의 학습 포스트의 예시에서 알 수 있듯이 단 하나의 Perceptron으로도 판단을 내릴 수 있다. 하지만 한 번 접어 선을 구부리는 것으로는 더 복잡한 모양을 표현하기 어렵다. 예로 XOR gate를 만들기 위해 활성화함수를 Sigmoid만 사용해 하나의 Perceptron으로 만들 수 있을까?결론부터 말하면 불가능이다.   왜 하나만으로 불가능일까먼저 가정이 Sigmoid라는 Activation Function만 사용하는 것이다. Sigmoid는 선을 구부리면서 값의 최대 최솟값을 0~1 값으로 고정할 수 있으며 확률로 계산 가능하기 때문에 사용한다. 물론 Activation Function을 XOR..

개요뉴런의 시스템을 모델링하려는 목표로 뉴련의 다수의 입력을 통해 특정 threshold(임계치)를 넘기면 신호를 주는 것에서 영감을 받았다. 시냅스끼리 얼마나 강한 강도(weight) 로 연결되어 있는지와 이전 신호의 세기(입력(X)), 뉴련별 민감도(bias),  임계치 생김새(Activation function)로 대략적으로 표현할 수 있다. 이는 매우 대략적인 표현이고, 실제 뉴련의 종류는 매우 다양하고 더 복잡안 비선형 계산을 한다. 어떻게 생겼나 이 글에서 AND 게이트 예시를 그대로 가져와 보자 각 입력값 X1,X2 과 각 해당하는 가중치를 곱해주고 편향과 다 더해진 값을 출력하고 Activation Function를 통과하면 하나의 퍼셉트론이라 할 수 있다.  $$ \sum_{i}^{n} ..

JDBC 드라이버로 타 시스템 DB 서버에 연결하여 데이터를 전송하는 프로그램이 있다. 평소에 잘 동작하다가 어느 날 몇 건의 오류가 발생했다. 오류 내용은 아래와 같다.에러메시지DriverManagerException: Cannot establish connection with the registered driver. oracle.jdbc.driver.OracleDriver returns: IO Error: Got minus one from a read call.클라이언트 입장에서는 정확한 원인을 파악하기 어렵다. 힌트는.. 해당 시간대에 전송된 건 전부가 오류 발생한 것은 아니라는 것. 오류 내용과 시간대를 해당 서버 DBA에게 공유하고 확인을 요청드렸다. Production 환경의 DB는 alert..