깊은 밤을 날아서

활성화 함수 정리(Activation Function) 계단함수 퍼셉트론에서 출력값이 0이 될지, 1이 될지를 결정해주었던 함수 계단함수는 활성화 함수들 중 한 종류 활성화 함수의 특징 비선형 선형 함수는 출력이 입력의 상수배만큼 변하는 함수. 시각화하면 직선이 됨 비선형 함수는 직선으로 그릴 수 없는 함수. 활성화 함수에서 비선형 함수를 쓰는 이유는 선형 함수의 경우 아무리 층을 많이 쌓아도 결국 곱해진 각층에서 곱해진 가중치들을 모두 묶어 하나의 가중치라 생각해버리면 1회짜리가 되어버리기 때문 선형 함수 층의 사용 비선형 층들과 함께 인공 신경망의 일부로 추가하면 학습 가능한 가중치가 새로 생기는 의미를 가짐 주로 선형층, 투사층 등으로 부름 활성화 함수의 종류 (1) 계단함수(Step Functio..

이번 포스팅에선 딥러닝을 공부할 때 필요한 지식인 퍼셉트론, 그리고 이를 통해 만들어진 단층 퍼셉트론과 다층 퍼셉트론에 대해 알아보겠습니다. 딥러닝 손실함수와 옵티마이저를 이용하여 기계가 가중치를 찾아내도록 자동화시키는데 학습을 시키는 인공 신경망이 심층 신경망인 것을 말합니다 손실함수와 옵티마이저는 따로 알아보도록 하고 여기서는 뒤의 내용이 무슨 뜻인지 알아보겠습니다. 퍼셉트론 Frank Rosenblatt가 1957년 제안한 초기 형태의 인공 신경망 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘으로 퍼셉트론은 w0, x0 바이어스와 w1, w2의 가중치를 계속 변경하는 심층 신경망의 기본이 된다. 퍼셉트론은 뇌에서 뉴런과 비슷한 역할이다. 인공 신경망의 작동원리 각 입력값(x)가 가중치(w)와 ..