전체 글

활성화 함수 Activation Function

[ 활성화 함수 (Activation Function) ? ] 활성화 함수란? 신경망에서 신호의 총 합을 출력 신호로 변환하는 함수입니다. 퍼셉트론은 인간의 뇌의 뉴런을 모방하여 만든 것이며, 뉴런이 말단에서 다음 뉴런으로 전달 될 때, 어떠한 임계값을 기준으로 신호가 전달된다고 합니다. 퍼셉트론은 뉴런과 같이 입력 받은 수치들을 계싼한 후 출력 전에 활성화 함수를 거치게 하여 출력에 변화를 줍니다. 0. 계단함수/선형함수 퍼셉트론의 가장 기본이 되는 활성화 함수 : 계단 함수(Step Function)를 학습하였으며, 선형 함수(Linear Function)입니다. 선형 함수는 미분봐야 계수이므로, 층을 쌓는 것이 무의미해진다는 단점이 있습니다. 비선형함수 중 하나인 계단 함수는 출력을 0과 1의 이진..

Gradient Vanishing(기울기 소실) 문제 간단 설명

[ 기울기소실 Gradient Vanishing 이란? ] "딥러닝 학습 과정에서 출력값과 멀어질 수록 학습이 되지 않는 현상" 신경망 학습은 은닉층(Hidden Layer)를 늘려야 복잡한 문제의 해결이 가능한데, 인공신경망의 계층이 깊어질 수록(은닉층을 많이 거칠수록) 학습에 중요한 역할을 하는 입력층의 가중치 조정(Back-Propagation하는 과정)이 제대로 되지 않아 1)가중치가 발산하거나, 2)곡선의 기울기(Gradient)가 0이 되어 학습이 제대로 되지 않는 현상이 발생합니다. 기울기가 거의 0으로 소멸되어 버리면 Network의 학습은 매우 느려지고, 학습이 다 이루어지지 않은 상태에서 멈출 것입니다. 이를 지역 최솟값(Local Minimum)에 도달한다고 표현하기도 합니다. 이 문..

J . S . Park

나는 수원공고를 나왔다 어려서부터 축구를 했고, 집안 형편이 넉넉하지 않아 축구 하나만을 보고 살면서 고등학교를 졸업하면 당장 프로에 입단할 생각만 했다 그런데 대기업 프로축구단 테스트에서 번번이 고배를 마셨다 난 그때 별 볼일 없는 까까머리에 말라깽이 고등학생에 불과했다 프로 입단을 희망하는 풋내기 축구선수가 어디 나뿐이었겠는가? 수십 수백 명의 학생 중에서 계산 빠른 프로축구단의 감독이나 스태프의 눈에 들려면 뭔가 남들과는달라도 분명히 달라야 했다 키가 크거나 체격 조건이 좋거나 그것도 아니면 공격이건 수비건 여하튼 특별히 잘하는 장기라도 있어야 하는데 난 그런 조건 중에 하나도 맞아떨어지는 것이 없었다 게다가 외모도 평범하고 성격도 내성적이라 좌중을 휘어잡는 스타성마저 없었으니 그들이 탐내지 않는 ..