전체 글

Gradient Vanishing(기울기 소실) 문제 간단 설명

[ 기울기소실 Gradient Vanishing 이란? ] "딥러닝 학습 과정에서 출력값과 멀어질 수록 학습이 되지 않는 현상" 신경망 학습은 은닉층(Hidden Layer)를 늘려야 복잡한 문제의 해결이 가능한데, 인공신경망의 계층이 깊어질 수록(은닉층을 많이 거칠수록) 학습에 중요한 역할을 하는 입력층의 가중치 조정(Back-Propagation하는 과정)이 제대로 되지 않아 1)가중치가 발산하거나, 2)곡선의 기울기(Gradient)가 0이 되어 학습이 제대로 되지 않는 현상이 발생합니다. 기울기가 거의 0으로 소멸되어 버리면 Network의 학습은 매우 느려지고, 학습이 다 이루어지지 않은 상태에서 멈출 것입니다. 이를 지역 최솟값(Local Minimum)에 도달한다고 표현하기도 합니다. 이 문..

J . S . Park

나는 수원공고를 나왔다 어려서부터 축구를 했고, 집안 형편이 넉넉하지 않아 축구 하나만을 보고 살면서 고등학교를 졸업하면 당장 프로에 입단할 생각만 했다 그런데 대기업 프로축구단 테스트에서 번번이 고배를 마셨다 난 그때 별 볼일 없는 까까머리에 말라깽이 고등학생에 불과했다 프로 입단을 희망하는 풋내기 축구선수가 어디 나뿐이었겠는가? 수십 수백 명의 학생 중에서 계산 빠른 프로축구단의 감독이나 스태프의 눈에 들려면 뭔가 남들과는달라도 분명히 달라야 했다 키가 크거나 체격 조건이 좋거나 그것도 아니면 공격이건 수비건 여하튼 특별히 잘하는 장기라도 있어야 하는데 난 그런 조건 중에 하나도 맞아떨어지는 것이 없었다 게다가 외모도 평범하고 성격도 내성적이라 좌중을 휘어잡는 스타성마저 없었으니 그들이 탐내지 않는 ..

2010 9월 13일자 응용소스

거의 비슷하지만 switch를 쓴다는 점에서 차이가 있음. 마지막엔 조건이 하나 추가되어 사칙연산의 결과가 홀수이면 홀수로, 짝수이면 짝수로 출력한다는 점. 실수했다 왜 case를 쓴거지? if를 쓰면 편한데 문제가 생겼다. sub(뺄셈)할때 음수로 넘어가면 결과는뜨는데 짝인지 홀인지 인식을 못함- -;; 오래되서 어떻게 해결하는지 기억이안남 (핑계;;) #include int main(void) { int num1, num2; int sum, sub, mul, div, mod; printf("Input the number1, number2\n"); scanf("%d, %d", &num1, &num2); sum = num1 + num2; printf("%d + %d = %d" , num1, num2, s..