AI면접 #딥러닝면접 #인공지능면접 #기울기소실 #GradientVanishing

Gradient Vanishing(기울기 소실) 문제 간단 설명

[ 기울기소실 Gradient Vanishing 이란? ] "딥러닝 학습 과정에서 출력값과 멀어질 수록 학습이 되지 않는 현상" 신경망 학습은 은닉층(Hidden Layer)를 늘려야 복잡한 문제의 해결이 가능한데, 인공신경망의 계층이 깊어질 수록(은닉층을 많이 거칠수록) 학습에 중요한 역할을 하는 입력층의 가중치 조정(Back-Propagation하는 과정)이 제대로 되지 않아 1)가중치가 발산하거나, 2)곡선의 기울기(Gradient)가 0이 되어 학습이 제대로 되지 않는 현상이 발생합니다. 기울기가 거의 0으로 소멸되어 버리면 Network의 학습은 매우 느려지고, 학습이 다 이루어지지 않은 상태에서 멈출 것입니다. 이를 지역 최솟값(Local Minimum)에 도달한다고 표현하기도 합니다. 이 문..