ReLU가 Non-linear인 이유? ReLU는 0 이상에 대해서는 어쨌든 Linear 텀으로 구성되어 있는데 왜 Non-linear일까? 리니어 레이어를 아무리 쌓아도 sigmoid 나 tanh 처럼 중간에 공간을 왜곡(non-linear transform) 시키는 액티베이션이 없으면 결국 하나의 리니어 레이어랑 같은 결과라고 들었는데.. W1 * W2 * ... Wn = Wx DL&ML/concept 2021.04.14
