[AI] dropout | Batch Normalization

* Dropout

 

구글에서 만든 AI 특허 기술, 사용하기 편하며 성능도 우수하다. 

학습시 특정 node weight에 의해 overfitting 되는 현상을 막아준다. (regularization)

dropout을 사용함으로써 더 작은 신경망을 사용하는것이 정규화의 효과를 준다. 

dropout이 여러개의 네트워크를 학습한 후에 하나의 네트워크로 합치는 것과 같은 효과를 낸다.

 

Why use DropOut?

1) used to avoid overfitting

2) simple to implement

3) widely adopted

 

dropout을 사용하는 이유는 train data에 있어서 100%의 정확도를 출력하지만, 실제로 test data에 있어서 높은 예측율을

출력하지 못하기 때문이다. 학습시킬 장비가 많을 때 ensemble 방식을 사용한다.

 

*ensemble

여러개의 독립적인 모델을 만들고 독립적인 모델들을 모두 합쳐서 한번에 예측하는 방식이다.

 

 

*BatchNormalization

1) Enable faster training and higher learning rate

2) Reduce the dependency

3) widely adopted

 

 

BatchNormalization과 Dropout을 이용한 이상적인 학습 Logic 순서는 다음과 같다.

Convolution - BatchNormalization- Activation - Dropout - Pooling