"Batch Normalization"의 두 판 사이의 차이
ph
잔글 |
|||
| 5번째 줄: | 5번째 줄: | ||
- [https://arxiv.org/abs/1502.03167 arxiv] | - [https://arxiv.org/abs/1502.03167 arxiv] | ||
| + | |||
| + | - [https://github.com/torch/nn/blob/master/doc/module.md#evaluate torch의 evaluate 설명]에 보면, batch normalization이 training과 evaluation에 따라 각각 다르게 동작한다는데 어떻게 다르게 동작한다는건지 모르겠음. dropout만 이해 됨. | ||
| + | |||
| + | <disqus/> | ||
2017년 7월 17일 (월) 16:05 판
- 우리말로 된 블로그인데 설명이 아주 잘 되어 있음
Training 할 때는 mini-batch의 평균과 분산으로 normalize 하고, Test 할 때는 계산해놓은 이동 평균으로 normalize 한다. Normalize 한 이후에는 scale factor와 shift factor를 이용하여 새로운 값을 만들고, 이 값을 내놓는다. 이 Scale factor와 Shift factor는 다른 레이어에서 weight를 학습하듯이 back-prop에서 학습하면 된다.
- CNN의 경우 채널마다 gamma, beta가 하나씩임. 곧 필터 하나에 gamma, beta 하나씩이라는 얘기.
- arxiv
- torch의 evaluate 설명에 보면, batch normalization이 training과 evaluation에 따라 각각 다르게 동작한다는데 어떻게 다르게 동작한다는건지 모르겠음. dropout만 이해 됨.