Batch Normalization - 편집 역사

2018년 8월 29일 (수) 07:43에 Admin님의 편집

2018-08-29T07:43:59Z

2018년 8월 29일 (수) 07:33에 Admin님의 편집

2018-08-29T07:33:25Z

2017년 7월 31일 (월) 02:53에 Admin님의 편집

2017-07-31T02:53:59Z

2017년 7월 17일 (월) 07:05에 Admin님의 편집

2017-07-17T07:05:22Z

2017년 5월 16일 (화) 09:34에 Admin님의 편집

2017-05-16T09:34:52Z

Admin: 새 문서: - [https://shuuki4.wordpress.com/2016/01/13/batch-normalization-설명-및-구현/ 우리말로 된 블로그]인데 설명이 아주 잘 되어 있음
Training 할 때는...

2017-05-16T09:31:32Z

새 문서: - [https://shuuki4.wordpress.com/2016/01/13/batch-normalization-설명-및-구현/ 우리말로 된 블로그]인데 설명이 아주 잘 되어 있음 <blockquote>Training 할 때는...

새 문서

- [https://shuuki4.wordpress.com/2016/01/13/batch-normalization-설명-및-구현/ 우리말로 된 블로그]인데 설명이 아주 잘 되어 있음
<blockquote>Training 할 때는 mini-batch의 평균과 분산으로 normalize 하고, Test 할 때는 계산해놓은 이동 평균으로 normalize 한다. Normalize 한 이후에는 scale factor와 shift factor를 이용하여 새로운 값을 만들고, 이 값을 내놓는다. 이 Scale factor와 Shift factor는 다른 레이어에서 weight를 학습하듯이 back-prop에서 학습하면 된다.</blockquote>

- CNN의 경우 채널마다 gamma, beta가 하나씩임. 곧 필터 하나에 gamma, beta 하나씩이라는 얘기.

← 이전 판		2018년 8월 29일 (수) 07:43 판
10번째 줄:		10번째 줄:
	- [https://gab41.lab41.org/batch-normalization-what-the-hey-d480039a9e3b lab41의 요약]		- [https://gab41.lab41.org/batch-normalization-what-the-hey-d480039a9e3b lab41의 요약]

		+	-[[Neural Factorization Machines for Sparse Predictive Analytics \| 마침 보던 논문]]에 나와 있던 설명 그대로 옮기면,
		+	[[image:bn_nfm.png]]
	<disqus/>		<disqus/>

@@ 6번째 줄: / 6번째 줄: @@
 - [https://arxiv.org/abs/1502.03167 arxiv]
-- [https://github.com/torch/nn/blob/master/doc/module.md#evaluate torch의 evaluate 설명]에 보면, batch normalization이 training과 evaluation에 따라 각각 다르게 동작한다는데 어떻게 다르게 동작한다는건지 모르겠음. dropout만 이해 됨.
+- [https://github.com/torch/nn/blob/master/doc/module.md#evaluate torch의 evaluate 설명]
 - [https://gab41.lab41.org/batch-normalization-what-the-hey-d480039a9e3b lab41의 요약]
 <disqus/>

← 이전 판		2017년 7월 31일 (월) 02:53 판
7번째 줄:		7번째 줄:

	- [https://github.com/torch/nn/blob/master/doc/module.md#evaluate torch의 evaluate 설명]에 보면, batch normalization이 training과 evaluation에 따라 각각 다르게 동작한다는데 어떻게 다르게 동작한다는건지 모르겠음. dropout만 이해 됨.		- [https://github.com/torch/nn/blob/master/doc/module.md#evaluate torch의 evaluate 설명]에 보면, batch normalization이 training과 evaluation에 따라 각각 다르게 동작한다는데 어떻게 다르게 동작한다는건지 모르겠음. dropout만 이해 됨.
		+
		+	- [https://gab41.lab41.org/batch-normalization-what-the-hey-d480039a9e3b lab41의 요약]

	<disqus/>		<disqus/>

← 이전 판		2017년 7월 17일 (월) 07:05 판
5번째 줄:		5번째 줄:

	- [https://arxiv.org/abs/1502.03167 arxiv]		- [https://arxiv.org/abs/1502.03167 arxiv]
		+
		+	- [https://github.com/torch/nn/blob/master/doc/module.md#evaluate torch의 evaluate 설명]에 보면, batch normalization이 training과 evaluation에 따라 각각 다르게 동작한다는데 어떻게 다르게 동작한다는건지 모르겠음. dropout만 이해 됨.
		+
		+	<disqus/>

← 이전 판		2017년 5월 16일 (화) 09:34 판
3번째 줄:		3번째 줄:

	- CNN의 경우 채널마다 gamma, beta가 하나씩임. 곧 필터 하나에 gamma, beta 하나씩이라는 얘기.		- CNN의 경우 채널마다 gamma, beta가 하나씩임. 곧 필터 하나에 gamma, beta 하나씩이라는 얘기.
		+
		+	- [https://arxiv.org/abs/1502.03167 arxiv]