DenseNet - 편집 역사

Admin: /* Model compactness */

2017-07-27T02:41:06Z

Model compactness

2017-07-27T02:38:16Z

1. Introduction

2017-07-27T02:36:31Z

1. Introduction

2017-07-27T02:35:53Z

1. Introduction

2017-07-27T02:32:34Z

Densely connected convolutional networks

2017-07-27T02:31:51Z

Admin님이 Densely connected convolutional networks 문서를 넘겨주기를 만들지 않고 DenseNet 문서로 이동했습니다

2017-07-27T02:31:21Z

2017-07-27T02:30:03Z

2017-07-26T10:13:17Z

2017-07-26T10:11:29Z

@@ 111번째 줄: / 111번째 줄: @@
 =5. Discussion=
 ===Model compactness===
-DenseNet-BC is best.
+DenseNet-BC is the best.
 ===Implicit Deep Supervision.===
 DCN<ref name=r20 /> has classifiers attached to every hidden layer, enforcing the intermediate layers to learn discriminative features. 하지만 DenseNet이 훨씬 간단하지

@@ 23번째 줄: / 23번째 줄: @@
 [[File:DenseBlock.png]]
-feature를 다음 layer에 넘기기 전에 합(summation)하는 ResNet과 달리, 그냥 계속 쌓는다(concat)
+feature를 다음 layer에 넘기기 전에 합(summation)하는 ResNet과 달리, 그냥 계속 쌓는다(combine features by concatenating them)
 전통적인 fead-foward는 state의 전이로 볼 수 있다. 정보가 단계를 거칠때마다 적절히 가공되어 필요한 정보만 남겨서 다음 상태(state)로 넘어간다. ResNet은 identity transformation을 더해서 정보의 preservation을 명확히 한 것으로 볼 수 있다. ResNet에서 layer를 randomly drop하면서 관찰해보면, 대부분의 layer가 별다른 영향을 미치지 않음을 알 수 있다<ref name=r13>G. Huang, Y. Sun, Z. Liu, D. Sedra, and K. Q. Weinberger. Deep networks with stochastic depth. In ECCV, 2016.</ref>. 마치 unrolled recurrent neural net같이 동작한다.<ref name=r21>Q. Liao and T. Poggio. Bridging the gaps between residual learning, recurrent neural networks and visual cortex. arXiv preprint arXiv:1604.03640, 2016.</ref> 반면, DenseNet은 net의 입력으로 쓸 정보와 preserved되어야 하는 정보를 명확하게 구분하며, 층이 얕다.(12 feature-maps per layer) <gray>(여기서 층이 narrow하다는게, 층의 총 개수가 적다는 뜻이 아니고 channel의 수가 적다는 뜻)</gray>

@@ 23번째 줄: / 23번째 줄: @@
 [[File:DenseBlock.png]]
-feature를 다음 layer에 넘기기 전에 합(summation)하는 ResNet과 달리, 단순히 concatenation한다.
+feature를 다음 layer에 넘기기 전에 합(summation)하는 ResNet과 달리, 그냥 계속 쌓는다(concat)
 전통적인 fead-foward는 state의 전이로 볼 수 있다. 정보가 단계를 거칠때마다 적절히 가공되어 필요한 정보만 남겨서 다음 상태(state)로 넘어간다. ResNet은 identity transformation을 더해서 정보의 preservation을 명확히 한 것으로 볼 수 있다. ResNet에서 layer를 randomly drop하면서 관찰해보면, 대부분의 layer가 별다른 영향을 미치지 않음을 알 수 있다<ref name=r13>G. Huang, Y. Sun, Z. Liu, D. Sedra, and K. Q. Weinberger. Deep networks with stochastic depth. In ECCV, 2016.</ref>. 마치 unrolled recurrent neural net같이 동작한다.<ref name=r21>Q. Liao and T. Poggio. Bridging the gaps between residual learning, recurrent neural networks and visual cortex. arXiv preprint arXiv:1604.03640, 2016.</ref> 반면, DenseNet은 net의 입력으로 쓸 정보와 preserved되어야 하는 정보를 명확하게 구분하며, 층이 얕다.(12 feature-maps per layer) <gray>(여기서 층이 narrow하다는게, 층의 총 개수가 적다는 뜻이 아니고 channel의 수가 적다는 뜻)</gray>

@@ 23번째 줄: / 23번째 줄: @@
 [[File:DenseBlock.png]]
-in contrast to ResNets, we never combine features through summation before they are passed into a layer; instead, we combine features by concatenating them.
+feature를 다음 layer에 넘기기 전에 합(summation)하는 ResNet과 달리, 단순히 concatenation한다.
 전통적인 fead-foward는 state의 전이로 볼 수 있다. 정보가 단계를 거칠때마다 적절히 가공되어 필요한 정보만 남겨서 다음 상태(state)로 넘어간다. ResNet은 identity transformation을 더해서 정보의 preservation을 명확히 한 것으로 볼 수 있다. ResNet에서 layer를 randomly drop하면서 관찰해보면, 대부분의 layer가 별다른 영향을 미치지 않음을 알 수 있다<ref name=r13>G. Huang, Y. Sun, Z. Liu, D. Sedra, and K. Q. Weinberger. Deep networks with stochastic depth. In ECCV, 2016.</ref>. 마치 unrolled recurrent neural net같이 동작한다.<ref name=r21>Q. Liao and T. Poggio. Bridging the gaps between residual learning, recurrent neural networks and visual cortex. arXiv preprint arXiv:1604.03640, 2016.</ref> 반면, DenseNet은 net의 입력으로 쓸 정보와 preserved되어야 하는 정보를 명확하게 구분하며, 층이 얕다.(12 feature-maps per layer) <gray>(여기서 층이 narrow하다는게, 층의 총 개수가 적다는 뜻이 아니고 channel의 수가 적다는 뜻)</gray>

@@ 1번째 줄: / 1번째 줄: @@
 =Densely connected convolutional networks=
 [https://arxiv.org/abs/1608.06993 arXiv:1608.06993]<br />
 [http://cvpr2017.thecvf.com/program/main_conference#cvpr2017_awards CVPR2017 best paper ] <del>[[SimGAN|다른 하나는 애플꺼]]</del><br />

← 이전 판	2017년 7월 27일 (목) 02:31 판
(차이 없음)

@@ 1번째 줄: / 1번째 줄: @@
 <br />
 [https://arxiv.org/abs/1608.06993 arXiv:1608.06993]<br />
-[http://cvpr2017.thecvf.com/program/main_conference#cvpr2017_awards CVPR2017 best paper ]<br />
+[http://cvpr2017.thecvf.com/program/main_conference#cvpr2017_awards CVPR2017 best paper ] <del>[[Learning from Simulated and Unsupervised Images through Adversarial Training|다른 하나는 애플꺼]]</del><br />
 [https://github.com/liuzhuang13/DenseNet github]<br />
 <del>Zuckerberg도 축하해주는 논문<ref>https://www.facebook.com/zuck/posts/10103917877434011 [[file:densenet-zuckerberg.png]]<br />