"0926 information bottleneck"의 두 판 사이의 차이
잔글 |
잔글 |
||
| 16번째 줄: | 16번째 줄: | ||
Tishby는 relevance를 precisely정의할 수 있다고 주장. | Tishby는 relevance를 precisely정의할 수 있다고 주장. | ||
| − | 아주 예전부터 이 생각을 해오다가 [https://arxiv.org/abs/1410.3831 An exact mapping between the Variational Renormalization Group and Deep Learning]을 보고, 자신의 생각과 딥러닝간 관련이 있다는 영감을 얻었다고 한다. | + | 아주 예전부터 이 생각을 해오다가 [https://arxiv.org/abs/1410.3831 An exact mapping between the Variational Renormalization Group and Deep Learning]을 보고, 자신의 생각과 딥러닝간 관련이 있다는 영감을 얻었다고 한다. network의 동작이 기존에 물리학에서 이미 널리 알려진 ‘renormalization’과정과 완전히 동일함을 보인 논문<del>이라는데 renormalization이 뭐지. ㅎㅎ. 예전에 이것도 역시 Quanta에서 본 것 같은데 1도 기억 안남. ㅋㅋ </del> |
</poem> | </poem> | ||
2017년 9월 26일 (화) 17:37 판
New Theory Cracks Open the Black Box of Deep Learning
The information bottleneck method (이 주제에 관해가장 처음 나온 저자의 논문)
(아마도) 콴타매거진에 나오게 된 계기가 된 논문 Opening the Black Box of Deep Neural Networks via Information
문장구조도 정확히 파악은 안되지만, 대충 마지막 문장만 보고 의미를 이해했다. 이 생각에 매우 동의한다.
According to Tishby, who views the information bottleneck as a fundamental principle behind learning, whether you’re an algorithm, a housefly, a conscious being, or a physics calculation of emergent behavior, that long-awaited answer “is that the most important part of learning is actually forgetting.”
Tishby의 의견으로는 Shannon이 ‘information is not about semantics’라는 관점을 가졌다는데 이거 무슨뜻인지 모르겠다.
Tishby는 relevance를 precisely정의할 수 있다고 주장.
아주 예전부터 이 생각을 해오다가 An exact mapping between the Variational Renormalization Group and Deep Learning을 보고, 자신의 생각과 딥러닝간 관련이 있다는 영감을 얻었다고 한다. network의 동작이 기존에 물리학에서 이미 널리 알려진 ‘renormalization’과정과 완전히 동일함을 보인 논문이라는데 renormalization이 뭐지. ㅎㅎ. 예전에 이것도 역시 Quanta에서 본 것 같은데 1도 기억 안남. ㅋㅋ