"0926 information bottleneck"의 두 판 사이의 차이
ph
잔글 |
잔글 |
||
| 7번째 줄: | 7번째 줄: | ||
Tishby의 의견으로는 Shannon이 ‘information is not about semantics’라는 관점을 가졌다는데 이거 무슨뜻인지 모르겠다. | Tishby의 의견으로는 Shannon이 ‘information is not about semantics’라는 관점을 가졌다는데 이거 무슨뜻인지 모르겠다. | ||
| − | Tishby는 relevance를 precisely정의할 수 | + | Tishby는 relevance를 precisely정의할 수 있다고 주장. |
| + | 아주 예전부터 이 생각을 해오다가 [https://arxiv.org/abs/1410.3831 An exact mapping between the Variational Renormalization Group and Deep Learning]을 보고, 자신의 생각과 딥러닝간 관련이 있다는 영감을 얻었다고 한다. | ||
</poem> | </poem> | ||
2017년 9월 26일 (화) 17:11 판
New Theory Cracks Open the Black Box of Deep Learning
문장구조도 정확히 파악은 안되지만, 대충 마지막 문장만 보고 의미를 이해했다. 이 생각에 매우 동의한다.
According to Tishby, who views the information bottleneck as a fundamental principle behind learning, whether you’re an algorithm, a housefly, a conscious being, or a physics calculation of emergent behavior, that long-awaited answer “is that the most important part of learning is actually forgetting.”
Tishby의 의견으로는 Shannon이 ‘information is not about semantics’라는 관점을 가졌다는데 이거 무슨뜻인지 모르겠다.
Tishby는 relevance를 precisely정의할 수 있다고 주장.
아주 예전부터 이 생각을 해오다가 An exact mapping between the Variational Renormalization Group and Deep Learning을 보고, 자신의 생각과 딥러닝간 관련이 있다는 영감을 얻었다고 한다.