0926 information bottleneck
New Theory Cracks Open the Black Box of Deep Learning
The information bottleneck method (이 주제에 관해가장 처음 나온 저자의 논문)
문장구조도 정확히 파악은 안되지만, 대충 마지막 문장만 보고 의미를 이해했다. 이 생각에 매우 동의한다.
According to Tishby, who views the information bottleneck as a fundamental principle behind learning, whether you’re an algorithm, a housefly, a conscious being, or a physics calculation of emergent behavior, that long-awaited answer “is that the most important part of learning is actually forgetting.”
Tishby의 의견으로는 Shannon이 ‘information is not about semantics’라는 관점을 가졌다는데 이거 무슨뜻인지 모르겠다.
Tishby는 relevance를 precisely정의할 수 있다고 주장.
아주 예전부터 이 생각을 해오다가 An exact mapping between the Variational Renormalization Group and Deep Learning을 보고, 자신의 생각과 딥러닝간 관련이 있다는 영감을 얻었다고 한다.