0926 information bottleneck

New Theory Cracks Open the Black Box of Deep Learning

저자의 Youtube강연

The information bottleneck method (이 주제에 관해가장 처음 나온 저자의 논문)

(아마도) 콴타매거진에 나오게 된 계기가 된 논문 Opening the Black Box of Deep Neural Networks via Information wikipedia

문장구조도 정확히 파악은 안되지만, 대충 마지막 문장만 보고 의미를 이해했다. 이 생각에 매우 동의한다.
According to Tishby, who views the information bottleneck as a fundamental principle behind learning, whether you’re an algorithm, a housefly, a conscious being, or a physics calculation of emergent behavior, that long-awaited answer “is that the most important part of learning is actually forgetting.”

Tishby의 의견으로는 Shannon이 ‘information is not about semantics’라는 관점을 가졌다는데 이거 무슨뜻인지 모르겠다.

Tishby는 relevance를 precisely정의할 수 있다고 주장.
아주 예전부터 이 생각을 해오다가 An exact mapping between the Variational Renormalization Group and Deep Learning을 보고, 자신의 생각과 딥러닝간 관련이 있다는 영감을 얻었다고 한다.