"Dirichlet process"의 두 판 사이의 차이
잔글 |
잔글 |
||
| 7번째 줄: | 7번째 줄: | ||
| − | Chinese Restaurant Process<ref>’중국집 분포’라고 번역하면 되려나. ‘중국집 다중 분포’라고 하면 ‘중국집 분포’와 ‘중국집 다중분포’가 따로 존재하는것 같으니까 별로인거 같다. multivariate distribution은 ‘다변수 분포’라고들 하는것 같다.<br>생각해보니 이러면 안되는게, 디리클레의 경우, ‘디리클레 분포dirichlet distribution’와 ‘디리클레 다중분포process’라고 번역하면 더 헷갈린다. ‘디리클레분포’도 ‘다중분포(distribution over distributions[https://stats.stackexchange.com/q/87201/39669])’이기 때문이다. 걍 프로세스로 하기로 | + | Chinese Restaurant Process<ref>’중국집 분포’라고 번역하면 되려나. ‘중국집 다중 분포’라고 하면 ‘중국집 분포’와 ‘중국집 다중분포’가 따로 존재하는것 같으니까 별로인거 같다. multivariate distribution은 ‘다변수 분포’라고들 하는것 같다.<br>생각해보니 이러면 안되는게, 디리클레의 경우, ‘디리클레 분포dirichlet distribution’와 ‘디리클레 다중분포process’라고 번역하면 더 헷갈린다. ‘디리클레분포’도 ‘다중분포(distribution over distributions[https://stats.stackexchange.com/q/87201/39669])’이기 때문이다. 걍 프로세스로 하기로 ㅎㅎ. 디리클레는 차라리 ‘유한 디리클레 분포’와 ‘무한 디리클레 분포’로 하는게 좋지 않았을까 생각해봄. </ref>의 visualization[http://topicmodels.west.uni-koblenz.de/ckling/tmt/crp.html?parameters=0.5&dp=1#]을 보면 정말 기가 막힌데, 설명도 좋다. |
<blockquote>samples (from the base measure H) yields a random sample of the Dirichlet process DP(0.5,H)</blockquote> | <blockquote>samples (from the base measure H) yields a random sample of the Dirichlet process DP(0.5,H)</blockquote> | ||
샘플링 해보면 ‘richer get richer’ fashion으로 뽑힌다. 그 과정은 아래와 같이 simulation해볼 수 있다. | 샘플링 해보면 ‘richer get richer’ fashion으로 뽑힌다. 그 과정은 아래와 같이 simulation해볼 수 있다. | ||
| 16번째 줄: | 16번째 줄: | ||
## With probability \(\displaystyle{\frac {n_{x}}{\alpha +n-1}} \) set \(X_n = x\), where \(n_x\) is the number of previous observations \(X_j\, ,\, j<n\) , such that \(X_j = x\). | ## With probability \(\displaystyle{\frac {n_{x}}{\alpha +n-1}} \) set \(X_n = x\), where \(n_x\) is the number of previous observations \(X_j\, ,\, j<n\) , such that \(X_j = x\). | ||
여기서 \(x\)는 (cluster의) label이라고 생각하면 됨. <br> | 여기서 \(x\)는 (cluster의) label이라고 생각하면 됨. <br> | ||
| − | \(\Sigma n_x = n -1 \) | + | \(\displaystyle\Sigma n_x = n -1 \) |
---- | ---- | ||
2017년 6월 20일 (화) 22:32 판
Almost all is from wiki.
Dirichlet process is a probability distribution whose range is itself a set of probability distributions.
(‘process is a distribution’) distribution over distributions을 (혼동을 막기 위해) 그냥 process로 쓰는 모양.
The Dirichlet process can be seen as the infinite-dimensional generalization of the Dirichlet distribution.
Chinese Restaurant Process[1]의 visualization[2]을 보면 정말 기가 막힌데, 설명도 좋다.
samples (from the base measure H) yields a random sample of the Dirichlet process DP(0.5,H)
샘플링 해보면 ‘richer get richer’ fashion으로 뽑힌다. 그 과정은 아래와 같이 simulation해볼 수 있다. input: \(H\) (a probability distribution called base distribution), \(α\) (a positive real number called scaling parameter)
- Draw \(X_{1}\) from the distribution \(H\).
- for \(n>1\):
- With probability \(\displaystyle{\frac {\alpha }{\alpha +n-1}} \) draw \(X_n\) from \(H\).
- With probability \(\displaystyle{\frac {n_{x}}{\alpha +n-1}} \) set \(X_n = x\), where \(n_x\) is the number of previous observations \(X_j\, ,\, j<n\) , such that \(X_j = x\).
- With probability \(\displaystyle{\frac {\alpha }{\alpha +n-1}} \) draw \(X_n\) from \(H\).
여기서 \(x\)는 (cluster의) label이라고 생각하면 됨.
\(\displaystyle\Sigma n_x = n -1 \)
- ↑ ’중국집 분포’라고 번역하면 되려나. ‘중국집 다중 분포’라고 하면 ‘중국집 분포’와 ‘중국집 다중분포’가 따로 존재하는것 같으니까 별로인거 같다. multivariate distribution은 ‘다변수 분포’라고들 하는것 같다.
생각해보니 이러면 안되는게, 디리클레의 경우, ‘디리클레 분포dirichlet distribution’와 ‘디리클레 다중분포process’라고 번역하면 더 헷갈린다. ‘디리클레분포’도 ‘다중분포(distribution over distributions[1])’이기 때문이다. 걍 프로세스로 하기로 ㅎㅎ. 디리클레는 차라리 ‘유한 디리클레 분포’와 ‘무한 디리클레 분포’로 하는게 좋지 않았을까 생각해봄.