Bayesian Statistics in simple English - 편집 역사

Admin: /* 3.2 Bayes Theorem */

2017-06-14T13:27:17Z

3.2 Bayes Theorem

2017년 6월 14일 (수) 06:04에 Admin님의 편집

2017-06-14T06:04:34Z

Admin: /* 4. Bayesian Inference */

2017-06-14T06:01:54Z

4. Bayesian Inference

Admin: /* 5.4. High Density Interval (HDI) */

2017-06-14T05:55:19Z

5.4. High Density Interval (HDI)

Admin: /* 5.3. Bayes Factor */

2017-06-14T05:31:47Z

5.3. Bayes Factor

Admin: /* 5.3. Bayes Factor */

2017-06-14T05:27:58Z

5.3. Bayes Factor

Admin: /* 5.3. Bayes Factor */

2017-06-14T03:34:37Z

5.3. Bayes Factor

Admin: /* 5.3. Bayes Factor */

2017-06-14T03:25:45Z

5.3. Bayes Factor

Admin: /* 5.3. Bayes Factor */

2017-06-14T03:24:17Z

5.3. Bayes Factor

Admin: /* 5.3. Bayes Factor */

2017-06-14T03:20:30Z

5.3. Bayes Factor

@@ 19번째 줄: / 19번째 줄: @@
 ===3.2 Bayes Theorem===
 \(\Large P(A|B) = \frac{\Large P(B|A_i) P(A_i) }{\Large \sum_{i=1}^n P(B|A_i)P(A_i)} \)
 ==4. Bayesian Inference==

← 이전 판		2017년 6월 14일 (수) 06:04 판
2번째 줄:		2번째 줄:
	읽은 글은 [https://www.analyticsvidhya.com/blog/2016/06/bayesian-statistics-beginners-simple-english/ Bayesian Statistics explained to Beginners in Simple English]		읽은 글은 [https://www.analyticsvidhya.com/blog/2016/06/bayesian-statistics-beginners-simple-english/ Bayesian Statistics explained to Beginners in Simple English]

−	baysian inference가 뭔가 찾아보다가 발견한 문서.~~(variational inference와는 어떻게 다른거지?)~~	+	baysian inference가 뭔가 찾아보다가 발견한 문서.

@@ 21번째 줄: / 21번째 줄: @@
 ==4. Bayesian Inference==
-prior × liklihood = posterior × evidence
+prior × likelihood = posterior × evidence
-cf. [https://www.cs.princeton.edu/courses/archive/fall11/cos597C/lectures/variational-inference-i.pdf Variational Inference] (pdf)
+posterior \(\propto\) prior × likelihood
 ===4.1. Bernoulli likelihood function===

← 이전 판		2017년 6월 14일 (수) 05:55 판
113번째 줄:		113번째 줄:
	===5.4. High Density Interval (HDI)===		===5.4. High Density Interval (HDI)===
	Since HDI is a probability, the 95% HDI gives the 95% most credible values. It is also guaranteed that 95 % values will lie in this interval <u>unlike C.I.</u>		Since HDI is a probability, the 95% HDI gives the 95% most credible values. It is also guaranteed that 95 % values will lie in this interval <u>unlike C.I.</u>
		+
		+	confidence interval (frequentist의 관점에서. baysian은 credible interval이라고 하는것 같다) 그래프에서 가장 밀도가 높은 부분.
		+
		+	관련해서 [http://posterior.egloos.com/9634717 위에 인용한 블로그의 또다른 포스트]에 좋은 부분이 있다.
		+	<blockquote>95% 신뢰구간은 그것을 계속 만들었을 때, 모든 신뢰구간들 중 95%가 모수치를 포함하도록 설계한 것이다. 그런데 이 때 개별 신뢰구간이 모수치를 포함할 확률이 95%라고 말해서는 안 된다. 왜냐하면 여기서 '95%' 라는 확률은 빈도주의적 의미를 가지며, 따라서 개별 구간에 대해서는 적용할 수 없기 때문이다. 개별 신뢰구간이 모수치를 포함할 확률은 그냥 0 또는 1, 다시 말해 포함하거나 포함하지 않거나 둘 중 하나다.
		+
		+	그러나 95% 신용구간은 그 구간이 모수치를 포함한다는 사건에 대한 믿음이 0.95임을 나타내는 것이다. 그리고 이 믿음은 개별 신용구간에 대해 적용할 수 있다. 따라서 개별 신용구간이 모수치를 포함할 확률이 95%라고 말할 수 있다.</blockquote>
		+

@@ 107번째 줄: / 107번째 줄: @@
 (1)은 분모분자의 순서가 의미상 뒤바뀐것이 아니고, null hypothesis를 어떻게 잡느냐에 따라 다른것이다.
 <blockquote>BF는 각각의 가설이 데이터를 설명하는 정도의 비율이라 이해할 수 있다. 물론 여기서 두 가설은 굳이 영가설/대안가설일 필요는 없다.</blockquote>
-H<sub>1</sub>이나 H<sub>0</sub>는 (당연하게도) 이미 아는 것이므로, 관찰(D)만 하고 나면 Bayes Factor(\(=\frac{P(D|H_1)}{P(D|H_0)}\))계산은 어렵지 않다.[http://posterior.egloos.com/9637425]
+[https://en.wikipedia.org/wiki/Bayes_factor 위키]에도 단순히 M<sub>1</sub>, M<sub>2</sub>라고 되어있다.(D:observed data, M:model)
 ===5.4. High Density Interval (HDI)===

@@ 93번째 줄: / 93번째 줄: @@
 To reject a null hypothesis, a BF <1/10 is preferred.
-[http://posterior.egloos.com/9636104 훌륭한 한글 자료]가 있다. 이에 따라 다시 쓰면,
+[http://posterior.egloos.com/9636104 훌륭한 한글 자료]가 있다. (아래 인용은 모두 그 자료에서 인용해온 것이다) 이에 따라 다시 쓰면,
 $$
 \large \text{(Posterior odds)} = \text{(Bayes Factor)} \times \text{(Prior odds)}
@@ 102번째 줄: / 102번째 줄: @@
 \end{equation}
 $$
-위 (1)식과 (2)식이 결과값은 같으나 (1)은 분모분자의 순서가 의미상 뒤바뀐듯 하고, 일반적으로 (2)의 표현을 쓰는듯 하다.[https://cran.rstudio.com/web/packages/BayesFactor/vignettes/odds_probs.html]
+<blockquote>위 공식의 의미는 BF는 데이터를 관측한 뒤의 Odds ratio가 데이터 관측 전의 Odds ratio의 몇 배인지를 나타낸다는 것이다. 다시 말해 데이터 관측 후에 각각의 가설이 참이라는 것에 대한 믿음의 비율이 몇 배나 증가(감소)했는지를 나타낸다. BF의 값이 1보다 크면 대안가설이, 1보다 작으면 영가설이 데이터에 의해 더 많은 지지를 받는다고 생각할 수 있으며, BF의 값이 1에서 멀어질수록 사후믿음이 많이 변화했다고 생각할 수 있다.</blockquote>
 ===5.4. High Density Interval (HDI)===

@@ 88번째 줄: / 88번째 줄: @@
 $$\begin{equation}
-\Large \text{ BF}= \frac{\text{posterior odds}}{\text{prior odds}} = \frac{\frac{ P(M=null | z, N)}{P(M=alt | z, N)}}{ \frac{P(M=null)}{P(M=alt)}}
+\Large \text{ BF}= \frac{\text{Posterior odds}}{\text{Prior odds}} = \frac{\frac{ P(M=null | z, N)}{P(M=alt | z, N)}}{ \frac{P(M=null)}{P(M=alt)}}
 \end{equation}$$

@@ 87번째 줄: / 87번째 줄: @@
 Bayes factor is defined as the ratio of the posterior odds to the prior odds,
-$$\Large \text{ BF}= \frac{\text{posterior odds}}{\text{prior odds}} = \frac{\frac{ P(M=null | z, N)}{P(M=alt | z, N)}}{ \frac{P(M=null)}{P(M=alt)}} $$
+$$\begin{equation}
 To reject a null hypothesis, a BF <1/10 is preferred.
@@ 93번째 줄: / 95번째 줄: @@
 [http://posterior.egloos.com/9636104 훌륭한 한글 자료]가 있다. 이에 따라 다시 쓰면,
 $$
-\large \text{(Posterior odds)} = \text{(Bayes Factor)} \times \text{(Prior odds)} \\
+\large \text{(Posterior odds)} = \text{(Bayes Factor)} \times \text{(Prior odds)}
 \large \frac{P(H_1|D)}{P(H_0|D)} = \frac{P(D|H_1)}{P(D|H_0)} \times \frac{P(H_1)}{P(H_0)}
 $$
 ===5.4. High Density Interval (HDI)===

@@ 81번째 줄: / 81번째 줄: @@
 ===5.3. Bayes Factor===
-Baysian framework에서 p-value와 같은(equivalent) 것.
+Baysian framework에서 p-value와 같은 역할을 함.
 The null hypothesis in bayesian framework : \(P(θ)=\infty\) at fixed \(θ\), and \(P(θ)=0\) elsewhere.
@@ 90번째 줄: / 90번째 줄: @@
 To reject a null hypothesis, a BF <1/10 is preferred.
 ===5.4. High Density Interval (HDI)===