Mean Average Precision - 편집 역사

2017년 9월 5일 (화) 08:20에 Admin님의 편집

2017-09-05T08:20:42Z

2017년 8월 7일 (월) 07:10에 Admin님의 편집

2017-08-07T07:10:49Z

2017년 7월 31일 (월) 07:16에 Admin님의 편집

2017-07-31T07:16:25Z

2017년 7월 31일 (월) 06:12에 Admin님의 편집

2017-07-31T06:12:48Z

2017년 7월 31일 (월) 06:12에 Admin님의 편집

2017-07-31T06:12:01Z

2017년 7월 31일 (월) 06:10에 Admin님의 편집

2017-07-31T06:10:16Z

2017년 7월 31일 (월) 06:09에 Admin님의 편집

2017-07-31T06:09:13Z

2017년 7월 31일 (월) 06:03에 Admin님의 편집

2017-07-31T06:03:46Z

2017년 7월 31일 (월) 06:01에 Admin님의 편집

2017-07-31T06:01:31Z

2017년 7월 31일 (월) 05:58에 Admin님의 편집

2017-07-31T05:58:27Z

@@ 14번째 줄: / 14번째 줄: @@
 다음과 같이 나타내기도 하는데, $$\begin{equation}
 \sum \text{precision} \cdot \Delta \text{recall}  \end{equation}$$
-AP@<i>k</i>까지 일반적으로 적용되는 식은 아니어서<ref>recall을 조금 더 섬세하게(?) 정의하면 일반화가 불가능한 것은 아니다. 아래와 같이 정의하면 된다. $$ \text{recall} = \frac{| \{\text{relavant}\} \cap \{\text{retrieved}\} |}{ \min(|\{\text{relavant}\}|, k) } $$</ref> 혼동의 여지가 있다.
+AP@<i>k</i>까지 일반적으로 적용되는 식은 아니어서<ref>recall을 아래와 같이 조금 더 섬세하게(?) 정의하는 수도 있다. $$ \text{recall} = \frac{| \{\text{relavant}\} \cap \{\text{retrieved}\} |}{ \min(|\{\text{relavant}\}|, k) } $$</ref> 혼동의 여지가 있다.
 AP@<i>k</i>는 query를 <i>k</i>번째까지 잘랐을 때<ref><c>k</c>는 당연히 prediction(=query)의 길이보다 작거나 같아야 한다.</ref>, 그때까지의 AP이다. actual(=answer)의 길이보다 <i>k</i>가 더 큰 경우(=query의 길이가 더 긴 경우)  query에는 필연적으로 오답이 있을수밖에 없으므로<ref>중복답안이 가능한 경우, 즉 \([1, 1, 1]\)등으로 답을 낼 수 있는 경우, 계산할 때는 처음의 \(1\)만 맞았다고 보고 계산한다. 식 \((1)\)에 \(\Delta\text{recall}\)은 이 맥락에서 맞다.</ref>, AP를 계산할 때 actual의 길이로 나눈다. 위 그림에서 보면 마치 correct query의 개수로 나누는 듯이 보이지만, <c>min(len(actual), k)</c>, 즉 auctual의 길이로 나누는 것임에 주의한다. 반대의 경우는 <i>k</i>로 나눈다.<ref>예를들어, 답이 \([1, 2, 3, 4, 5]\)이고 query가 \([1,6,2,7,8,3,9,10,4,5]\)일 때, AP@\(3\)을 계산하면, \(1 + 2/3\)를 \(2\)로 나누는 것이 아니고 \(3\)으로 나누는 것이다. </ref>

@@ 20번째 줄: / 20번째 줄: @@
 가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>
 참고: [[CMC]]
 ----

← 이전 판		2017년 7월 31일 (월) 07:16 판
20번째 줄:		20번째 줄:
	가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>		가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>

		+
		+	참고: [[CMC]]
	----		----

@@ 16번째 줄: / 16번째 줄: @@
 AP@<i>k</i>까지 일반적으로 적용되는 식은 아니어서<ref>recall을 조금 더 섬세하게(?) 정의하면 일반화가 불가능한 것은 아니다. 아래와 같이 정의하면 된다. $$ \text{recall} = \frac{| \{\text{relavant}\} \cap \{\text{retrieved}\} |}{ \min(|\{\text{relavant}\}|, k) } $$</ref> 혼동의 여지가 있다.
-AP@<i>k</i>는 query를 <i>k</i>번째까지 잘랐을 때<ref><c>k</c>는 당연히 prediction(=query)의 길이보다 작거나 같아야 한다.</ref>, 그때까지의 AP이다. actual(=answer)의 길이보다 <i>k</i>가 더 큰 경우(=query의 길이가 더 긴 경우)  query에는 필연적으로 오답이 있을수밖에 없으므로<ref>중복답안이 가능한 경우, 즉 \([1, 1, 1]\)등으로 답을 낼 수 있는 경우, 계산할 때는 처음의 \(1\)만 맞았다고 보고 계산한다. 식 \((1)\)에 \(\Delta\text{recall}\)은 이 맥락에서 맞다.</ref>, AP를 계산할 때 actual의 길이로 나눈다. 위 그림에서 보면 마치 correct query의 개수로 나누는 듯이 보이지만, <c>min(len(actual), k)</c>, 즉 auctual의 길이로 나누는 것임에 주의한다. 반대의 경우(<c>len(actual)>k</c>)는 <i>k</i>로 나눈다.<ref>예를들어, 답이 \([1, 2, 3, 4, 5]\)이고 query가 \([1,6,2,7,8,3,9,10,4,5]\)일 때, AP@\(3\)을 계산하면, \(1 + 2/3\)를 \(2\)로 나누는 것이 아니고 \(3\)으로 나누는 것이다. </ref>
+AP@<i>k</i>는 query를 <i>k</i>번째까지 잘랐을 때<ref><c>k</c>는 당연히 prediction(=query)의 길이보다 작거나 같아야 한다.</ref>, 그때까지의 AP이다. actual(=answer)의 길이보다 <i>k</i>가 더 큰 경우(=query의 길이가 더 긴 경우)  query에는 필연적으로 오답이 있을수밖에 없으므로<ref>중복답안이 가능한 경우, 즉 \([1, 1, 1]\)등으로 답을 낼 수 있는 경우, 계산할 때는 처음의 \(1\)만 맞았다고 보고 계산한다. 식 \((1)\)에 \(\Delta\text{recall}\)은 이 맥락에서 맞다.</ref>, AP를 계산할 때 actual의 길이로 나눈다. 위 그림에서 보면 마치 correct query의 개수로 나누는 듯이 보이지만, <c>min(len(actual), k)</c>, 즉 auctual의 길이로 나누는 것임에 주의한다. 반대의 경우는 <i>k</i>로 나눈다.<ref>예를들어, 답이 \([1, 2, 3, 4, 5]\)이고 query가 \([1,6,2,7,8,3,9,10,4,5]\)일 때, AP@\(3\)을 계산하면, \(1 + 2/3\)를 \(2\)로 나누는 것이 아니고 \(3\)으로 나누는 것이다. </ref>
 가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>
 ----

@@ 16번째 줄: / 16번째 줄: @@
 AP@<i>k</i>까지 일반적으로 적용되는 식은 아니어서<ref>recall을 조금 더 섬세하게(?) 정의하면 일반화가 불가능한 것은 아니다. 아래와 같이 정의하면 된다. $$ \text{recall} = \frac{| \{\text{relavant}\} \cap \{\text{retrieved}\} |}{ \min(|\{\text{relavant}\}|, k) } $$</ref> 혼동의 여지가 있다.
-AP@<i>k</i>는 query를 <i>k</i>번째까지 잘랐을 때<ref><c>k</c>는 당연히 prediction(=query)의 길이보다 작거나 같아야 한다.</ref>, 그때까지의 AP이다. actual(=answer)의 길이보다 <i>k</i>가 더 큰 경우(=query의 길이가 더 긴 경우)  query에는 필연적으로 오답이 있을수밖에 없으므로<ref>중복답안이 가능한 경우, 즉 \([1, 1, 1]\)등으로 답을 낼 수 있는 경우, 계산할 때는 처음의 \(1\)만 맞았다고 보고 계산한다. 식 \((1)\)에 \(\Delta\text{recall}\)은 이 맥락에서 맞다.</ref>, AP를 계산할 때 actual의 길이로 나눈다. 위 그림에서 보면 마치 correct query의 개수로 나누는 듯이 보이지만, <c>min(len(actual), k)</c>, 즉 auctual의 길이로 나누는 것임에 주의한다. 반대의 경우는 <i>k</i>로 나눈다.<ref>예를들어, 답이 \([1, 2, 3, 4, 5]\)이고 query가 \([1,6,2,7,8,3,9,10,4,5]\)일 때, AP@\(3\)을 계산하면, \(1 + 2/3\)를 \(2\)로 나누는 것이 아니고 \(3\)으로 나누는 것이다. </ref>
+AP@<i>k</i>는 query를 <i>k</i>번째까지 잘랐을 때<ref><c>k</c>는 당연히 prediction(=query)의 길이보다 작거나 같아야 한다.</ref>, 그때까지의 AP이다. actual(=answer)의 길이보다 <i>k</i>가 더 큰 경우(=query의 길이가 더 긴 경우)  query에는 필연적으로 오답이 있을수밖에 없으므로<ref>중복답안이 가능한 경우, 즉 \([1, 1, 1]\)등으로 답을 낼 수 있는 경우, 계산할 때는 처음의 \(1\)만 맞았다고 보고 계산한다. 식 \((1)\)에 \(\Delta\text{recall}\)은 이 맥락에서 맞다.</ref>, AP를 계산할 때 actual의 길이로 나눈다. 위 그림에서 보면 마치 correct query의 개수로 나누는 듯이 보이지만, <c>min(len(actual), k)</c>, 즉 auctual의 길이로 나누는 것임에 주의한다. 반대의 경우(<c>len(actual)>k</c>)는 <i>k</i>로 나눈다.<ref>예를들어, 답이 \([1, 2, 3, 4, 5]\)이고 query가 \([1,6,2,7,8,3,9,10,4,5]\)일 때, AP@\(3\)을 계산하면, \(1 + 2/3\)를 \(2\)로 나누는 것이 아니고 \(3\)으로 나누는 것이다. </ref>
 가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>
 ----

@@ 12번째 줄: / 12번째 줄: @@
 AP도 말 그대로 P의 Average. 단, correct query에 대해서만 계산한다. 위 그림의 Ranking #1에서 \(1 + 1/2 + 2/3 + 2/4 + 2/5 + 3/6 + \cdots\)이 아니고, \(1 + 2/3 + 3/6 + \cdots\)인 이유.
-다음과 같이 나타내기도 하는데, $$\sum \text{precision} \cdot \Delta \text{recall} $$
+다음과 같이 나타내기도 하는데, $$\begin{equation}
 AP@<i>k</i>까지 일반적으로 적용되는 식은 아니어서<ref>recall을 조금 더 섬세하게(?) 정의하면 일반화가 불가능한 것은 아니다. 아래와 같이 정의하면 된다. $$ \text{recall} = \frac{| \{\text{relavant}\} \cap \{\text{retrieved}\} |}{ \min(|\{\text{relavant}\}|, k) } $$</ref> 혼동의 여지가 있다.
-AP@<i>k</i>는 <i>k</i>번째 query까지의 AP를 나타낸다. actual(=answer)의 길이보다 <i>k</i>가 더 큰 경우(=query의 길이가 더 긴 경우)  query에는 필연적으로 오답이 있을수밖에 없으므로<ref>중복답안이 가능한 경우, 즉 \([1, 1, 1]\)등으로 답을 낼 수 있는 경우, 계산할 때는 처음의 \(1\)만 맞았다고 보고 계산한다. 위에 \(\Delta\text{recall}\)은 이 맥락에서 맞는 식이다.</ref>, AP를 계산할 때 <i>k</i>로 나눈다. 위 그림에서 보면 마치 correct query의 개수로 나누는 듯이 보이지만, <c>min(len(actual), k)</c>로 나누는 것임에 주의한다.<ref>예를들어, 답이 \([1, 2, 3, 4, 5]\)이고 query가 \([1,6,2,7,8,3,9,10,4,5]\)일 때, AP@\(3\)을 계산하면, \(1 + 2/3\)를 \(2\)로 나누는 것이 아니고 \(3\)으로 나누는 것이다.</ref> <c>k</c>는 당연히 prediction(=query)의 길이보다 작거나 같아야 한다.
+AP@<i>k</i>는 <i>k</i>번째 query까지의 AP를 나타낸다. actual(=answer)의 길이보다 <i>k</i>가 더 큰 경우(=query의 길이가 더 긴 경우)  query에는 필연적으로 오답이 있을수밖에 없으므로<ref>중복답안이 가능한 경우, 즉 \([1, 1, 1]\)등으로 답을 낼 수 있는 경우, 계산할 때는 처음의 \(1\)만 맞았다고 보고 계산한다. 식 \((1)\)에 \(\Delta\text{recall}\)은 이 맥락에서 맞다.</ref>, AP를 계산할 때 <i>k</i>로 나눈다. 위 그림에서 보면 마치 correct query의 개수로 나누는 듯이 보이지만, <c>min(len(actual), k)</c>로 나누는 것임에 주의한다.<ref>예를들어, 답이 \([1, 2, 3, 4, 5]\)이고 query가 \([1,6,2,7,8,3,9,10,4,5]\)일 때, AP@\(3\)을 계산하면, \(1 + 2/3\)를 \(2\)로 나누는 것이 아니고 \(3\)으로 나누는 것이다.</ref> <c>k</c>는 당연히 prediction(=query)의 길이보다 작거나 같아야 한다.
 가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>
 ----

← 이전 판		2017년 7월 31일 (월) 05:58 판
18번째 줄:		18번째 줄:

	가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>		가장 정확한 이해는 역시 코드를 보는 것인데, [https://github.com/benhamner/Metrics Ben Hamner라는 사람이 만든 테스트코드]를 보면 된다. <ref>[https://github.com/benhamner/Metrics/blob/master/Python/ml_metrics/average_precision.py python코드]</ref>
		+
		+	----