2004년 7월 10일 토요일

검색 system 평가기준(recall, precision)

일반적인 검색시스템의 평가 기준

1. 재현률 (recall)
    R = (검색 문서 중 해당 문서수) / (모든 해당 문서수)

2. 정확률 (precision)
    P = (검색 문서 중 해당 문서수) / (검색된 문서수)

3. 일반적으로, 재현률은 정확률에 역비례한다. (trade off)
    (보여줘야 할 것을 찾는 것 만큼 안 보여줘야 할 것을 빼는 건 어렵다.)

평가 방법
1. 11-point average precision
    11 point interpolated average precision
    - Take precision at 11 levels of recall and average them
    - From 0 to 1 in tenths of docs
    - use rounding
    - use interpolation for recall level of zero

recall이 중요한 곳 - legal/medical domain
precision이 중요한 곳 - time critical domain

댓글 없음:

댓글 쓰기