Usage of "trec_eval"
trec_eval 是TREC ad hoc retrieval 所使用的評估程式,使用方法如下︰
trec_eval -c -q qrel-file run-file
其中option "-c -q" 後的參數 qrel-file 是 file of relevance assessment ["TrainingTopics-qrel(CH).txt" in the dataset],裡頭標示了哪些document是相關(最後一欄為1)或不相關(最後一欄為0)的 ,第 二個參數 run-file是系統所檢索到的文件,其格式範例如下︰
001
Q0 udn_xxx_19980101_0002
1 3.3333 run-tag1
001
Q0 udn_xxx_19980214_0012 2
2.2222 run-tag1
001
Q0 udn_xxx_19980502_0033 3
1.1111 run-tag1
002
Q0 udn_xxx_19980711_0048 1
5.1234 run-tag1
002
Q0 udn_xxx_19980403_0102 2
4.3210 run-tag1
002
Q0 udn_xxx_19980313_0026 3
1.2345 run-tag1
(topic-num) (dummy) (docno) (rank) (score) (run-tag)
其中topic-num是topic number;第二欄此處無作用、其值固定為"Q0"字串;第三欄 docno是被偵測到的句子的document number(<DOCNO> in the document),第四欄 rank是document的排名(需由小到大排序);第五欄為系統給document的相關性分數(通常為由大到小);第 六欄 run-tag是 系統任意自定的;在上面範例中,此系統對topic 001及002各找回三篇文件。