Usage of "trec_eval"

    trec_eval 是TREC ad hoc retrieval 所使用的評估程式,使用方法如下︰

trec_eval -c -q qrel-file run-file

其中option "-c -q" 後的參數 qrel-file 是 file of relevance assessment ["TrainingTopics-qrel(CH).txt" in the dataset],裡頭標示了哪些document是相關(最後一欄為1)或不相關(最後一欄為0)的 ,第 二個參數 run-file是系統所檢索到的文件,其格式範例如下︰

    001            Q0    udn_xxx_19980101_0002    1      3.3333     run-tag1
    001            Q0    udn_xxx_19980214_0012    2      2.2222     run-tag1
    001            Q0    udn_xxx_19980502_0033    3      1.1111     run-tag1

    002            Q0    udn_xxx_19980711_0048    1      5.1234     run-tag1
    002            Q0    udn_xxx_19980403_0102    2      4.3210     run-tag1
    002            Q0    udn_xxx_19980313_0026    3      1.2345     run-tag1

(topic-num) (dummy)              (docno)            (rank)   (score)    (run-tag)

其中topic-num是topic number;第二欄此處無作用、其值固定為"Q0"字串;第三欄 docno是被偵測到的句子的document number(<DOCNO> in the document),第四欄 rank是document的排名(需由小到大排序);第五欄為系統給document的相關性分數(通常為由大到小);第 六欄 run-tag是 系統任意自定的;在上面範例中,此系統對topic 001及002各找回三篇文件。