抄袭检测器并非黑箱。其检测引擎已参加该领域最权威的科学基准测试——PAN 竞赛——并由独立的学术组织委员会在九次国际评测中进行评判。完整记录如下,每项结果均链接至官方来源。
| 年份 | 竞赛 | 举办地 | 任务 | 排名 | 得分 | 来源 |
|---|---|---|---|---|---|---|
| 2009 | 第一届国际抄袭检测竞赛 | PAN @ SEPLN · San Sebastián | 外部检测 | 4 / 10 | 0.3045 | 概览 |
| 2010 | 第二届国际抄袭检测竞赛 | PAN @ CLEF · Padua | 外部检测 | 8 / 18 | 0.5093 | 概览 · 论文 |
| 2011 | 第三届国际抄袭检测竞赛 | PAN @ CLEF · Amsterdam | 外部检测(WordNet 实验) | 7 / 9 | 0.19 | 概览 · 论文 |
| 2011 | CL!TR — Cross-Language Indian Text Re-Use | PAN@FIRE · IIT Bombay, Mumbai | 印地语↔英语复用 | 4 (最佳运行) | F 0.603 | 排行榜 · 概览 |
| 2012 | 第四届国际抄袭检测竞赛 | PAN @ CLEF · Rome | 文本对齐 | 6 / 10 | 0.538 | 概览 · 论文 |
| 2012 | CL!NSS — Cross-Language Indian News Story Search 1ST | PAN@FIRE · ISI Kolkata | 新闻复用(en→hi) | 1 / 3 | NDCG@10 0.34 | 概览 · 论文 |
| 2013 | 第五届国际抄袭检测竞赛 | PAN @ CLEF · Valencia | 文本对齐 | 6 / 9 | 0.61523 | 概览 · 论文 |
| 2014 | 第六届国际抄袭检测竞赛 1ST* | PAN @ CLEF · Sheffield | 文本对齐 | 1 std · 3/10 | 0.868 | 概览 · 论文 |
| 2026 | Voight-Kampff Generative AI Detection TOP AUC | PAN @ CLEF · Jena | 人类与 AI 文本识别 | 3 / 34 | ROC-AUC 0.996 | 排行榜 |
plagdet = PAN 抄袭检测综合得分(精确率、召回率与粒度综合计算)。NDCG@10 = 排名质量。ROC-AUC = 与阈值无关的分类质量。*2014 年:在标准测试语料库上排名第 1,在官方排名语料库上 10 支队伍中排名第 3。2026 年:34 支队伍中排名第 3;所有队伍及基线中 ROC-AUC 最高。
每届竞赛都记录了一项技术,这些技术共同构成了正式发布引擎的基础。研究与软件同出一脉——不是营销噱头,而是经过同行评审的已发表方法。
快速检测复用段落的候选项(PAN 2010、2014)。
对原始文本与可疑段落进行高精度精确匹配(PAN 2012–2014)。
面向释义与跨语言复用的 WordNet 和 TF-IDF / 翻译方法(PAN 2011;FIRE 2011–2012)。
区分人类与机器写作——在 PAN 2026 上取得最高 ROC-AUC。