Детектор плагиата — не чёрный ящик. Его поисковый движок участвовал в главном научном бенчмарке в этой области — соревновании PAN — и оценивался независимыми академическими организаторами в ходе девяти международных оценок. Полная история результатов приведена ниже; каждый результат ссылается на официальный источник.
| Год | Соревнование | Площадка | Задача | Место | Оценка | Источник |
|---|---|---|---|---|---|---|
| 2009 | 1-е Международное соревнование по обнаружению плагиата | PAN @ SEPLN · San Sebastián | Внешнее обнаружение | 4 / 10 | 0.3045 | обзор |
| 2010 | 2-е Международное соревнование по обнаружению плагиата | PAN @ CLEF · Padua | Внешнее обнаружение | 8 / 18 | 0.5093 | обзор · статья |
| 2011 | 3-е Международное соревнование по обнаружению плагиата | PAN @ CLEF · Amsterdam | Внешнее (эксперимент с WordNet) | 7 / 9 | 0.19 | обзор · статья |
| 2011 | CL!TR — Cross-Language Indian Text Re-Use | PAN@FIRE · IIT Bombay, Mumbai | Повторное использование текстов хинди↔английский | 4 (лучший прогон) | F 0.603 | таблица лидеров · обзор |
| 2012 | 4-е Международное соревнование по обнаружению плагиата | PAN @ CLEF · Rome | Выравнивание текстов | 6 / 10 | 0.538 | обзор · статья |
| 2012 | CL!NSS — Cross-Language Indian News Story Search 1ST | PAN@FIRE · ISI Kolkata | Журналистское повторное использование (en→hi) | 1 / 3 | NDCG@10 0.34 | обзор · статья |
| 2013 | 5-е Международное соревнование по обнаружению плагиата | PAN @ CLEF · Valencia | Выравнивание текстов | 6 / 9 | 0.61523 | обзор · статья |
| 2014 | 6-е Международное соревнование по обнаружению плагиата 1ST* | PAN @ CLEF · Sheffield | Выравнивание текстов | 1 std · 3/10 | 0.868 | обзор · статья |
| 2026 | Voight-Kampff Generative AI Detection TOP AUC | PAN @ CLEF · Jena | Человек vs. ИИ-текст | 3 / 34 | ROC-AUC 0.996 | таблица лидеров |
plagdet = общий балл PAN по обнаружению плагиата (точность, полнота и гранулярность в совокупности). NDCG@10 = качество ранжирования. ROC-AUC = качество классификации, независимое от порога. *2014: 1-е место на стандартном тестовом корпусе, 3-е из 10 на официальном ранжирующем корпусе. 2026: 3-е из 34 команд; наивысший ROC-AUC среди всех команд и базовых систем.
Каждое соревнование документировало технику, которая лежит в основе работающего движка. Исследования и программное обеспечение — единая линия преемственности, а не маркетинговые заявления, а опубликованные, прошедшие рецензирование методы.
Быстрое обнаружение кандидатов для повторно использованных фрагментов (PAN 2010, 2014).
Точное сопоставление исходных ↔ подозрительных фрагментов с высокой точностью (PAN 2012–2014).
WordNet и TF-IDF / методы перевода для перефразирования и межъязыкового повторного использования (PAN 2011; FIRE 2011–2012).
Разграничение авторства человека и машины — наивысший ROC-AUC на PAN 2026.
Поддержите Украину!