Детектор плагіату — не чорна скринька. Його рушій виявлення брав участь у головному науковому бенчмарку галузі — змаганні PAN — і оцінювався незалежними академічними організаторами в дев'яти міжнародних оцінюваннях. Повний рекорд наведено нижче; кожен результат посилається на офіційне джерело.
| Рік | Змагання | Майданчик | Завдання | Місце | Результат | Джерело |
|---|---|---|---|---|---|---|
| 2009 | 1-е Міжнародне змагання з виявлення плагіату | PAN @ SEPLN · San Sebastián | Зовнішнє виявлення | 4 / 10 | 0.3045 | огляд |
| 2010 | 2-е Міжнародне змагання з виявлення плагіату | PAN @ CLEF · Padua | Зовнішнє виявлення | 8 / 18 | 0.5093 | огляд · стаття |
| 2011 | 3-є Міжнародне змагання з виявлення плагіату | PAN @ CLEF · Amsterdam | Зовнішнє (експеримент з WordNet) | 7 / 9 | 0.19 | огляд · стаття |
| 2011 | CL!TR — Cross-Language Indian Text Re-Use | PAN@FIRE · IIT Bombay, Mumbai | Повторне використання гінді↔англійська | 4 (найкращий запуск) | F 0.603 | таблиця лідерів · огляд |
| 2012 | 4-е Міжнародне змагання з виявлення плагіату | PAN @ CLEF · Rome | Вирівнювання тексту | 6 / 10 | 0.538 | огляд · стаття |
| 2012 | CL!NSS — Cross-Language Indian News Story Search 1ST | PAN@FIRE · ISI Kolkata | Журналістське повторне використання (en→hi) | 1 / 3 | NDCG@10 0.34 | огляд · стаття |
| 2013 | 5-е Міжнародне змагання з виявлення плагіату | PAN @ CLEF · Valencia | Вирівнювання тексту | 6 / 9 | 0.61523 | огляд · стаття |
| 2014 | 6-е Міжнародне змагання з виявлення плагіату 1ST* | PAN @ CLEF · Sheffield | Вирівнювання тексту | 1 std · 3/10 | 0.868 | огляд · стаття |
| 2026 | Voight-Kampff Generative AI Detection TOP AUC | PAN @ CLEF · Jena | Текст людина проти ШІ | 3 / 34 | ROC-AUC 0.996 | таблиця лідерів |
plagdet = загальний бал PAN з виявлення плагіату (точність, повнота та гранулярність разом). NDCG@10 = якість ранжування. ROC-AUC = якість класифікації незалежно від порогу. *2014: 1-ше місце на стандартному тестовому корпусі, 3-тє з 10 на офіційному корпусі ранжування. 2026: 3-тє з 34 команд; найвищий ROC-AUC серед будь-якої команди або базової лінії.
Кожне змагання задокументувало техніку, яка лежить в основі робочого рушія. Дослідження та програмне забезпечення — це одна лінія наступництва, а не маркетингові твердження, а опубліковані рецензовані методи.
Швидке виявлення кандидатів у повторно використаних уривках (PAN 2010, 2014).
Точне зіставлення вихідних ↔ підозрілих уривків із високою точністю (PAN 2012–2014).
WordNet і TF-IDF / методи перекладу для парафразу та міжмовного повторного використання (PAN 2011; FIRE 2011–2012).
Розрізнення авторства людини та машини — найвищий ROC-AUC на PAN 2026.
Стань з Україною!