Pred začatím akejkoľvek analýzy plagiátorstva musí softvér extrahovať čistý, prehľadávateľný text z odovzdaného dokumentu. Je to zložitejší problém, ako sa zdá, pretože dokumenty prichádzajú v širokej škále formátov — DOC, DOCX, PDF, RTF, PPT, PPTX, TXT, ODT a HTML, okrem iných — každý s vlastnou vnútornou štruktúrou formátovania, metadát, vložených objektov a kódovania. Spoľahlivý extrakčný kanál textu musí konzistentne zvládať všetky tieto formáty a produkovať normalizovaný text vhodný na porovnanie.
Detektor plagiátov používa 5-vrstvovú architektúru extrakcie textu na maximalizáciu spoľahlivosti. Pre súbory DOCX prvá vrstva priamo analyzuje natívnu štruktúru DocX XML. Ak to zlyhá (kvôli poškodeniu alebo neštandardnému formátovaniu), systém sa vráti na rozhranie Microsoft iFilter, potom na surové OpenXML analyzovanie a nakoniec na Apache Tika ako univerzálny extraktor v krajnom prípade. Tento kaskádový prístup znamená, že aj poškodené alebo neštandardné dokumenty poskytujú použiteľný text.
Extrakčný proces tiež zvláda normalizáciu kódovania — konverziu textu z rôznych kódovaní znakov (UTF-8, UTF-16, Windows-1252, varianty ISO-8859) do zjednotenéj internej reprezentácie. Je to kritické, pretože nezhody kódovania môžu spôsobiť, že rovnaký text sa bude zdať odlišný na úrovni bytov, čo vedie k prehliadnutým zhodám plagiátorstva.
Akonáhle je čistý text extrahovaný, detekčný motor ho rozdeľuje na analyzovateľné jednotky procesom nazvaným odtlačok textu. Dokument je segmentovaný do prekrývajúcich sa sekvencií slov (n-gramov) a každá sekvencia je konvertovaná do kompaktného numerického hashu — odtlačku. Tieto odtlačky slúžia ako efektívne identifikátory, ktoré možno rýchlo porovnať s odtlačkami z iných zdrojov bez vykonávania nákladných porovnaní celého textu.
Algoritmus odtlačkovania musí vyvážiť citlivosť oproti efektívnosti. Krátke n-gramy (3-4 slová) zachytávajú viac zhôd, ale produkujú nadmerné falošné pozitívy z bežných fráz. Dlhšie n-gramy (8-10 slov) sú špecifickejšie, ale môžu prehliadnuť plagiátorstvo, kde bolo niekoľko slov zmenených. Pokročilé systémy používajú odtlačkovanie premenlivej dĺžky kombinované s algoritmami preosievania, ktoré vyberajú reprezentatívnu podmnožinu odtlačkov.
S odtlačkovaným dokumentom musí detekčný motor porovnať tieto odtlačky s existujúcim obsahom na internete. Detektor plagiátov používa charakteristický prístup: namiesto spoliehania sa na jedinú proprietárnu databázu dopytuje štyri hlavné vyhľadávače súčasne — Google, Bing, Yahoo a DuckDuckGo — pristupujúc k ich kombinovanému indexu viac ako 4 miliárd webových stránok. Táto viacmotorová stratégia dramaticky zvyšuje pokrytie zdrojov.
Proces dopytovania používa inteligentnú rotáciu a výber textových fragmentov na odoslanie ako vyhľadávacích dopytov. Nie každý odtlačok je dopytovaný — motor vyberá najvýznamnejšie pasáže z dokumentu, ktoré s najväčšou pravdepodobnosťou vrátia zmysluplné zhody namiesto všeobecných fráz. Plánovanie dopytov spravuje obmedzenia rýchlosti a distribuuje požiadavky naprieč motormi na udržanie priepustnosti.
Keď vyhľadávajúce dopyty vrátia potenciálne zhodné URL adresy, detekčný motor vstupuje do fázy získavania zdrojov a porovnávania. Každá stránka kandidátneho zdroja je stiahnutá, jej obsah je extrahovaný a normalizovaný (odstraňujúc HTML tagy, navigačné prvky, hlavičky a päty na izolovanie skutočného textu článku) a potom zarovnaný s odovzdaným dokumentom. Toto zarovnanie používa algoritmy párovania sekvencií identifikujúce najdlhšie spoločné podsekvencie medzi dvoma textami.
Porovnanie nie je obmedzené na presné zhody. Motor vykonáva fuzzy párovania na identifikáciu pasáží, kde boli jednotlivé slová nahradené synonymami, poradie viet bolo zmenené alebo spojovacie frázy pridané alebo odobraté. Tým sa zachytáva najbežnejšia technika úniku: povrchové preformulovanie zachovávajúce pôvodný zmysel a štruktúru. Každý zhodný segment je zaznamenaný s URL zdrojom, percentom prekrytia a konkrétnymi textovými fragmentmi, ktoré zodpovedajú.
Po získaní a porovnaní všetkých zdrojov motor vypočíta skóre podobnosti — percento predstavujúce, koľko z odovzdaného dokumentu sa zhoduje s externými zdrojmi. Tento výpočet je nuancovanejší ako jednoduchý pomer. Motor rozlišuje medzi rôznymi typmi zhôd: presnými kópiami, blízkymi zhodami (parafrázované pasáže), riadne citovaným a odkazovaným materiálom a bežnými frázami alebo štandardizovaným textom.
Systém odhaľovania referencií Detektora plagiátov automaticky identifikuje citácie, úvodzovky a bibliografické referencie v dokumente a zaobchádza s nimi odlišne od nepripisovaných zhôd. Blok textu uzavretý v úvodzovkách a nasledovaný citáciou je označený ako legitímna referencia, nie ako plagiátorstvo. Toto zabraňuje nadmerne nafúknutým skóre podobnosti, ktoré by inak penalizovali dobre preskúmané práce za správne používanie zdrojov.
Keďže text generovaný AI je čoraz rozšírenejší, odhaľovanie plagiátorstva musí riešiť obsah, ktorý nie je skopírovaný z existujúceho zdroja, ale napriek tomu nie je originálnou ľudskou prácou. Detektor plagiátov obsahuje integrovaný modul odhaľovania obsahu AI s citlivosťou 0,98, schopný identifikovať text produkovaný veľkými jazykovými modelmi vrátane ChatGPT, Gemini a HuggingChat. Odhaľovanie funguje analýzou štatistických vlastností textu — distribúcia frekvencie slov, perplexita na úrovni vety, vzory burstiness a sekvencie pravdepodobnosti tokenov — ktoré sa systematicky líšia medzi ľudskými a strojovými textami.
Ľudské písanie má tendenciu vykazovať väčšiu variabilitu v dĺžke vety, nepredvídateľnejšie výbery slov a nepravidelné vzory zložitosti. Text generovaný AI naopak gravituje k štatisticky pravdepodobným slovným sekvenciám s rovnomernejšou vetnou štruktúrou a charakteristickou plynulosťou v distribúcii pravdepodobnosti. Detekčný model je trénovaný na veľkých korpusoch ľudského aj AI textu a funguje na úrovni odseku na poskytovanie granulárnych výsledkov.
Sofistikovaní používatelia sa pokúšajú poraziť odhaľovanie plagiátorstva rôznymi technickými trikmi. Najbežnejšou technikou úniku je substitúcia znakov Unicode — nahradenie latinských znakov vizuálne identickými znakmi z iných skriptov Unicode. Napríklad cyriliské písmeno a (U+0430) vyzerá identicky s latinským písmenom a (U+0061) na obrazovke, ale sú to rôzne znaky na úrovni kódového bodu. Naivné porovnávanie textu by považovalo slovo napísané s cyrilikou a za úplne odlišné slovo.
Detektor plagiátov to rieši pomocou Unicode Anti-Cheating Engine (UACE). Pred porovnávaním UACE normalizuje všetok text mapovaním vizuálne ekvivalentných znakov naprieč blokmi Unicode — cyrilika, gréčtina, arménčina a iné skripty obsahujúce podobné znaky — späť na ich latinské ekvivalenty. Motor udržiava komplexnú substitučnú tabuľku pokrývajúcu stovky párov znakov. Táto normalizácia prebieha transparentne počas fázy extrakcie textu.
Okrem substitúcie znakov UACE tiež odhaľuje iné techniky úniku vrátane vkladania neviditeľných znakov Unicode (medzery s nulovou šírkou, spájače s nulovou šírkou, mäkké pomlčky) medzi slová alebo písmená, biely text na bielom pozadí skrytý v dokumentoch a text v mikrofonte vložený na rozbitie rozpoznateľných fráz. Tieto techniky sú označené v správe o originalite ako zámerné pokusy o manipuláciu.
Stiahnite si bezplatnú demo verziu alebo si zakúpte licenciu a začnite kontrolovať plagiátorstvo a obsah generovaný umelou inteligenciou.
Vyvrcholením detekčného procesu je Správa o originalite — podrobný dokument, ktorý predstavuje všetky nálezy v organizovanom, prehľadnom formáte. Správa zvýrazňuje zhodné pasáže v odovzdanom texte, farebne kódované podľa zdroja, s každou zhodou odkazovanou na zodpovedajúcu URL adresu alebo databázovú položku. Súhrnná sekcia zobrazuje celkové skóre podobnosti, počet zhodných zdrojov, percento odhaleného obsahu AI a rozdelenie typov zhôd (presné, parafrázované, citované).
Pre inštitúcie môžu byť Správy o originalite opatrené logom organizácie, čím sa zabezpečuje profesionálny, štandardizovaný formát pre záznamy akademickej integrity. Správy sú navrhnuté tak, aby boli na úrovni dôkazov — vhodné na použitie v formálnych kontrolných konaniach, vypočutiach o akademickej integrite alebo právnych súvislostiach. Každé tvrdenie v správe je nezávisle overiteľné: recenzenti môžu kliknúť na pôvodný zdroj a potvrdiť zhodu vlastnými očami.
Základná architektonická voľba v odhaľovaní plagiátorstva je, či sú dokumenty spracovávané lokálne na zariadení používateľa alebo nahrané na vzdialený cloudový server. Cloud-based detektory plagiátov vyžadujú, aby používatelia nahrali dokumenty na servery poskytovateľa, kde je text extrahovaný, analyzovaný a často uložený v databáze. To vyvoláva významné obavy o súkromie a dôvernosť — najmä pre citlivý akademický výskum, nepublikované rukopisy, právne dokumenty a firemné materiály.
Detektor plagiátov funguje úplne na ploche. Dokumenty sú otvorené, analyzované a spracovávané lokálne — celý text sa nikdy neprenáša na žiadny externý server. Na porovnávanie sa vyhľadávačom odosielajú iba vybrané textové fragmenty (vyhľadávacie dopyty), rovnako ako by človek ručne vyhľadával frázu v prehliadači. Táto architektúra poskytuje základnú zákonky súkromia: kompletný dokument nikdy neopustí zariadenie používateľa. Pre inštitúcie manipulujúce citlivými materiálmi — právnické firmy kontrolujúce písomné podania, medicínski výskumníci prezerajúci práce, vládne agentúry auditujúce správy — tento prístup uprednostňujúci plochu nie je len preferenciou, ale požiadavkou súladu.
Stojte s Ukrajinou!