Prije nego što može početi bilo kakva analiza plagijata, softver mora iz predanog dokumenta izvući čist, pretraživi tekst. To je složeniji problem nego što se čini, jer dokumenti dolaze u raznim formatima — DOC, DOCX, PDF, RTF, PPT, PPTX, TXT, ODT i HTML, između ostalih — svaki s vlastitom unutarnjom strukturom formatiranja, metapodataka, ugrađenih objekata i kodiranja. Pouzdani cjevovod za ekstrakciju teksta mora dosledno obrađivati sve te formate, proizvodeći normalizirani čisti tekst prikladan za uspoređivanje.
Detektor plagijata koristi arhitekturu ekstrakcije teksta s 5 razina kako bi maksimizirao pouzdanost. Za DOCX datoteke, prva razina izravno parsira nativnu DocX XML strukturu. Ako to ne uspije (zbog oštećenja ili nestandardnog formatiranja), sustav pada na Microsoftovo iFilter sučelje, zatim na sirovo OpenXML parsiranje i konačno na Apache Tiku kao posljednji univerzalni ekstraktor. Ovaj kaskadni pristup znači da čak i oštećeni ili nestandardni dokumenti daju upotrebljiv tekst. Isti višerazinski princip primjenjuje se na svih 12+ podržanih formata, osiguravajući da nijedan dokument ne ostane neprocesuiran.
Proces ekstrakcije također obrađuje normalizaciju kodiranja — pretvaranje teksta iz različitih znakovnih kodiranja (UTF-8, UTF-16, Windows-1252, varijante ISO-8859) u jedinstvenu unutarnju reprezentaciju. To je ključno jer nepodudaranja kodiranja mogu uzrokovati da identični tekst izgleda drugačije na razini bajtova, što dovodi do propuštenih podudaranja plagijata. Pravilna ekstrakcija postavlja temelje za svaku sljedeću fazu otkrivanja.
Jednom kada je čist tekst ekstrahiran, mehanizam za otkrivanje razbija ga u analizabilne jedinice kroz proces koji se zove otisak prsta teksta. Dokument je segmentiran u preklapajuće sekvence riječi (n-gramovi), a svaka sekvenca pretvara se u kompaktni numerički hash — otisak prsta. Ti otisci prsta služe kao učinkoviti identifikatori koji se mogu brzo uspoređivati s otiscima prsta iz других izvora bez potrebe za skupim usporedbama cijelog teksta svaki put.
Algoritam otiska prsta mora uravnotežiti osjetljivost i učinkovitost. Kratki n-gramovi (3–4 riječi) hvataju više podudaranja, ali proizvode prekomjerne lažne pozitivne rezultate od uobičajenih fraza. Dulji n-gramovi (8–10 riječi) specifičniji su, ali mogu propustiti plagijat gdje je promijenjeno nekoliko riječi. Napredni sustavi koriste otiskivanje prsta s varijabilnom duljinom u kombinaciji s algoritmima „winnowing" koji biraju reprezentativan podskup otisaka prsta, održavajući točnost otkrivanja uz smanjenje prostora usporedbe na upravljivi nivo za dokumente bilo koje veličine.
S dokumentom čiji je otisak prsta uzet, mehanizam za otkrivanje mora usporediti te otiske prsta s postojećim sadržajem na internetu. Detektor plagijata koristi prepoznatljiv pristup: umjesto da se oslanja na jednu vlasničku bazu podataka, upućuje upite četirima glavnim tražilicama istovremeno — Google, Bing, Yahoo i DuckDuckGo — pristupajući njihovom kombiniranom indeksu od više od 4 milijarde web-stranica. Ova strategija s više tražilica dramatično povećava pokrivenost izvora, jer svaka tražilica indeksira različite dijelove weba i rangira rezultate drugačije.
Proces upita koristi inteligentnu rotaciju i odabir fragmenata teksta za slanje kao upite pretraživanja. Nije svaki otisak prsta upitan — mehanizam odabire najprepoznatljivije odlomke iz dokumenta, one koji s najvećom vjerojatnošću vraćaju smislena podudaranja umjesto generičkih fraza. Raspoređivanje upita upravlja ograničenjima brzine i raspoređuje zahtjeve po tražilicama kako bi održalo propusnost. Rezultat je sveobuhvatno pretraživanje javno dostupnog internetskog sadržaja koje nijedan pristup s jednom tražilicom ne može replicirati, pokrivajući akademske repozitorije, arhive vijesti, sadržajne farme, mlinove eseja i opće web-stranice podjednako.
Kada upiti tražilicama vrate potencijalno odgovarajuće URL-ove, mehanizam za otkrivanje ulazi u fazu pronalaženja i usporedbe izvora. Svaka kandidatna izvorna stranica se dohvaća, njen sadržaj se ekstrahira i normalizira (uklanjanje HTML oznaka, navigacijskih elemenata, zaglavlja i podnožja radi izoliranja stvarnog teksta članka) i zatim poravnava s predanim dokumentom. Ovo poravnanje koristi algoritme za uspoređivanje sekvenci koji identificiraju najdulje zajedničke podsekvence između dvaju tekstova, uzimajući u obzir manje varijacije u interpunkciji, razmacima i formatiranju.
Usporedba nije ograničena na točna podudaranja. Mehanizam izvodi fuzzy matching kako bi identificirao odlomke gdje su pojedine riječi zamijenjene sinonimima, redoslijed rečenica je preuređen ili su dodane ili uklonjene vezne fraze. Time se hvata najčešća tehnika izbjegavanja: površinsko preformuliranje koje čuva izvorno značenje i strukturu. Svaki podudaran segment bilježi se s URL-om izvora, postotkom preklapanja i specifičnim fragmentima teksta koji odgovaraju, gradeći sirove podatke za izvješće o originalnosti.
Nakon što su svi izvori pronađeni i uspoređeni, mehanizam izračunava ocjenu sličnosti — postotak koji predstavlja koliko predanog dokumenta odgovara vanjskim izvorima. Ovaj izračun složeniji je od jednostavnog omjera. Mehanizam razlikuje različite vrste podudaranja: točne kopije, skoro-podudaranja (parafraze), pravilno citirani i navedeni materijal te uobičajene fraze ili standardne tekstove koji ne ukazuju na plagijat.
Sustav otkrivanja referenci Detektora plagijata automatski identificira citate, navodne znakove i bibliografske reference unutar dokumenta i tretira ih drugačije od nepodudaranja bez atribucije. Blok teksta zatvoren u navodnike i praćen citatom označen je kao legitimna referenca, a ne plagijat. Time se sprječavaju napuhane ocjene sličnosti koje bi inače kažnjavale dobro istražene radove za pravilno korištenje izvora. Konačna ocjena odražava istinske nedoumice o originalnosti, pružajući recenzentu smislen i primjenjiv mjerač.
Kako tekst generiran AI-jem postaje sve rašireniji, otkrivanje plagijata mora rješavati sadržaj koji nije kopiran ni iz jednog postojećeg izvora, ali ipak nije originalan ljudski rad. Detektor plagijata uključuje integrirani modul za otkrivanje sadržaja generiranog AI-jem s osjetljivošću 0,98, sposobnog identificirati tekst koji su proizveli veliki jezični modeli uključujući ChatGPT, Gemini i HuggingChat. Otkrivanje funkcionira analiziranjem statističkih svojstava teksta — raspodjela frekvencija riječi, perplexity na razini rečenica, obrasci burstinessa i sekvence vjerojatnosti tokena — koji se sustavno razlikuju između ljudskog i strojnog pisanja.
Ljudsko pisanje tendira prema većoj varijabilnosti u duljini rečenica, nepredvidivijim odabirima riječi i nepravilnim obrascima složenosti. Tekst generiran AI-jem, naprotiv, gravitira prema statistički vjerojatnim sekvencama riječi s uniformnijom strukturom rečenica i karakterističnom "glatkoćom" u raspodjeli vjerojatnosti. Model otkrivanja treniran je na velikim korpusima i ljudskog i AI teksta, a funkcionira na razini odlomka kako bi pružio detalje. Ova analiza izvodi se paralelno s tradicionalnim otkrivanjem plagijata u jednom skeniranju, tako da recenzenti primaju jedinstveno izvješće koje pokriva i kopirani sadržaj i odlomke generirane AI-jem bez potrebe za zasebnim alatima ili radnim tokovima.
Sofisticirani korisnici pokušavaju poraziti otkrivanje plagijata raznim tehničkim trikovima. Najčešća tehnika izbjegavanja je zamjena Unicode znakova — zamjena latiničnih znakova vizualno identičnim znakovima iz других Unicode skripti. Na primjer, ćirilično slovo "a" (U+0430) izgleda identično latiničnom slovu "a" (U+0061) na ekranu, ali su to različiti znakovi na razini koda. Naivna usporedba teksta tretirala bi "academic" napisano s ćiriličnim "a" kao potpuno drugu riječ, uzrokujući da plagirani odlomak u potpunosti izbjegne otkrivanje.
Detektor plagijata rješava ovo s Unicode Anti-Cheating Engine (UACE). Prije usporedbe, UACE normalizira sav tekst mapiranjem vizualno ekvivalentnih znakova u Unicode blokovima — ćirilici, grčkom, armenskom i drugim skriptama koje sadrže slične znakove — natrag na njihove latiničke ekvivalente. Mehanizam održava sveobuhvatnu tablicu zamjene koja pokriva stotine parova znakova. Ova normalizacija odvija se transparentno u fazi ekstrakcije teksta, tako da svaka sljedeća faza otkrivanja funkcionira na čistom, kanonskom tekstu bez obzira na to koji trikovi sa znakovima su primijenjeni na izvorni dokument.
Osim zamjene znakova, UACE također otkriva druge metode izbjegavanja uključujući umetanje nevidljivih Unicode znakova (razmaci nulte širine, spojevi nulte širine, meki crtice) između riječi ili slova, bijeli tekst na bijeloj pozadini skriven unutar dokumenata te mikro-fontni tekst umetnut za razbijanje prepoznatljivih fraza. Ove tehnike označavaju se u izvješću o originalnosti kao namjerni pokušaji manipulacije, upozoravajući recenzenta da je autor aktivno pokušao zaobići otkrivanje — što je samo po sebi snažan dokaz namjere plagijata.
Preuzmite besplatnu demo verziju ili kupite licencu i počnite provjeravati plagijate i sadržaj koji je generirala umjetna inteligencija.
Kulminacija procesa otkrivanja jest Izvješće o originalnosti — detaljan dokument koji prikazuje sve nalaze u organiziranom, preglednom formatu. Izvješće ističe podudarajuće odlomke u predanom tekstu, kodiranih bojama prema izvoru, s pojedinim podudaranjem povezanim s odgovarajućim URL-om ili unosom baze podataka. Odjeljak sažetka prikazuje ukupnu ocjenu sličnosti, broj podudarenih izvora, postotak otkrivenog sadržaja generiranog AI-jem i pregled vrsta podudaranja (točno, parafraza, citirano).
Za institucije, Izvješća o originalnosti mogu biti brendirana s logotipom organizacije, pružajući profesionalan, standardiziran format za zapise akademskog integriteta. Izvješća su dizajnirana da budu dokazne vrijednosti — prikladna za korištenje u formalnim postupcima pregleda, saslušanjima akademskog integriteta ili pravnim kontekstima. Svaka tvrdnja u izvješću neovisno je provjerljiva: recenzenti mogu kliknuti na originalni izvor kako bi vlastitim očima potvrdili podudaranje. Ova transparentnost osigurava da su nalazi plagijata obranjivi i pošteni, štiteći integritet procesa pregleda i prava osobe čiji se rad vrjednuje.
Temeljan arhitektonski izbor u otkrivanju plagijata jest obrađuju li se dokumenti lokalno na korisnikovom računalu ili se prenose na udaljeni oblak-poslužitelj. Programi za provjeru plagijata u oblaku zahtijevaju od korisnika da prenesu dokumente na poslužitelje pružatelja usluge, gdje se tekst ekstrahira, analizira i često pohranjuje u bazu podataka. To pokreće značajne brige o privatnosti i povjerljivosti — posebno za osjetljiva akademska istraživanja, neobjavljene rukopise, pravne dokumente i korporativne materijale. Dokumenti preneseni u usluge oblaka mogu biti zadržani, indeksirani ili korišteni za treniranje AI modela, a povrede podataka mogu izložiti povjerljivi sadržaj.
Detektor plagijata funkcionira isključivo na računalu. Dokumenti se otvaraju, parsiraju i analiziraju lokalno — cijeli tekst nikada se ne prenosi na bilo koji vanjski poslužitelj. Samo odabrani fragmenti teksta (upiti pretraživanja) šalju se tražilicama za usporedbu, na isti način na koji bi čovjek ručno tražio frazu u pregledniku. Ova arhitektura pruža temeljno jamstvo privatnosti: cijeli dokument nikada ne napušta korisnikovo računalo. Za institucije koje rukuju osjetljivim materijalima — odvjetničke tvrtke koje provjeravaju podneske, medicinski istraživači koji pregledavaju radove, vladine agencije koje revidiraju izvješća — ovaj pristup koji daje prednost računalu nije samo preferencija, već zahtjev usklađenosti. U kombinaciji s jednokratnim modelom kupnje (bez ponavljajuće pretplate), nudi i privatnost i predvidivost troškova.
Stanite uz Ukrajinu!