திருட்டு பகுப்பாய்வு தொடங்குவதற்கு முன்பு, மென்பொருள் சமர்ப்பிக்கப்பட்ட ஆவணத்திலிருந்து சுத்தமான, தேடக்கூடிய உரையை பிரித்தெடுக்க வேண்டும். இது தோற்றத்தை விட மிகவும் சிக்கலான சிக்கலாகும், ஏனென்றால் ஆவணங்கள் பரந்த அளவிலான வடிவங்களில் வருகின்றன — DOC, DOCX, PDF, RTF, PPT, PPTX, TXT, ODT மற்றும் HTML மற்றும் பிறவை — ஒவ்வொன்றும் வடிவமைப்பு, மெட்டாடேட்டா, உட்பொதிக்கப்பட்ட பொருட்கள் மற்றும் குறியாக்கத்தின் சொந்த உள் கட்டமைப்பு கொண்டது. ஒரு நம்பகமான உரை பிரித்தெடுத்தல் கட்டளைவரிசை இந்த அனைத்து வடிவங்களையும் சீராக கையாள வேண்டும், ஒப்பீட்டிற்கு பொருத்தமான இயல்பாக்கப்பட்ட சாதாரண உரையை உருவாக்கும்.
திருட்டு டிடெக்டர் நம்பகத்தன்மையை அதிகரிக்க ஒரு 5-அடுக்கு உரை பிரித்தெடுத்தல் கட்டமைப்பை பயன்படுத்துகிறது. DOCX கோப்புகளுக்கு, முதல் அடுக்கு அசல் DocX XML கட்டமைப்பை நேரடியாக பாகுபடுத்துகிறது. அது தோல்வியடைந்தால் (சேதம் அல்லது நிலையான அல்லாத வடிவமைப்பு காரணமாக), அமைப்பு Microsoft இன் iFilter இடைமுகத்திற்கு பின்வாங்குகிறது, பின்னர் மூல OpenXML பாகுபடுத்தலுக்கு, மற்றும் இறுதியாக Apache Tika ஒரு கடைசி-வழி உலகளாவிய பிரித்தெடுப்பாக. இந்த அடுக்கு அணுகுமுறை சேதமடைந்த அல்லது நிலையான அல்லாத ஆவணங்கள் கூட பயன்படுத்தக்கூடிய உரையை தருகின்றன என்பதை அர்த்தப்படுத்துகிறது. ஆதரிக்கப்படும் அனைத்து 12க்கும் அதிகமான வடிவங்களில் ஒரே பல-அடுக்கு கோட்பாடு பொருந்துகிறது, எந்த ஆவணமும் செயலாக்கப்படாமல் இல்லை என்பதை உறுதிப்படுத்துகிறது.
பிரித்தெடுத்தல் செயல்முறை குறியாக்க இயல்பாக்கத்தையும் கையாளுகிறது — பல்வேறு எழுத்து குறியாக்கங்களிலிருந்து (UTF-8, UTF-16, Windows-1252, ISO-8859 மாறுபாடுகள்) உரையை ஒரு ஒருங்கிணைந்த உள் பிரதிநிதித்துவமாக மாற்றுகிறது. குறியாக்க பொருந்தாமை ஒரே உரை பைட் நிலையில் வேறுபட்டதாக தோன்றச் செய்வதால் திருட்டு பொருத்தங்களை தவறவிட வழிவகுக்கும் என்பதால் இது முக்கியமானது. சரியான பிரித்தெடுத்தல் ஒவ்வொரு அடுத்த கண்டறிதல் நிலைக்கும் அடித்தளமாக அமைகிறது.
சுத்தமான உரை பிரித்தெடுக்கப்பட்டதும், கண்டறிதல் என்ஜின் உரை கைரேகையிடல் என்று அழைக்கப்படும் ஒரு செயல்முறையின் மூலம் அதை பகுப்பாய்வுக்கூடிய அலகுகளாக உடைக்கிறது. ஆவணம் வார்த்தைகளின் ஒன்றுடன்-ஒன்று வரிசைகளாக (n-கிராம்கள்) பிரிக்கப்படுகிறது, மற்றும் ஒவ்வொரு வரிசையும் ஒரு சிறிய எண் ஹாஷாக மாற்றப்படுகிறது — ஒரு கைரேகை. இந்த கைரேகைகள் திறமையான அடையாளிகளாக செயல்படுகின்றன, ஒவ்வொரு முறையும் விலையுயர்ந்த முழு-உரை ஒப்பீடுகளை செய்யாமல் பிற ஆதாரங்களிலிருந்து கைரேகைகளுடன் வேகமாக ஒப்பிடலாம்.
கைரேகையிடல் அல்காரிதம் உணர்திறனை திறனுக்கு எதிராக சமன்படுத்த வேண்டும். குறுகிய n-கிராம்கள் (3-4 வார்த்தைகள்) அதிக பொருத்தங்களை பிடிக்கின்றன ஆனால் பொதுவான சொற்றொடர்களிலிருந்து அதிகப்படியான தவறான நேர்மறைகளை உருவாக்குகின்றன. நீண்ட n-கிராம்கள் (8-10 வார்த்தைகள்) மிகவும் குறிப்பிட்டவை ஆனால் சில வார்த்தைகள் மாற்றப்பட்டிருக்கும் திருட்டை தவறவிடலாம். மேம்பட்ட அமைப்புகள் ஒரு பிரதிநிதி கைரேகை துணைக்குழுவை தேர்ந்தெடுக்கும் winnowing அல்காரிதங்களுடன் இணைந்த மாறுபாட்டு நீள கைரேகையிடலைப் பயன்படுத்துகின்றன.
ஆவணம் கைரேகையிடப்பட்டதும், கண்டறிதல் என்ஜின் இணையத்தில் தற்போதுள்ள உள்ளடக்கத்துடன் அந்த கைரேகைகளை ஒப்பிட வேண்டும். திருட்டு டிடெக்டர் ஒரு தனிப்பட்ட அணுகுமுறையை எடுக்கிறது: ஒரு சிறிய தனியுரிமை தரவுத்தளத்தை நம்புவதற்கு பதிலாக, இது நான்கு முக்கிய தேடுபொறிகளை ஒரே நேரத்தில் — Google, Bing, Yahoo மற்றும் DuckDuckGo — வினவுகிறது — 4 பில்லியனுக்கும் அதிகமான இணையப் பக்கங்களின் கூட்டுத் தொகுப்பை அணுகுகிறது. இந்த பல-இயந்திர உத்தி ஆதார கவரேஜை வியத்தகு அளவில் அதிகரிக்கிறது, ஏனென்றால் ஒவ்வொரு தேடுபொறியும் இணையத்தின் வெவ்வேறு பகுதிகளை குறியிடுகிறது மற்றும் முடிவுகளை வித்தியாசமாக தரவரிசைப்படுத்துகிறது.
வினவல் செயல்முறை தேடல் வினவல்களாக சமர்ப்பிக்க ஆவணத்திலிருந்து உரை துண்டுகளை புத்திசாலித்தனமான சுழற்சி மற்றும் தேர்வைப் பயன்படுத்துகிறது. ஒவ்வொரு கைரேகையும் வினவப்படவில்லை — என்ஜின் ஆவணத்திலிருந்து மிகவும் தனித்துவமான பத்திகளை தேர்ந்தெடுக்கிறது, பொதுவான சொற்றொடர்களுக்கு பதிலாக அர்த்தமுள்ள பொருத்தங்களை திரும்பத் தரும் மிகவும் உட்காரும் வகையிலானவை. வினவல் திட்டமிடல் வேக வரம்புகளை நிர்வகிக்கிறது மற்றும் திருபுவேகத்தை பராமரிக்க இயந்திரங்கள் முழுவதும் கோரிக்கைகளை விநியோகிக்கிறது.
தேடுபொறி வினவல்கள் சாத்தியமான பொருத்தமான URLகளை திரும்பத் தரும்போது, கண்டறிதல் என்ஜின் ஆதார மீட்டெடுப்பு மற்றும் ஒப்பீடு கட்டத்தில் நுழைகிறது. ஒவ்வொரு வேட்பாளர் மூல பக்கமும் பெறப்படுகிறது, அதன் உள்ளடக்கம் பிரித்தெடுக்கப்படுகிறது மற்றும் இயல்பாக்கப்படுகிறது (HTML குறிச்சொற்கள், வழிசெலுத்தல் கூறுகள், தலைப்புகள் மற்றும் அடிக்குறிப்புகளை அகற்றி உண்மையான கட்டுரை உரையை தனிமைப்படுத்துகிறது), பின்னர் சமர்ப்பிக்கப்பட்ட ஆவணத்துடன் சீரமைக்கப்படுகிறது. இந்த சீரமைப்பு இரண்டு உரைகளுக்கும் இடையில் நீண்ட பொதுவான துணை வரிசைகளை அடையாளம் காணும் வரிசை பொருத்தல் அல்காரிதங்களைப் பயன்படுத்துகிறது.
ஒப்பீடு சரியான பொருத்தங்களுக்கு மட்டுப்படுத்தப்படவில்லை. என்ஜின் தளர்வான பொருத்தல் செய்கிறது தனிப்பட்ட வார்த்தைகள் பர்யாய பதங்களுடன் மாற்றப்பட்ட பத்திகளை அடையாளம் காண, வாக்கிய வரிசை மறுசீரமைக்கப்பட்டிருக்கிறது அல்லது இணைக்கும் சொற்றொடர்கள் சேர்க்கப்பட்டிருக்கின்றன அல்லது அகற்றப்பட்டிருக்கின்றன. இது மிகவும் பொதுவான ஏய்ப்பு நுட்பத்தை பிடிக்கிறது: அசல் அர்த்தம் மற்றும் கட்டமைப்பை பாதுகாக்கும் மேற்பரப்பு மறுவடிவமைப்பு. ஒவ்வொரு பொருத்தும் பகுதியும் அதன் மூல URL, ஒன்றுடன்-ஒன்று சதவீதம் மற்றும் தொடர்புடைய குறிப்பிட்ட உரை துண்டுகளுடன் பதிவு செய்யப்படுகிறது.
அனைத்து ஆதாரங்களும் மீட்டெடுக்கப்பட்டு ஒப்பிடப்பட்டதும், என்ஜின் ஒரு ஒற்றுமை மதிப்பெண் கணக்கிடுகிறது — சமர்ப்பிக்கப்பட்ட ஆவணம் வெளிப்புற ஆதாரங்களுடன் எவ்வளவு பொருந்துகிறது என்பதை சதவீதமாக பிரதிநிதித்துவம் செய்கிறது. இந்த கணக்கீடு ஒரு எளிய விகிதத்தை விட அதிக நுட்பமானது. என்ஜின் வெவ்வேறு வகை பொருத்தங்களை வேறுபடுத்துகிறது: சரியான நகல்கள், நெருங்கிய-பொருத்தங்கள் (சொந்த வார்த்தையாக்கப்பட்ட பத்திகள்), சரியாக மேற்கோளிடப்பட்ட மற்றும் குறிப்பிடப்பட்ட பொருட்கள், மற்றும் திருட்டை சுட்டிக்காட்டாத பொதுவான சொற்றொடர்கள் அல்லது கொல்-வார்த்தை உரை.
திருட்டு டிடெக்டரின் குறிப்பு கண்டறிதல் அமைப்பு ஆவணத்திற்குள் மேற்கோள்கள், மேற்கோள்கள் மற்றும் நூல்பட்டியல் குறிப்புகளை தானாக அடையாளம் காண்கிறது மற்றும் அவற்றை பட்டியலிடப்படாத பொருத்தங்களிலிருந்து வித்தியாசமாக கையாளுகிறது. மேற்கோள் அடையாளங்களில் இணைக்கப்பட்ட மற்றும் மேற்கோளுடன் பின்தொடரும் உரை ஒரு திருட்டாக அல்ல, சட்டப்பூர்வ குறிப்பாக கொடியிடப்படுகிறது. இது நன்றாக ஆராய்ச்சி செய்யப்பட்ட ஆவணங்களை ஆதாரங்களை சரியாக பயன்படுத்துவதற்காக தண்டிக்கும் விரைந்த ஒற்றுமை மதிப்பெண்களை தடுக்கிறது. இறுதி மதிப்பெண் உண்மையான அசல்தன்மை கவலைகளை பிரதிபலிக்கிறது, மதிப்பாய்வாளருக்கு அர்த்தமுள்ள மற்றும் செயல்படக்கூடிய அளவீட்டை வழங்குகிறது.
AI-உருவாக்கிய உரை மிகவும் பரவலாகி வருவதால், திருட்டு கண்டறிதல் எந்த தற்போதுள்ள ஆதாரத்திலிருந்தும் நகலெடுக்கப்படவில்லை ஆனால் இன்னும் அசல் மனித படைப்பல்ல என்ற உள்ளடக்கத்தை தீர்க்க வேண்டும். திருட்டு டிடெக்டர் 0.98 உணர்திறனுடன் ஒருங்கிணைந்த AI உள்ளடக்க கண்டறிதல் தொகுதியை உள்ளடக்குகிறது, ChatGPT, Gemini மற்றும் HuggingChat உட்பட பெரிய மொழி மாதிரிகளால் உருவாக்கப்பட்ட உரையை அடையாளம் காண முடியும். கண்டறிதல் உரையின் புள்ளியியல் பண்புகளை பகுப்பாய்வு செய்வதன் மூலம் செயல்படுகிறது — வார்த்தை அதிர்வெண் விநியோகங்கள், வாக்கிய-நிலை குழப்பம், வெடிப்புத்தன்மை வடிவங்கள் மற்றும் டோக்கன் நிகழ்தகவு வரிசைகள் — இவை மனித மற்றும் இயந்திர எழுத்துக்கு இடையில் முறையாக வேறுபடுகின்றன.
மனித எழுத்து வாக்கிய நீளத்தில் அதிக மாறுபாட்டை, மிகவும் கணிக்க முடியாத வார்த்தை தேர்வுகளை மற்றும் சிக்கலான வடிவங்களின் ஒழுங்கற்ற வடிவங்களை வெளிப்படுத்துகிறது. AI-உருவாக்கிய உரை, நேர்மாறாக, மிகவும் சீரான வாக்கிய கட்டமைப்பு மற்றும் நிகழ்தகவு விநியோகத்தில் ஒரு சிறப்பியல்பு 'மசிவுத்தன்மை' யுடன் புள்ளியியல் ரீதியாக சாத்தியமான வார்த்தை வரிசைகளை நோக்கி ஈர்க்கிறது. கண்டறிதல் மாதிரி மனித மற்றும் AI உரை இரண்டின் பெரிய கார்பஸிகளில் பயிற்சி அளிக்கப்படுகிறது, மற்றும் இது பரவலான முடிவுகளை வழங்க பத்தி நிலையில் செயல்படுகிறது. இந்த பகுப்பாய்வு ஒரே ஸ்கேனில் பாரம்பரிய திருட்டு கண்டறிதலுடன் இணையாக இயங்குகிறது.
நுட்பமான பயனர்கள் பல்வேறு தொழில்நுட்ப தந்திரங்களின் மூலம் திருட்டு கண்டறிதலை தோற்கடிக்க முயற்சிக்கிறார்கள். மிகவும் பொதுவான ஏய்ப்பு நுட்பம் Unicode எழுத்து மாற்றீடு — மற்ற Unicode ஸ்கிரிப்ட்களிலிருந்து காட்சியில் ஒத்த எழுத்துக்களுடன் லத்தீன் எழுத்துக்களை மாற்றுவது. எடுத்துக்காட்டாக, Cyrillic எழுத்து "a" (U+0430) திரையில் லத்தீன் எழுத்து "a" (U+0061) இட்டம் ஒத்ததாக தெரிகிறது, ஆனால் அவை குறியீடு புள்ளி நிலையில் வெவ்வேறு எழுத்துக்கள். ஒரு அப்பாவி உரை ஒப்பீடு Cyrillic "a" உடன் எழுத்தப்பட்ட "academic" ஐ முற்றிலும் வேறுபட்ட வார்த்தையாக கருதும்.
திருட்டு டிடெக்டர் அதன் Unicode திருட்டு எதிர்ப்பு என்ஜினுடன் (UACE) இதை தீர்க்கிறது. ஒப்பீட்டிற்கு முன்பு, UACE காட்சியில் சமான எழுத்துக்களை Unicode தொகுதிகள் முழுவதும் — Cyrillic, Greek, Armenian மற்றும் நோக்குதக்க எழுத்துக்களை கொண்ட பிற ஸ்கிரிப்ட்கள் — அவற்றின் லத்தீன் சமானங்களுக்கு மேப்பிங் செய்வதன் மூலம் அனைத்து உரையையும் இயல்பாக்குகிறது. என்ஜின் நூற்றுக்கணக்கான எழுத்து ஜோடிகளை உள்ளடக்கும் ஒரு விரிவான மாற்றீடு அட்டவணையை பராமரிக்கிறது. இந்த இயல்பாக்கம் உரை பிரித்தெடுத்தல் கட்டத்தில் வெளிப்படையாக நிகழ்கிறது.
எழுத்து மாற்றீட்டிற்கு அப்பால், UACE வார்த்தைகள் அல்லது எழுத்துக்களுக்கு இடையில் கண்ணுக்கு தெரியாத Unicode எழுத்துக்களை (பூஜ்ய-அகல இடங்கள், பூஜ்ய-அகல இணைப்பாளர்கள், மென் இடைக்கோடுகள்) செருகுவது, ஆவணங்களுக்குள் வெள்ளை-மீது-வெள்ளை உரை மறைப்பது மற்றும் அடையாளம் காணக்கூடிய சொற்றொடர்களை உடைக்க நுண்ணிய-எழுத்துரு உரை செருகுவது போன்ற மற்ற ஏய்ப்பு முறைகளையும் கண்டறிகிறது. இந்த நுட்பங்கள் அசல் அறிக்கையில் வேண்டுமென்றே கையாளும் முயற்சிகளாக கொடியிடப்படுகின்றன.
இலவச டெமோவை பதிவிறக்கவும் அல்லது திருட்டு மற்றும் AI-உருவாக்கப்பட்ட உள்ளடக்கத்தை சோதிக்க உரிமையை வாங்கவும்.
கண்டறிதல் செயல்முறையின் உச்சகட்டம் அசல்தன்மை அறிக்கை — ஒரு விரிவான ஆவணம் அனைத்து கண்டறிவுகளையும் ஒழுங்கான, மதிப்பாய்வு செய்யக்கூடிய வடிவத்தில் வழங்குகிறது. அறிக்கை சமர்ப்பிக்கப்பட்ட உரையில் பொருந்திய பத்திகளை ஆதாரத்தால் வண்ண-குறியிடல் செய்கிறது, ஒவ்வொரு பொருத்தமும் அதன் தொடர்புடைய URL அல்லது தரவுத்தள உள்ளீட்டுடன் இணைக்கப்பட்டிருக்கும். ஒரு சுருக்க பகுதி ஒட்டுமொத்த ஒற்றுமை மதிப்பெண், பொருந்திய ஆதாரங்களின் எண்ணிக்கை, கண்டறியப்பட்ட AI-உருவாக்கிய உள்ளடக்கத்தின் சதவீதம் மற்றும் பொருத்த வகைகளின் பிரிவை (சரியான, சொந்த வார்த்தையாக்கப்பட்ட, மேற்கோளிடப்பட்ட) காட்டுகிறது.
நிறுவனங்களுக்கு, அசல்தன்மை அறிக்கைகள் நிறுவனத்தின் லோகோவுடன் பிராண்டிடப்படலாம், கல்வி ஒழுக்க பதிவுகளுக்கு பொருத்தமான ஒரு தொழில்முறை, தரப்படுத்தப்பட்ட வடிவத்தை வழங்குகிறது. அறிக்கைகள் சான்று-தரம் — முறையான மதிப்பாய்வு நடவடிக்கைகள், கல்வி ஒழுக்க விசாரணைகள் அல்லது சட்ட சூழல்களில் பயன்படுத்துவதற்கு பொருத்தமானவை. அறிக்கையில் ஒவ்வொரு கூற்றும் சுதந்திரமாக சரிபார்க்கக்கூடியது: மதிப்பாய்வாளர்கள் பொருத்தத்தை தங்கள் சொந்த கண்களால் உறுதிப்படுத்த அசல் ஆதாரத்தை கிளிக் செய்யலாம். இந்த வெளிப்படைத்தன்மை திருட்டு கண்டறிவுகள் பாதுகாக்கக்கூடியவை மற்றும் நியாயமானவை என்பதை உறுதிப்படுத்துகிறது.
திருட்டு கண்டறிதலில் ஒரு அடிப்படை கட்டமைப்பு தேர்வு என்னவென்றால் ஆவணங்கள் பயனரின் இயந்திரத்தில் உள்ளூரில் செயலாக்கப்படுகிறதா அல்லது தொலைதூர மேகம் சேவையகத்திற்கு பதிவேற்றப்படுகிறதா என்பதாகும். மேக-அடிப்படையிலான திருட்டு சோதிப்பாளர்கள் பயனர்கள் தங்கள் ஆவணங்களை வழங்குனரின் சேவையகங்களுக்கு பதிவேற்ற தேவைப்படுகின்றன, அங்கு உரை பிரித்தெடுக்கப்படுகிறது, பகுப்பாய்வு செய்யப்படுகிறது மற்றும் பெரும்பாலும் தரவுத்தளத்தில் சேமிக்கப்படுகிறது. இது முக்கியமான தனியுரிமை மற்றும் ரகசியத்தன்மை கவலைகளை எழுப்புகிறது — குறிப்பாக முக்கியமான கல்வி ஆராய்ச்சி, வெளியிடப்படாத கையெழுத்துப் பிரதிகள், சட்ட ஆவணங்கள் மற்றும் கார்ப்பரேட் பொருட்கள். மேகம் சேவைகளுக்கு பதிவேற்றப்பட்ட ஆவணங்கள் தக்கவைத்துக்கொள்ளப்படலாம், குறியிடப்படலாம் அல்லது AI மாதிரிகளை பயிற்றுவிக்க பயன்படுத்தப்படலாம்.
திருட்டு டிடெக்டர் முற்றிலும் டெஸ்க்டாப்பில் செயல்படுகிறது. ஆவணங்கள் உள்ளூரில் திறக்கப்படுகின்றன, பாகுபடுத்தப்படுகின்றன மற்றும் பகுப்பாய்வு செய்யப்படுகின்றன — முழு உரை எந்த வெளிப்புற சேவையகத்திற்கும் ஒருபோதும் அனுப்பப்படுவதில்லை. தேர்ந்தெடுக்கப்பட்ட உரை துண்டுகள் (தேடல் வினவல்கள்) மட்டுமே ஒப்பீட்டிற்காக தேடுபொறிகளுக்கு அனுப்பப்படுகின்றன, ஒரு மனிதன் ஒரு உலாவியில் கைமுறையாக ஒரு சொற்றொடரை தேடுவதே போல. இந்த கட்டமைப்பு ஒரு அடிப்படை தனியுரிமை உத்தரவாதத்தை வழங்குகிறது: முழு ஆவணமும் ஒருபோதும் பயனரின் இயந்திரத்தை விட்டு வெளியேறுவதில்லை. சட்ட நிறுவனங்கள் சுருக்கங்களை சரிபார்ப்பது, மருத்துவ ஆராய்ச்சியாளர்கள் ஆவணங்களை மதிப்பாய்வு செய்வது, அரசு நிறுவனங்கள் அறிக்கைகளை தணிக்கை செய்வது போன்ற முக்கியமான பொருட்களை கையாளும் நிறுவனங்களுக்கு — இந்த டெஸ்க்டாப்-முதல் அணுகுமுறை வெறும் விருப்பமல்ல, ஒரு இணக்க தேவையாகும். ஒரு-முறை கொள்முதல் மாதிரியுடன் (தொடர் சந்தா இல்லாமல்) இணைந்து, இது தனியுரிமை மற்றும் செலவு கணிக்கக்கூடியத்தன்மையை வழங்குகிறது.
உக்ரைனுடன் நில்!