பெரும்பாலான இயந்திர கற்றல் மற்றும் ஆழமான கற்றல் மாதிரிகள் சிறப்பாக செயல்பட தரவு அளவு மற்றும் பல்வேறு வகைகளை பெரிதும் சார்ந்துள்ளது. பயிற்சியின் போது வழங்கப்படும் தரவின் அளவு மற்றும் பன்முகத்தன்மை இந்த மாதிரிகளின் கணிப்பு துல்லியத்தில் குறிப்பிடத்தக்க தாக்கத்தை ஏற்படுத்துகிறது.
சிக்கலான பணிகளில் திறம்பட செயல்பட கற்றுக்கொடுக்கப்பட்ட ஆழமான கற்றல் மாதிரிகள் அடிக்கடி மறைக்கப்பட்ட நியூரான்களை உள்ளடக்கியது. மறைக்கப்பட்ட நியூரான்களின் எண்ணிக்கைக்கு ஏற்ப பயிற்சியளிக்கக்கூடிய அளவுருக்களின் எண்ணிக்கை அதிகரிக்கிறது.
தேவைப்படும் தரவின் அளவு மாதிரி கற்கக்கூடிய அளவுருக்களின் எண்ணிக்கைக்கு விகிதாசாரமாகும். வரையறுக்கப்பட்ட தரவின் சிக்கலைக் கையாள்வதற்கான ஒரு முறை, புதிய தரவை ஒருங்கிணைக்க தற்போதைய தரவுகளுக்கு பல்வேறு மாற்றங்களைப் பயன்படுத்துவதாகும்.
ஏற்கனவே உள்ள தரவுகளிலிருந்து புதிய தரவை ஒருங்கிணைக்கும் நுட்பம் 'தரவு பெருக்குதல்' என குறிப்பிடப்படுகிறது. இரண்டு தேவைகளையும் பூர்த்தி செய்ய தரவு பெருக்கம் பயன்படுத்தப்படலாம்: தரவின் அளவு மற்றும் துல்லியமான உருவாக்க தேவையான பயிற்சி தரவுகளின் பல்வேறு இயந்திர கற்றல் அல்லது ஆழமான கற்றல் மாதிரிகள்.
இந்த இடுகையில், தரவு பெருக்கம், அதன் வகைகள், அது ஏன் அவசியம் மற்றும் பலவற்றைக் கூர்ந்து கவனிப்போம்.
எனவே, தரவு பெருக்கம் என்றால் என்ன?
தரவு பெருக்கம் என்பது ஏற்கனவே உள்ள தரவுகளிலிருந்து புதிய மற்றும் பிரதிநிதித்துவ தரவை உருவாக்கும் செயல்முறையாகும். ஏற்கனவே உள்ள தரவின் மாற்றியமைக்கப்பட்ட பதிப்புகளைச் சேர்ப்பதன் மூலம் அல்லது புதிய தரவை ஒருங்கிணைப்பதன் மூலம் நீங்கள் இதைச் செய்யலாம்.
இந்த முறையில் உருவாக்கப்பட்ட தரவுத்தொகுப்புகள் உங்கள் இயந்திர கற்றலை மேம்படுத்தும் அல்லது ஆழமான கற்றல் மாதிரிகள் அதிகப்படியான பொருத்துதலின் அபாயத்தைக் குறைப்பதன் மூலம். இது கூடுதல் தகவல்களைக் கொண்ட தரவுத்தொகுப்பை மாற்றும் அல்லது "அதிகரிக்கும்" செயல்முறையாகும்.
இந்த துணை உள்ளீடு படங்கள் முதல் உரை வரை இருக்கலாம், மேலும் இது இயந்திர கற்றல் அமைப்புகளின் செயல்திறனை அதிகரிக்கிறது.
நாய் இனங்களை வகைப்படுத்த ஒரு மாதிரியை உருவாக்க விரும்புகிறோம், மேலும் பக்ஸைத் தவிர அனைத்து வகைகளின் புகைப்படங்களும் எங்களிடம் உள்ளன. இதன் விளைவாக, மாடல் பக்ஸை வகைப்படுத்துவதில் சிரமம் இருக்கும்.
சேகரிப்பில் நாம் கூடுதல் (உண்மையான அல்லது தவறான) பக் புகைப்படங்களைச் சேர்க்கலாம் அல்லது நமது தற்போதைய பக் புகைப்படங்களை இரட்டிப்பாக்கலாம் (எ.கா. அவற்றை செயற்கையாக தனித்துவமாக்க அவற்றைப் பிரதியெடுத்து சிதைப்பது).
தற்போது தரவு பெருக்கம் என்ன பயன்?
விண்ணப்பங்கள் இயந்திர கற்றல் குறிப்பாக ஆழ்ந்த கற்றல் துறையில் வேகமாக வளர்ச்சியடைந்து பல்வகைப்படுத்தப்படுகின்றன. செயற்கை நுண்ணறிவு தொழில் எதிர்கொள்ளும் சவால்களை தரவு பெருக்க நுட்பங்கள் மூலம் சமாளிக்க முடியும்.
பயிற்சி தரவுத்தொகுப்புகளில் புதிய மற்றும் மாறுபட்ட உதாரணங்களைச் சேர்ப்பதன் மூலம் தரவு பெருக்கம் இயந்திர கற்றல் மாதிரிகளின் செயல்திறன் மற்றும் விளைவுகளை மேம்படுத்தலாம்.
தரவுத்தொகுப்பு பெரியதாகவும் போதுமானதாகவும் இருக்கும் போது, ஒரு இயந்திரக் கற்றல் மாதிரி சிறப்பாகச் செயல்படும் மேலும் துல்லியமானது. இயந்திர கற்றல் மாதிரிகளுக்கு, தரவு சேகரிப்பு மற்றும் லேபிளிங் ஆகியவை நேரத்தை எடுத்துக்கொள்ளும் மற்றும் விலை உயர்ந்ததாக இருக்கலாம்.
தரவுத்தொகுப்புகளை மாற்றுவதன் மூலமும் தரவு பெருக்க உத்திகளைப் பயன்படுத்துவதன் மூலமும் நிறுவனங்கள் தங்கள் செயல்பாட்டுச் செலவுகளைக் குறைக்கலாம்.
தரவு மாதிரியின் வளர்ச்சியில் தரவைச் சுத்தம் செய்வது ஒரு கட்டமாகும், மேலும் இது உயர் துல்லிய மாதிரிகளுக்கு அவசியம். இருப்பினும், தரவு சுத்திகரிப்பு பிரதிநிதித்துவத்தை குறைத்தால், உண்மையான உலகில் இருந்து சரியான உள்ளீடுகளை மாடலால் எதிர்பார்க்க முடியாது.
தரவு பெருக்குதல் அணுகுமுறைகளைப் பயன்படுத்துவதன் மூலம் இயந்திர கற்றல் மாதிரிகளை வலுப்படுத்த முடியும், இது உண்மையான உலகில் மாதிரி எதிர்கொள்ளக்கூடிய மாறுபாடுகளை உருவாக்குகிறது.
தரவு பெருக்கத்தின் வகைகள்
உண்மையான தரவு பெருக்கம்
தரவுத்தொகுப்பில் உண்மையான, துணைத் தரவைச் சேர்க்கும்போது உண்மையான தரவுப் பெருக்கம் ஏற்படுகிறது. இது கூடுதல் பண்புக்கூறுகளைக் கொண்ட உரைக் கோப்புகளிலிருந்து (குறியிடப்பட்ட படங்களுக்கு) அசல் பொருளுடன் ஒப்பிடக்கூடிய பிற பொருட்களின் படங்கள் அல்லது உண்மையான விஷயத்தின் பதிவுகள் வரை இருக்கலாம்.
எடுத்துக்காட்டாக, ஒரு படக் கோப்பில் இன்னும் சில அம்சங்களைச் சேர்ப்பதன் மூலம், ஒரு இயந்திரக் கற்றல் மாதிரி உருப்படியை எளிதாகக் கண்டறிய முடியும்.
ஒவ்வொரு படத்தைப் பற்றிய கூடுதல் மெட்டாடேட்டா (எ.கா., அதன் பெயர் மற்றும் விளக்கம்) சேர்க்கப்படலாம், இதனால் எங்கள் AI மாதிரியானது அந்தப் புகைப்படங்களில் பயிற்சியைத் தொடங்கும் முன் ஒவ்வொரு படமும் எதைக் குறிக்கிறது என்பதைப் பற்றி மேலும் அறியும்.
"பூனை" அல்லது "நாய்" போன்ற எங்களின் முன்னரே தீர்மானிக்கப்பட்ட வகைகளில் ஒன்றாக புதிய புகைப்படங்களை வகைப்படுத்தும் நேரம் வரும்போது, ஒரு படத்தில் இருக்கும் உருப்படிகளைக் கண்டறிந்து அதன் விளைவாக ஒட்டுமொத்தமாகச் சிறப்பாகச் செயல்படும்.
செயற்கை தரவு பெருக்குதல்
மேலும் உண்மையான தரவைச் சேர்ப்பதைத் தவிர, நீங்கள் பங்களிக்கலாம் செயற்கை தரவு அல்லது உண்மையானதாகத் தோன்றும் செயற்கைத் தரவு.
நரம்பியல் பாணி பரிமாற்றம் போன்ற கடினமான பணிகளுக்கு இது நன்மை பயக்கும், ஆனால் நீங்கள் GAN கள் (ஜெனரேட்டிவ் அட்வர்ஸரியல் நெட்வொர்க்குகள்), CNNகள் (Convolutional Neural Networks) அல்லது பிற ஆழமான நரம்பியல் நெட்வொர்க் கட்டமைப்புகளைப் பயன்படுத்தினாலும், எந்தவொரு வடிவமைப்பிற்கும் இது நல்லது.
எடுத்துக்காட்டாக, வெளியே சென்று பல புகைப்படங்களை எடுக்காமல் பக்ஸை சரியாக வகைப்படுத்த விரும்பினால், நாய் படங்களின் தொகுப்பில் சில தவறான பக் புகைப்படங்களைச் சேர்க்கலாம்.
தரவைச் சேகரிப்பது கடினமானது, விலையுயர்ந்தது அல்லது நேரத்தைச் செலவழிக்கும் போது, மாதிரித் துல்லியத்தை மேம்படுத்த இந்த தரவுப் பெருக்குதல் மிகவும் பயனுள்ளதாக இருக்கும். இந்த சூழ்நிலையில், தரவுத்தொகுப்பை செயற்கையாக விரிவுபடுத்துகிறோம்.
1000 நாய் இன புகைப்படங்களின் ஆரம்பக் குழுவில் 5 பக் படங்கள் மட்டுமே உள்ளன என்று வைத்துக்கொள்வோம். உண்மையான நாய்களின் உண்மையான பக் புகைப்படங்களைச் சேர்ப்பதற்குப் பதிலாக, தற்போதுள்ள ஒன்றை குளோனிங் செய்து, அதைச் சிறிது சிதைத்து, அது இன்னும் பக் போல் தோன்றும் வகையில் போலி ஒன்றை உருவாக்குவோம்.
தரவு பெருக்க நுட்பங்கள்
தரவு பெருக்குதல் அணுகுமுறைகள் ஏற்கனவே உள்ள தரவுகளில் சிறிய மாற்றங்களைச் செய்ய வேண்டும். இது ஒரு அறிக்கையை மீண்டும் எழுதுவது போன்றது. தரவு பெருக்கத்தை நாம் மூன்று வகைகளாகப் பிரிக்கலாம்:
உரை
- வார்த்தை மாற்றீடு: இந்த தரவு பெருக்குதல் அணுகுமுறை தற்போதைய சொற்களை ஒத்த சொற்களுடன் மாற்றுவதை உள்ளடக்கியது. உதாரணமாக, “இந்தப் படம் முட்டாள்தனமானது” என்பது “இந்தப் படம் முட்டாள்தனமானது” ஆகலாம்.
- வாக்கியம்/சொற்களை மாற்றுதல்: இந்த உத்தியானது ஒட்டுமொத்த ஒத்திசைவை பராமரிக்கும் போது சொற்றொடர்கள் அல்லது சொற்களின் வரிசையை மாற்றுவதை உள்ளடக்குகிறது.
- தொடரியல்-மரம் கையாளுதல்: ஏற்கனவே உள்ள வாக்கியத்தை இலக்கணப்படி துல்லியமாக அதே சொற்களைப் பயன்படுத்தும் போது மாற்றுகிறீர்கள்.
- சீரற்ற நீக்கம்: இந்த உத்தி அசிங்கமான எழுத்தை உருவாக்கினாலும், அது பயனுள்ளதாக இருக்கும். இதன் விளைவாக, “இந்தப் பதிவை நான் கீறப்பட்டதால் வாங்கமாட்டேன்” என்ற வரி “கீறப்பட்டதால் இதை நான் வாங்க மாட்டேன்” என்று மாறுகிறது. சொற்றொடர் தெளிவாக இல்லை, ஆனால் அது நம்பத்தகுந்த கூடுதலாக உள்ளது.
- பின் மொழிபெயர்ப்பு: இந்த அணுகுமுறை பயனுள்ளதாகவும் சுவாரஸ்யமாகவும் இருக்கிறது. உங்கள் மொழியில் எழுதப்பட்ட ஒரு அறிக்கையை எடுத்து, அதை வேறொரு மொழியில் மொழிபெயர்த்து, பின்னர் அதை உங்கள் அசல் மொழிக்கு மீண்டும் மொழிபெயர்க்கவும்.
படங்கள்
- கர்னல் வடிப்பான்கள்: இந்த அணுகுமுறை படத்தை கூர்மையாக்குகிறது அல்லது மங்கலாக்குகிறது.
- பட சேர்க்கை: இது வித்தியாசமாக தோன்றினாலும், நீங்கள் புகைப்படங்களை கலக்கலாம்.
- சீரற்ற முறையில் அழித்தல்: தற்போதைய படத்தின் ஒரு சிறிய பகுதியை நீக்கவும்.
- வடிவியல் மாற்றங்கள்: இந்த அணுகுமுறை மற்ற விஷயங்களோடு, தன்னிச்சையாக புரட்டுதல், சுழற்றுதல், செதுக்குதல் அல்லது படங்களை மொழிபெயர்த்தல் ஆகியவற்றை உள்ளடக்கியது.
- ஒரு படத்தைப் புரட்டுதல்: நீங்கள் ஒரு படத்தை கிடைமட்டத்திலிருந்து செங்குத்து நோக்குநிலைக்கு புரட்டலாம்.
- வண்ண இட மாற்றம்: நீங்கள் RGB வண்ண சேனல்களை மாற்றலாம் அல்லது தற்போதைய நிறத்தை மேம்படுத்தலாம்.
- ரீ-ஸ்கேலிங் என்பது காட்சி அளவை சரிசெய்யும் செயல்முறையாகும். உள்ளே அல்லது வெளியே அளவிடுவதற்கான விருப்பம் உங்களுக்கு உள்ளது. நீங்கள் உள்நோக்கி அளவிடும் போது, படம் ஆரம்ப அளவை விட சிறியதாக மாறும். படத்தை வெளிப்புறமாக அளந்தால், அசல் படத்தை விட பெரிதாக இருக்கும்.
ஆடியோ
- சுருதி: இந்த அணுகுமுறை ஆடியோ சுருதியை மாற்றுவதை உள்ளடக்கியது.
- வேகத்தை மாற்றவும்: ஆடியோ கோப்பு அல்லது பதிவின் வேகத்தை மாற்றவும்.
- அதிக சத்தம்: நீங்கள் ஆடியோ கோப்பில் அதிக சத்தத்தை சேர்க்கலாம்.
வழக்கு பயன்படுத்தவும்
மருத்துவ இமேஜிங் தற்போது தரவு பெருக்கத்திற்கான ஒரு முக்கிய பயன்பாடாகும். மருத்துவப் பட சேகரிப்புகள் சிறியவை, விதிகள் மற்றும் தனியுரிமைக் கவலைகள் காரணமாக தரவைப் பகிர்வது கடினம்.
மேலும், அசாதாரண கோளாறுகளின் விஷயத்தில் தரவுத் தொகுப்புகள் மிகவும் கட்டுப்படுத்தப்படுகின்றன. மருத்துவ இமேஜிங் நிறுவனங்கள் தங்கள் தரவுத் தொகுப்புகளை பல்வகைப்படுத்த தரவு பெருக்கத்தைப் பயன்படுத்துகின்றன.
சவால்கள்
அளவிடுதல், பல்வேறு தரவுத்தொகுப்புகள் மற்றும் பொருத்தம் ஆகியவை திறமையான தரவு பெருக்குதல் நுட்பங்களை உருவாக்குவதற்கு தீர்க்கப்பட வேண்டிய சில சிக்கல்கள் ஆகும்.
அளவிடுதலின் அடிப்படையில், பல வேறுபட்ட மாதிரிகள் அதைப் பயன்படுத்தும் வகையில், பெரிதாக்கப்பட்ட தரவு அளவிடக்கூடியதாக இருக்க வேண்டும். ஒரு பெரிய அளவிலான பொருத்தமான, மதிப்புமிக்க, மேம்படுத்தப்பட்ட தரவை உருவாக்கும் தரவு பெருக்குதல் அமைப்பை அமைப்பதால், எதிர்கால மாடல்களில் பயன்படுத்த இது நகலெடுக்கப்படலாம் என்பதை உறுதிப்படுத்திக்கொள்ள வேண்டும்.
பன்முகத்தன்மையின் அடிப்படையில், பல்வேறு தரவுத்தொகுப்புகள் தனித்துவமான அம்சங்களைக் கொண்டுள்ளன, அவை அதிகரிக்கப்பட்ட தரவை உருவாக்கும் போது கருத்தில் கொள்ள வேண்டும். பொருத்தமான மேம்படுத்தப்பட்ட தரவை உருவாக்க, ஒவ்வொரு தரவுத்தொகுப்பின் பண்புகளும் பயன்படுத்தப்பட வேண்டும்.
வேறு வார்த்தைகளில் கூறுவதானால், தரவுத் தொகுப்புகள் மற்றும் பயன்பாட்டு நிகழ்வுகளுக்கு இடையே தரவு பெருக்கம் வேறுபடும்.
இறுதியாக, அதிகரித்த தரவுகளின் நன்மைகள் எந்த ஆபத்துக்களையும் விட அதிகமாக இருக்கும் என்று உத்தரவாதம் அளிக்க, இயந்திர கற்றல் மாதிரிகள் மூலம் பயன்படுத்தப்படுவதற்கு முன், பெரிதாக்கப்பட்ட தரவு பொருத்தமான அளவீடுகளைப் பயன்படுத்தி மதிப்பீடு செய்யப்பட வேண்டும்.
எடுத்துக்காட்டாக, படத்தின் அடிப்படையிலான பெரிதாக்கப்பட்ட தரவுகளில் குறிப்பிடத்தக்க பின்னணி இரைச்சல் அல்லது தொடர்பில்லாத பொருட்கள் இருப்பது மாதிரியின் செயல்திறனில் தீங்கு விளைவிக்கும்.
தீர்மானம்
இறுதியில், நீங்கள் இழப்பை முன்னறிவிக்க முயற்சிக்கிறீர்களா, நிதி மோசடியை அடையாளம் காண முயற்சிக்கிறீர்களா அல்லது சிறப்பாக உருவாக்க முயற்சிக்கிறீர்கள் பட வகைப்பாடு மாதிரிகள், தரவு பெருக்குதல் என்பது மிகவும் துல்லியமான, வலுவான மாதிரிகளை உருவாக்குவதற்கான ஒரு முக்கியமான வழியாகும்.
ஒரு சிறந்த பயிற்சி செயல்முறை மூலம், எளிய முன் செயலாக்கம் மற்றும் தரவு பெருக்குதல் ஆகியவை அதிநவீன மாதிரிகளை உருவாக்க குழுக்களுக்கு உதவக்கூடும்.
பயிற்சித் தரவைத் தயாரிக்கும் நேரத்தைக் குறைக்கவும், மிகவும் துல்லியமாகவும் விரைவாகவும் இருக்கும் இயந்திரக் கற்றல் மாதிரிகளை உருவாக்க வணிகங்கள் தரவுப் பெருக்கத்தைப் பயன்படுத்தலாம்..
தரவுத்தொகுப்பில் தொடர்புடைய தரவுகளின் அளவை விரிவாக்குவதன் மூலம், தரவுப் பெருக்கம் ஏற்கனவே நிறைய தரவுகளைக் கொண்ட இயந்திர கற்றல் மாதிரிகளுக்கும் பயனளிக்கும்.
ஒரு பதில் விடவும்