தரவு லேக்ஹவுஸ்கள் வணிகங்களுக்கான தரவுக் கிடங்கு மற்றும் தரவு ஏரிக் கருத்துகளை இணைக்கின்றன.
தரவுக் கிடங்குகளில் காணப்படும் தரவுக் கட்டமைப்புடன் தரவு ஏரிகளின் மேலாண்மைத் திறன்களை இணைப்பதன் மூலம் செலவு குறைந்த தரவு சேமிப்பக தீர்வுகளை உருவாக்க இந்தக் கருவிகள் உங்களை அனுமதிக்கின்றன.
கூடுதலாக, தரவு இடம்பெயர்வு மற்றும் பணிநீக்கம் ஆகியவற்றில் குறைப்பு உள்ளது, குறைந்த நேரமே நிர்வாகத்திற்கு செலவிடப்படுகிறது, மேலும் குறுகிய திட்டம் மற்றும் தரவு நிர்வாக நடைமுறைகள் உண்மையில் உண்மையாகின்றன.
ஒரு டேட்டா லேக்ஹவுஸ் பல தீர்வுகளைக் கொண்ட சேமிப்பக அமைப்புடன் ஒப்பிடும்போது பல நன்மைகளைக் கொண்டுள்ளது.
வணிக நுண்ணறிவு மற்றும் இயந்திர கற்றல் நடைமுறைகள் பற்றிய புரிதலை மேம்படுத்த இந்த கருவிகள் தரவு விஞ்ஞானிகளால் இன்னும் பயன்படுத்தப்படுகின்றன.
இந்தக் கட்டுரை டேட்டா லேக்ஹவுஸ், அதன் திறன்கள் மற்றும் கிடைக்கும் கருவிகள் ஆகியவற்றை விரைவாகப் பார்க்கும்.
டேட்டா லேக்ஹவுஸ் அறிமுகம்
ஒரு புதிய வகையான தரவு கட்டமைப்பு "தரவு ஏரி இல்லம்” ஒரு தரவு ஏரி மற்றும் தரவுக் கிடங்கை ஒருங்கிணைத்து ஒவ்வொன்றின் பலவீனங்களையும் சுயாதீனமாக நிவர்த்தி செய்கிறது.
லேக்ஹவுஸ் அமைப்பு, டேட்டா லேக்களைப் போலவே, பெரிய அளவிலான தரவை அதன் அசல் வடிவத்தில் வைத்திருக்க குறைந்த விலை சேமிப்பகத்தைப் பயன்படுத்துகிறது.
கடையின் மேல் ஒரு மெட்டாடேட்டா லேயரை சேர்ப்பது தரவு கட்டமைப்பை வழங்குகிறது மற்றும் தரவுக் கிடங்குகளில் உள்ளதைப் போன்ற தரவு மேலாண்மை கருவிகளை மேம்படுத்துகிறது.
நிறுவனம் முழுவதும் பயன்படுத்தப்படும் பல்வேறு வணிக பயன்பாடுகள், அமைப்புகள் மற்றும் சாதனங்களிலிருந்து பெறப்பட்ட கட்டமைக்கப்பட்ட, அரை-கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத தரவுகளின் பாரிய அளவு இது கொண்டுள்ளது.
இதன் விளைவாக, தரவு ஏரிகளைப் போலன்றி, லேக்ஹவுஸ் அமைப்பு SQL செயல்திறனுக்காக அந்தத் தரவை நிர்வகிக்கவும் மேம்படுத்தவும் முடியும்.
தரவுக் கிடங்குகளை விட மலிவான விலையில் பெரிய அளவிலான பல்வேறு தரவைச் சேமித்து செயலாக்கும் திறனையும் கொண்டுள்ளது.
நீங்கள் எந்த தரவு அணுகல் அல்லது எந்த தரவு எதிராக பகுப்பாய்வு செயல்படுத்த வேண்டும் ஆனால் தரவு அல்லது பரிந்துரைக்கப்பட்ட பகுப்பாய்வு உறுதி இல்லை போது ஒரு டேட்டா லேக்ஹவுஸ் எளிது வருகிறது.
ஒரு லேக்ஹவுஸ் கட்டிடக்கலை செயல்திறன் முதன்மையான கவலையாக இல்லாவிட்டால் நன்றாகச் செயல்படும்.
உங்கள் முழு அமைப்பையும் ஒரு ஏரிக்கரையில் அமைக்க வேண்டும் என்பதை இது குறிக்கவில்லை.
டேட்டா லேக், லேக்ஹவுஸ், டேட்டா கிடங்கு, அல்லது ஒவ்வொரு பயன்பாட்டிற்கான சிறப்பு பகுப்பாய்வு தரவுத்தளத்தை எப்படி தேர்ந்தெடுப்பது என்பது பற்றிய கூடுதல் தகவலைக் காணலாம். இங்கே.
டேட்டா லேக்ஹவுஸின் அம்சங்கள்
- ஒரே நேரத்தில் தரவு படித்தல் மற்றும் எழுதுதல்
- தழுவல் மற்றும் அளவிடுதல்
- தரவு ஆளுமைக் கருவிகளுடன் திட்ட உதவி
- ஒரே நேரத்தில் தரவு படித்தல் மற்றும் எழுதுதல்
- மலிவு விலையில் சேமிப்பு
- அனைத்து தரவு வகைகளும் கோப்பு வடிவங்களும் ஆதரிக்கப்படுகின்றன.
- மேம்படுத்தப்பட்ட தரவு அறிவியல் மற்றும் இயந்திர கற்றல் கருவிகளுக்கான அணுகல்
- பணிச்சுமைகளை மிக விரைவாகவும் துல்லியமாகவும் மாற்றுவதற்கு ஒரே ஒரு அமைப்பிற்கான அணுகலைப் பெறுவதன் மூலம் உங்கள் தரவுக் குழுக்கள் பயனடையும்.
- தரவு அறிவியல், இயந்திர கற்றல் மற்றும் பகுப்பாய்வு ஆகியவற்றில் முன்முயற்சிகளுக்கான நிகழ்நேர திறன்கள்
டாப் 5 டேட்டா லேக்ஹவுஸ் கருவிகள்
தரவுத்தளங்கள்
அப்பாச்சி ஸ்பார்க்கை முதன்முதலில் உருவாக்கி அதை உருவாக்கியவரால் நிறுவப்பட்ட டேட்டாபிரிக்ஸ் திறந்த மூல, நிர்வகிக்கப்பட்ட Apache Spark சேவையை வழங்குகிறது மற்றும் தரவு ஏரிகளுக்கான தளமாக நிலைநிறுத்தப்பட்டுள்ளது.
டேட்டாபிரிக்ஸ் லேக்ஹவுஸ் கட்டிடக்கலையின் டேட்டா லேக், டெல்டா லேக் மற்றும் டெல்டா என்ஜின் கூறுகள் வணிக நுண்ணறிவு, தரவு அறிவியல் மற்றும் இயந்திர கற்றல் பயன்பாட்டு நிகழ்வுகளை செயல்படுத்துகின்றன.
தரவு ஏரி ஒரு பொது கிளவுட் சேமிப்பு களஞ்சியமாகும்.
மெட்டாடேட்டா மேலாண்மைக்கான ஆதரவுடன், பல கட்டமைக்கப்பட்ட தரவுத்தொகுப்புகளுக்கான தொகுதி மற்றும் ஸ்ட்ரீம் தரவு செயலாக்கம், தரவு கண்டுபிடிப்பு, பாதுகாப்பான அணுகல் கட்டுப்பாடுகள் மற்றும் SQL பகுப்பாய்வு.
டேட்டா லேக்ஹவுஸ் பிளாட்ஃபார்மில் ஒருவர் எதிர்பார்க்கக்கூடிய பெரும்பாலான தரவுக் கிடங்கு செயல்பாடுகளை டேட்டாபிரிக்ஸ் வழங்குகிறது.
டேட்டாபிரிக்ஸ் சமீபத்தில் அதன் ஆட்டோ லோடரை வெளியிட்டது, இது ETL மற்றும் தரவு உள்ளீட்டை தானியங்குபடுத்துகிறது மற்றும் டேட்டா லேக் சேமிப்பக உத்தியின் அத்தியாவசிய கூறுகளை வழங்குவதற்காக, பல்வேறு தரவு வகைகளுக்கான ஸ்கீமாவை ஊகிக்க தரவு மாதிரியை மேம்படுத்துகிறது.
மாற்றாக, டெல்டா லைவ் டேபிள்களைப் பயன்படுத்தி பயனர்கள் தங்கள் பொது கிளவுட் டேட்டா ஏரிக்கும் டெல்டா ஏரிக்கும் இடையே ETL பைப்லைன்களை உருவாக்கலாம்.
காகிதத்தில், டேட்டாபிரிக்ஸ் அனைத்து நன்மைகளையும் கொண்டிருப்பதாகத் தோன்றுகிறது, ஆனால் தீர்வை அமைப்பதற்கும் அதன் தரவுக் குழாய்களை உருவாக்குவதற்கும் திறமையான டெவலப்பர்களிடமிருந்து நிறைய மனித உழைப்பு தேவைப்படுகிறது.
அளவில், பதில் மேலும் சிக்கலானதாகிறது. இது தோன்றுவதை விட மிகவும் சிக்கலானது.
அஹானா
தரவு ஏரி என்பது, கட்டமைக்கப்படாத மற்றும் கட்டமைக்கப்பட்ட தரவு உட்பட, நீங்கள் தேர்ந்தெடுக்கும் எந்த வகையான தரவையும், அளவில் சேமிக்கக்கூடிய ஒரு மையமான இடமாகும். AWS S3, Microsoft Azure மற்றும் Google Cloud Storage ஆகியவை மூன்று பொதுவான தரவு ஏரிகள்.
தரவு ஏரிகள் நம்பமுடியாத அளவிற்கு நன்கு விரும்பப்படுகின்றன, ஏனெனில் அவை மிகவும் மலிவு மற்றும் பயன்படுத்த எளிதானவை; மிகக் குறைந்த பணத்தில் நீங்கள் விரும்பும் எந்த வகையான தரவையும் நீங்கள் முக்கியமாக சேமிக்க முடியும்.
ஆனால் தரவு ஏரி பகுப்பாய்வு, வினவல் போன்ற உள்ளமைக்கப்பட்ட கருவிகளை வழங்காது.
உங்கள் தரவை வினவவும், அதைப் பயன்படுத்தவும், டேட்டா லேக்கின் மேல் (அஹானா கிளவுட் வரும்) வினவல் இயந்திரம் மற்றும் தரவு பட்டியல் தேவை.
டேட்டா வேர்ஹவுஸ் மற்றும் டேட்டா லேக் இரண்டிலும் சிறந்ததாக, புதிய டேட்டா லேக்ஹவுஸ் வடிவமைப்பு உருவாக்கப்பட்டுள்ளது.
இது வெளிப்படையானது, மாற்றியமைக்கக்கூடியது, நல்ல விலை/செயல்திறன் கொண்டது, டேட்டா லேக் போன்ற அளவீடுகள் பரிவர்த்தனைகளை ஆதரிக்கிறது மற்றும் தரவுக் கிடங்குடன் ஒப்பிடக்கூடிய உயர் மட்ட பாதுகாப்பைக் கொண்டுள்ளது என்பதை இது குறிக்கிறது.
உங்கள் உயர் செயல்திறன் கொண்ட SQL வினவல் இயந்திரம் டேட்டா லேக்ஹவுஸின் மூளையாக உள்ளது. இதன் காரணமாக, உங்கள் டேட்டா லேக் டேட்டாவில் உயர் செயல்திறன் பகுப்பாய்வுகளை இயக்கலாம்.
ப்ரெஸ்டோவிற்கான அஹானா கிளவுட் என்பது AWS இல் Presto க்கான SaaS ஆகும், இது கிளவுட்டில் Presto ஐப் பயன்படுத்தத் தொடங்குவதை நம்பமுடியாத அளவிற்கு எளிதாக்குகிறது.
உங்களின் S3-அடிப்படையிலான தரவு ஏரிக்கு, அஹானா ஏற்கனவே உள்ளமைக்கப்பட்ட தரவு பட்டியல் மற்றும் கேச்சிங் கொண்டுள்ளது. அஹானா பிரஸ்டோவின் அம்சங்களை நீங்கள் மேல்நிலையைக் கையாளத் தேவையில்லாமல் வழங்குகிறது, ஏனெனில் அது உள்நாட்டில் செய்கிறது.
AWS லேக் ஃபார்மேஷன், அப்பாச்சி ஹூடி மற்றும் டெல்டா லேக் ஆகியவை ஸ்டாக்கின் ஒரு பகுதியாக இருக்கும் மற்றும் அதனுடன் ஒருங்கிணைக்கும் பரிவர்த்தனை மேலாளர்களில் சில.
டிரேமியோ
நிறுவனங்கள் விரைவாகவும், எளிமையாகவும், திறமையாகவும் பாரிய அளவில் வேகமாக உயரும் தரவுகளை மதிப்பிட முயல்கின்றன.
ஒரு திறந்த டேட்டா லேக்ஹவுஸ், தரவு ஏரிகள் மற்றும் தரவுக் கிடங்குகளின் நன்மைகளை ஒரு திறந்த அடிப்படையில் ஒருங்கிணைக்கிறது என்று டிரேமியோ நம்புகிறார், இதை நிறைவேற்ற சிறந்த அணுகுமுறை.
ட்ரெமியோவின் லேக்ஹவுஸ் இயங்குதளமானது அனைவருக்கும் வேலை செய்யும் அனுபவத்தை வழங்குகிறது, பயனர்கள் ஒரு குறிப்பிட்ட நேரத்தில் பகுப்பாய்வுகளை முடிக்க அனுமதிக்கும் எளிதான UI உடன்.
ட்ரீமியோ கிளவுட், முழுமையாக நிர்வகிக்கப்படும் டேட்டா லேக்ஹவுஸ் இயங்குதளம் மற்றும் இரண்டு புதிய சேவைகளின் துவக்கம்: ட்ரேமியோ சோனார், லேக்ஹவுஸ் வினவல் இயந்திரம் மற்றும் ட்ரேமியோ ஆர்க்டிக், லேக்ஹவுஸுக்கு தனித்துவமான கிட் போன்ற அனுபவத்தை வழங்கும் அப்பாச்சி ஐஸ்பெர்க்கிற்கான அறிவார்ந்த மெகாஸ்டோர்.
ஒரு நிறுவனத்தின் அனைத்து SQL பணிச்சுமைகளும் உராய்வு இல்லாத, முடிவில்லாமல் அளவிடக்கூடிய டிரேமியோ கிளவுட் இயங்குதளத்தில் இயக்கப்படலாம், இது தரவு மேலாண்மை பணிகளையும் தானியங்குபடுத்துகிறது.
இது SQL க்காக கட்டமைக்கப்பட்டுள்ளது, Git போன்ற அனுபவத்தை வழங்குகிறது, திறந்த மூலமாகும் மற்றும் எப்போதும் இலவசம்.
தரவுக் குழுக்கள் விரும்பும் லேக்ஹவுஸ் தளமாக அவர்கள் அதை உருவாக்கினர்.
ஓப்பன் சோர்ஸ் டேபிள் மற்றும் Apache Iceberg மற்றும் Apache Parquet போன்ற கோப்பு வடிவங்களைப் பயன்படுத்தி, Dremio Cloud ஐப் பயன்படுத்தும் போது உங்கள் தரவு உங்கள் சொந்த டேட்டா லேக் சேமிப்பகத்தில் நிலைத்திருக்கும்.
எதிர்கால கண்டுபிடிப்புகளை எளிதாக ஏற்றுக்கொள்ள முடியும், மேலும் உங்கள் பணிச்சுமையின் அடிப்படையில் சரியான இயந்திரத்தை தேர்வு செய்யலாம்.
ஸ்னோஃபிளாக்
ஸ்னோஃப்ளேக் என்பது மேகக்கணி தரவு மற்றும் பகுப்பாய்வு தளமாகும், இது தரவு ஏரிகள் மற்றும் கிடங்குகளின் தேவைகளை பூர்த்தி செய்ய முடியும்.
இது கிளவுட் உள்கட்டமைப்பில் கட்டப்பட்ட தரவுக் கிடங்கு அமைப்பாகத் தொடங்கியது.
AWS, Microsoft Azure அல்லது Google Cloud Platform (GCP) ஆகியவற்றிலிருந்து பொது கிளவுட் சேமிப்பகத்தின் மேல் அமர்ந்திருக்கும் மையப்படுத்தப்பட்ட சேமிப்பக களஞ்சியத்தை இந்த தளம் கொண்டுள்ளது.
அதைத் தொடர்ந்து பல-கிளஸ்டர் கணக்கீட்டு அடுக்கு உள்ளது, அங்கு பயனர்கள் ஒரு மெய்நிகர் தரவுக் கிடங்கைத் தொடங்கலாம் மற்றும் அவர்களின் தரவு சேமிப்பகத்திற்கு எதிராக SQL வினவல்களை நடத்தலாம்.
கட்டிடக்கலை சேமிப்பு மற்றும் கணக்கீட்டு வளங்களை துண்டிக்க அனுமதிக்கிறது, தேவைக்கேற்ப நிறுவனங்கள் இரண்டையும் சுயாதீனமாக அளவிட அனுமதிக்கிறது.
இறுதியாக, ஸ்னோஃப்ளேக் மெட்டாடேட்டா வகைப்பாடு, வள மேலாண்மை, தரவு நிர்வாகம், பரிவர்த்தனைகள் மற்றும் பிற அம்சங்களுடன் ஒரு சேவை அடுக்கை வழங்குகிறது.
BI டூல் இணைப்பிகள், மெட்டாடேட்டா மேலாண்மை, அணுகல் கட்டுப்பாடுகள் மற்றும் SQL வினவல்கள் ஆகியவை தரவுக் கிடங்கு செயல்பாடுகளில் ஒரு சில மட்டுமே.
ஸ்னோஃப்ளேக், இருப்பினும், ஒரு தொடர்புடைய SQL-அடிப்படையிலான வினவல் இயந்திரத்திற்கு மட்டுமே.
இதன் விளைவாக, அதை நிர்வகிப்பது எளிமையானது ஆனால் மாற்றியமைக்கக்கூடியது குறைவாக உள்ளது, மேலும் பல மாதிரி தரவு ஏரி பார்வை உணரப்படவில்லை.
கூடுதலாக, கிளவுட் சேமிப்பகத்திலிருந்து தரவைத் தேடுவதற்கு அல்லது பகுப்பாய்வு செய்வதற்கு முன், ஸ்னோஃப்ளேக்கிற்கு வணிகங்கள் அதை மையப்படுத்தப்பட்ட சேமிப்பக அடுக்கில் ஏற்ற வேண்டும்.
கையேடு தரவு பைப்லைனிங் செயல்முறையானது அதை ஆய்வு செய்வதற்கு முன் ETL, வழங்குதல் மற்றும் தரவு வடிவமைத்தல் ஆகியவற்றை அவசியமாக்குகிறது. இந்த கையேடு செயல்முறைகளை அளவிடுவது அவர்களை வெறுப்படையச் செய்கிறது.
காகிதத்தில் நன்றாகப் பொருந்துவது போல் தோன்றும் ஆனால் உண்மையில், எளிமையான தரவு உள்ளீட்டின் டேட்டா லேக் கொள்கையிலிருந்து விலகும் மற்றொரு விருப்பம் ஸ்னோஃப்ளேக்கின் டேட்டா லேக்ஹவுஸ் ஆகும்.
Oracle
"டேட்டா லேக்ஹவுஸ்" எனப்படும் நவீன, திறந்த கட்டிடக்கலை உங்கள் எல்லா தரவையும் சேமிக்கவும், புரிந்து கொள்ளவும், பகுப்பாய்வு செய்யவும் உதவுகிறது.
மிகவும் பிரபலமான திறந்த மூல தரவு ஏரி தீர்வுகளின் அகலம் மற்றும் நெகிழ்வுத்தன்மை ஆகியவை தரவுக் கிடங்குகளின் வலிமை மற்றும் ஆழத்துடன் இணைக்கப்பட்டுள்ளன.
ஆரக்கிள் கிளவுட் இன்ஃப்ராஸ்ட்ரக்சரில் (OCI) டேட்டா லேக்ஹவுஸுடன் புதிய AI கட்டமைப்புகள் மற்றும் முன்பே கட்டப்பட்ட AI சேவைகளைப் பயன்படுத்தலாம்.
திறந்த மூல தரவு ஏரியைப் பயன்படுத்தும் போது கூடுதல் வகையான தரவுகளுடன் வேலை செய்வது சாத்தியமாகும். ஆனால் அதை நிர்வகிப்பதற்கு தேவையான நேரமும் முயற்சியும் ஒரு தொடர்ச்சியான குறைபாடாக இருக்கலாம்.
குறைந்த செயல்பாட்டுச் செலவுகள், சிறந்த அளவிடுதல் மற்றும் பாதுகாப்பு மற்றும் உங்கள் தற்போதைய தரவுகள் அனைத்தையும் ஒரே இடத்தில் ஒருங்கிணைக்கும் திறன் ஆகியவற்றை எதிர்பார்க்கும் வகையில், குறைந்த கட்டணத்தில் மற்றும் குறைந்த நிர்வாகத்துடன் முழுமையாக நிர்வகிக்கப்படும் திறந்த மூல லேக்ஹவுஸ் சேவைகளை OCI வழங்குகிறது.
ஒரு டேட்டா லேக்ஹவுஸ், வெற்றிகரமான நிறுவனங்களுக்கு அவசியமான தரவுக் கிடங்குகள் மற்றும் சந்தைகளின் மதிப்பை அதிகரிக்கும்.
ஒரு SQL வினவல் மூலம் பல இடங்களில் இருந்து லேக்ஹவுஸைப் பயன்படுத்தி தரவை மீட்டெடுக்கலாம்.
ஏற்கனவே உள்ள நிரல்களும் கருவிகளும் சரிசெய்தல் தேவையில்லாமல் அல்லது புதிய திறன்களைப் பெறாமல் எல்லா தரவையும் வெளிப்படையான அணுகலைப் பெறுகின்றன.
தீர்மானம்
டேட்டா லேக்ஹவுஸ் தீர்வுகளின் அறிமுகம், பெரிய தரவுகளின் ஒரு பெரிய போக்கின் பிரதிபலிப்பாகும், இது பகுப்பாய்வு மற்றும் தரவு சேமிப்பகத்தை ஒருங்கிணைந்த தரவு தளங்களில் ஒருங்கிணைத்து தரவிலிருந்து வணிக மதிப்பை அதிகரிக்கச் செய்யும் அதே வேளையில் மதிப்பு பிரித்தெடுக்கும் நேரம், செலவு மற்றும் சிக்கலான தன்மையைக் குறைக்கிறது.
டேட்டாபிரிக்ஸ், ஸ்னோஃப்ளேக், அஹானா, டிரேமியோ மற்றும் ஆரக்கிள் உள்ளிட்ட இயங்குதளங்கள் அனைத்தும் "டேட்டா லேக்ஹவுஸ்" என்ற யோசனையுடன் இணைக்கப்பட்டுள்ளன, ஆனால் அவை ஒவ்வொன்றும் தனித்துவமான அம்சங்களைக் கொண்டுள்ளன மற்றும் உண்மையான தரவு ஏரியை விட தரவுக் கிடங்கைப் போல செயல்படும் போக்கைக் கொண்டுள்ளன. ஒட்டுமொத்தமாக.
ஒரு தீர்வு "டேட்டா லேக்ஹவுஸ்" என சந்தைப்படுத்தப்படும் போது, வணிகங்கள் உண்மையில் என்ன அர்த்தம் என்பதில் எச்சரிக்கையாக இருக்க வேண்டும்.
நிறுவனங்கள் "டேட்டா லேக்ஹவுஸ்" போன்ற மார்க்கெட்டிங் வாசகங்களுக்கு அப்பால் பார்க்க வேண்டும், அதற்கு பதிலாக எதிர்காலத்தில் தங்கள் வணிகங்களுடன் விரிவடையும் சிறந்த தரவு தளத்தைத் தேர்ந்தெடுக்க ஒவ்வொரு தளத்தின் அம்சங்களையும் பார்க்க வேண்டும்.
ஒரு பதில் விடவும்