Hive waa aalad weyn oo loo isticmaalo falanqaynta xogta weyn ee ganacsiga, waana meel cajiib ah oo laga bilaabo haddii aad ku cusub tahay Xogta Weyn. Casharkan Apache Hive wuxuu maraa aasaaska Apache Hive, sababta rugtu ay lagama maarmaan u tahay, sifooyinkeeda, iyo wax kasta oo kale oo ay tahay inaad ogaato.
Aan marka hore fahanno qaabka Hadoop ka kaas oo Apache Hive lagu dhisay.
Apache Hadoop
Apache Hadoop waa bilaash iyo ilka furan madal loogu talagalay kaydinta iyo habaynta xog-ururinta waaweyn ee u dhexeeya cabbirka gigabytes ilaa petabytes. Hadoop waxa ay u ogolaataa in la ururiyo kombiyuutaro badan si ay u falanqeeyaan xog-ururineed oo isbarbar socda, halkii ay uga baahnaan lahaayeen hal kombuyuutar oo weyn si uu u kaydiyo oo u falanqeeyo xogta.
MapReduce iyo Hadoop Distributed File System waa laba qaybood:
- Khariidadda – MapReduce waa farsamo bar-bar-baraamineed oo lagu maaraynayo tiro badan oo habaysan, habaysan, iyo xog aan habaysanayn oo ku saabsan rucubyada qalabka alaabta.
- HDFS – HDFS (Hadoop Distributed File System) waa qayb qaabaysan oo kaydisa oo socodsiisa xogta. Waa nidaam faylal u dulqaadan kara oo ku shaqeeya qalabka caadiga ah
Mashruuc-hoosaadyo kala duwan (qalabka) ee nidaamka deegaanka Hadoop, oo ay ku jiraan Sqoop, Doofaar, iyo Hive, ayaa loo isticmaalaa in lagu caawiyo qaybaha Hadoop.
- rugta - Hive waa qaab-dhismeedka qorista qoraallada qaabka SQL ee sameeya xisaabinta MapReduce.
- Doofaarka - Doofaarku waa luuqad barnaamijeed habraac ah oo laga yaabo in loo isticmaalo in lagu abuuro qoraal habraacyada MapReduce.
- Qaado - Sqoop waa aalad lagu soo dejiyo laguna dhoofiyo xogta u dhaxaysa HDFS iyo RDBMS.
waa maxay Xayawaanka Apache?
Apache Hive waa il furan keydka xogta barnaamijka akhriska, qorista, iyo maaraynta xogta waaweyn ee si toos ah ugu kaydsan Apache Hadoop Nidaamka Faylka La Qaybiyay (HDFS) ama nidaamyada kale ee kaydinta xogta sida Apache HBase.
Horumarinta SQL waxay isticmaali karaan Hive si ay u abuuraan weedho su'aalo weydiinta iyo falanqaynta ee u dhiganta weedhaha SQL ee caadiga ah. Waxaa loo sameeyay si ay MapReduce u fududayso barnaamijka iyadoo meesha ka saartay baahida loo qabo in la barto oo la qoro koodka Java dheer. Taa beddelkeeda, waxaad ku qori kartaa su'aalahaaga HQL, iyo Hive waxay dhisi doontaa khariidadda waxayna kuu dhimi doontaa hawlahaaga.
Isku xirka SQL-u eg ee Apache Hive wuxuu noqday Halbeegga Dahab ee samaynta raadinta ad-hoc, soo koobida, iyo falanqaynta xogta Hadoop. Marka daruur lagu daro shabakadaha xisaabinta, Xalkani wuxuu si gaar ah u yahay kharash-ku-ool ah oo la qiyaasi karo, taas oo ah sababta shirkado badan, oo ay ku jiraan Netflix iyo Amazon, ay sii wadaan horumarinta iyo hagaajinta Apache Hive.
History
Waqtigooda Facebook-ga, Joydeep Sen Sarma iyo Ashish Sooo waxay wada-abuureen Apache Hive. Labaduba waxay garwaaqsadeen in si ay uga faa'iidaystaan Hadoop, ay tahay inay abuuraan qaar aad u dhib badan Khariidadda Java-Yaree hawlaha. Waxay aqoonsadeen inaysan awoodi doonin inay barayaan injineerada degdega ah u ballaarinaya iyo kooxahooda falanqaynta xirfadaha ay u baahan doonaan si ay uga faa'iidaystaan Hadoop guud ahaan shirkadda. Injineerada iyo falanqeeyayaasha ayaa si joogta ah u isticmaali jiray SQL sidii is-dhexgal isticmaale ahaan.
Iyadoo SQL ay dabooli karto inta badan baahiyaha falanqaynta, horumariyayaashu waxay sidoo kale rabeen inay ku daraan barnaamijka Hadoop. Apache Hive waxay ka soo kacday labadan ujeedo: luqad ku-salaysan SQL oo sidoo kale awood u siisay horumariyayaasha inay keenaan qoraaladooda iyo barnaamijyadooda marka SQL ku filnayn.
Waxa kale oo la sameeyay in lagu hayo xog-ururinta dhexe (Hadoop-based) oo ku saabsan dhammaan xog-ururinta ee shirkadda si loo fududeeyo dhismaha hay'adaha xog-ururinta.
Sidee ayuu Apache Hive u shaqeeyaa?
Marka la soo koobo, Apache Hive waxay u beddeshaa barnaamijka gelinta ee ku qoran HiveQL (SQL-like) luqadda hal ama in ka badan Java MapReduce, Tez, ama Spark. (Dhammaan matooradan fulinta waxay ku habboon yihiin Hadoop YARN.) Intaa ka dib, Apache Hive waxay u habaysaa xogta jaantusyada Nidaamka Faylka Qaybsan ee Hadoop HDFS) oo waxay ku qabataa hawlaha kooxdu si ay jawaab u hesho.
Data
Miisaska Apache Hive waxaa loo habeeyey si la mid ah sida miisaska xogta xogta la xidhiidha loo habeeyey, oo leh cutubyo xogeed oo u dhexeeya cabbir ka weyn ilaa ka yar. Database-yadu waxay ka kooban yihiin miisas loo qaybiyay qaybo, kuwaas oo loo sii kala qaybiyay baaldiyo. HiveQL (Hive Query Language) ayaa loo istcmaalay in lagu galo xogta, taas oo la bedeli karo ama lagu lifaaqi karo. Xogta shaxanka waxa lagu saleeyay xog kasta, miis kastaana waxa uu leeyahay hage HDFS u gaar ah.
naqshadaha
Hadda waxaan ka hadli doonaa waxa ugu muhiimsan ee dhismaha Hive Architecture. Qaybaha Apache Hive waa sida soo socota:
Metastore - Waxay la socotaa macluumaadka ku saabsan miis kasta, sida qaab-dhismeedka iyo goobta. Xogta badan ee qaybinta ayaa sidoo kale lagu daray Hive. Tani waxay u oggolaanaysaa darawalka inuu la socdo horumarka xogta xogta ee kala duwan ee ku baahsan kooxda. Xogta waxa lagu kaydiyaa qaabka caadiga ah ee RDBMS. Xogta badan ee rugta ayaa aad muhiim ugu ah darawalka si uu u ilaaliyo xogta. Server-ka kaydka ahi waxa uu si joogto ah u nuqul ka dhigaa xogta si loo soo ceshado haddii ay dhacdo in xog la waayo.
Driver - Odhaahyada HiveQL waxaa helay darawalka, kaas oo u shaqeeya sidii maamule. Samaynta fadhiyada, darawalku waxa uu bilaabay fulinta bayaanka. Waxa ay la socotaa cimriga iyo horumarka hawlwadeenka fulinta. Inta lagu jiro fulinta bayaanka HiveQL, darawalku wuxuu kaydiyaa xogta badan ee loo baahan yahay. Waxa kale oo ay u adeegtaa xog ahaan ama dhibic ururinta natiijada weydiinta ka dib habsocodka Yaraynta.
Sababaha - Waxay fulisaa ururinta weydiinta HiveQL. Weydiinta hadda waxaa loo rogay qorshe fulin. Hawlaha waxay ku qoran yihiin qorshaha. Waxa kale oo ka mid ah tillaabooyinka ay tahay in MapReduce qaado si ay natiijada u hesho sida ay u turjuntay weydiintu. Weydiinta waxa loo rogaa Geedka Abstract Syntax Tree by Hive's compiler (AST). U beddelaa AST garaaf Acyclic Directed ka dib markii la hubiyo in ay ku habboon tahay iyo khaladaadka wakhtiga-ururinta (DAG).
Optimizer - Waxay wanaajisaa DAG iyadoo ku samaynaysa isbeddello kala duwan qorshaha fulinta. Waxay isku daraysaa isbeddelada hufnaanta la wanaajiyay, sida u rogida dhuumaha isku-xidhyada hal isku-biir. Si loo horumariyo xawaaraha, wanaajiyahu waxa laga yaabaa inuu kala qaybiyo hawlaha, sida ku dabaqida isbeddelka xogta ka hor inta aanu samayn hawlgalka dhimista.
Fuliye – Fulintu waxa uu wadaa hawlaha marka la isku duba rido iyo tayaynta la dhameeyo. Shaqooyinka waxaa hagaya Fuliyaha.
CLI, UI, iyo Thrift Server - Interface-line-line interface (CLI) waa interface interface kaas oo u oggolaanaya isticmaale dibadda ah inuu la xiriiro Hive. Adeegga wax-soo-saarka ee Hive, oo la mid ah hab-maamuuska JDBC ama ODBC, wuxuu u oggolaanayaa macaamiisha dibadda inay la xiriiraan Hive iyagoo isticmaalaya shabakad.
Ammaanka
Apache Hive waxaa lagu dhex daray amniga Hadoop, kaas oo u isticmaala Kerberos xaqiijinta wadajirka ah ee adeegaha. HDFS-gu waxay ku amartaa oggolaanshaha faylalka cusub ee Apache Hive, taasoo kuu oggolaanaysa inaad ansixiso isticmaalaha, kooxda, iyo kuwa kale.
Tilmaamo Key
- Hive waxay taageertaa miisaska dibadda, kuwaas oo kuu ogolaanaya inaad socodsiiso xogta adiga oo aan ku kaydin HDFS.
- Waxa kale oo ay awood u siinaysaa kala qaybinta xogta ee heerka miiska inay kordhiso xawaaraha.
- Apache Hive waxay si heer sare ah u buuxisaa baahida is-dhexgalka heerka hoose ee Hadoop.
- Rugta waxay fududaysaa soo koobidda xogta, waydiinta, iyo falanqaynta
- HiveQL uma baahna xirfado barnaamij; Faham fudud oo ku saabsan weydiimaha SQL ayaa ku filan.
- Waxaan sidoo kale u isticmaali karnaa Hive si aan u sameyno weydiimaha ad-hoc ee falanqaynta xogta.
- Waa la miisaami karaa, la yaqaan, oo la qabsan karo.
- HiveQL uma baahna xirfado barnaamij; Faham fudud oo ku saabsan weydiimaha SQL ayaa ku filan.
Faa'iidooyinka
Apache Hive waxay u ogolaataa warbixinada maalinta-dhamaadka, qiimaynta wax kala iibsiga maalinlaha ah, raadinta ad-hoc, iyo falanqaynta xogta. Fikradaha dhamaystiran ee ay bixiso Apache Hive waxay ku siinaysaa faa'iidooyin tartan oo muhiim ah waxayna kuu sahlaysaa inaad ka jawaabto dalabaadka suuqa.
Waa kuwan qaar ka mid ah faa'iidooyinka helitaanka macluumaadkan oo kale:
- Fududaato in la isticmaalo - Luuqad u eg SQL, xog weydiintu way fududahay in la fahmo.
- Soo gelinta xogta la dedejiyey - Sababtoo ah Apache Hive waxay akhridaa schema iyada oo aan la xaqiijin nooca miiska ama qeexida schema, xogta maaha in la akhriyo, la kala saaro, iyo si taxane ah si loo saxo qaabka gudaha ee xogta. Taas bedelkeeda, xogta xogta caadiga ah, xogta waa in la ansaxiyaa mar kasta oo lagu daro.
- Miisaan sare, dabacsanaan, iyo kharash-oolnimo - Sababtoo ah xogta waxaa lagu kaydiyaa HDFS, Apache Hive waxay hayn kartaa 100s ee petabytes ee xogta, taas oo ka dhigaysa doorasho aad u badan oo la qiyaasi karo marka loo eego xogta caadiga ah. Apache Hive, oo ah adeeg Hadoop-ku-salaysan daruuriga ah, waxa ay u ogolaataa macaamiisha in ay si degdeg ah kor ugu qaadaan oo hoos ugu dhigaan server-yada farsamada si ay ula kulmaan beddelka culayska shaqada.
- Awood shaqo oo ballaadhan - Xog-ururinta waaweyn waxa ay xamili karaan ilaa 100,000 su'aalood saacaddii.
Xaddidaadda
- Guud ahaan, weydiimaha Apache Hive waxay leeyihiin daahitaan aad u sarreeya.
- Taageerada isdiiwaangelinta waa xadidan tahay.
- Weydiimaha-waqtiga-dhabta ah iyo isbeddellada heerka safka ah lagama heli karo Apache Hive.
- Ma jirto wax taageero ah oo loogu talagalay aragtida dhabta ah.
- Rugta rugta, cusboonaysii oo tirtir tallaabooyinka lama taageero.
- Looguma talagalin OLTP (nidaamka ku meel gaadhka ee khadka tooska ah).
Ku bilaw Apache Hive
Apache Hive waa lamaane xooggan oo Hadoop ah kaas oo fududeeya oo habeeya socodkaaga shaqada. Si aad faa'iidada ugu badan uga hesho Apache Hive, is dhexgalka aan kala go 'lahayn waa lama huraan. Tallaabada ugu horreysa waa in la aado website.
1. Rakibaadda Rugta laga bilaabo Siidaynta Deggan
Ku bilow inaad soo dejiso sii dayntii ugu dambeysay ee xasilloonida ee Hive mid ka mid ah muraayadaha Apache soo dejinta (eeg Siidaynta Rugta). Ka dib kubbadda daamurka waa in la furo. Tani waxay abuuri doontaa gal-hoosaad loo yaqaan hive-xyz (halkaas oo xyz uu yahay lambarka siideynta):
Deji doorsoomaha deegaanka ee HIVE_HOME si aad u tilmaanto hagaha rakibaadda:
Ugu dambeyntii, ku dar $HIVE_HOME/binkaaga PATH
:
2. Rugta ordaya
Hive waxay isticmaashaa Hadoop, marka:
- waa inaad haysatid Hadoop wadadaada AMA
3. Hawlgalka DLL
Abuuritaanka Miiska rugta
waxa uu soo saaraa miis magaciisu yahay pokes oo leh laba tiir oo ka kowaad uu yahay integer kan labaadna uu yahay xadhig.
Daalacanaya Shaxannada
Liistada Dhammaan Shaxda
Beddelka iyo Tuurista Miisaska
Magacyada shaxda waa la bedeli karaa oo tiirar ayaa lagu dari karaa ama la bedeli karaa:
Waxaa xusid mudan in BEDELKA SAXAAFADA ay bedesho dhammaan tiirarka jira halka kaliya ay baddaleyso qaab dhismeedka miiska ee ma beddeleyso xogta. SerDe hooyo waa in lagu isticmaalo shaxda. BEDEL CULUUMKA sidoo kale waxaa loo isticmaali karaa in laga saaro tiirarka shaxda shaxda:
Tuurista Miisaska
Waxaa jira hawlgallo badan oo dheeraad ah iyo astaamo gudaha Apache Hive oo aad wax ka baran karto markaad booqato bogga rasmiga ah.
Ugu Dambeyn
Qeexitaanka rugta waa isku-xidhka barnaamijka xogta ee weydiinta iyo falanqaynta xog-ururinta waaweyn ee laga dhisay dusha Apache Hadoop. Xirfadlayaasha ayaa ka doorta barnaamijyada kale, qalabka, iyo softiweerka maadaama inta badan loogu talagalay Hive xog ballaaran oo ay fududahay in la isticmaalo.
Waxaan rajeyneynaa in casharkan uu kaa caawinayo inaad ku bilowdo Apache Hive oo aad ka dhigto socodka shaqadaada mid hufan. Noogu sheeg faallooyinka.
Leave a Reply