O le Hive o se meafaigaluega fa'aoga tele Big Data Analytics i totonu o le pisinisi, ma o se nofoaga manaia e amata ai pe afai e te fou i Big Data. O lenei lesona a Apache Hive e alu i le faavae o Apache Hive, aisea e tatau ai se ofaga, ona foliga, ma isi mea uma e tatau ona e iloa.
Sei o tatou malamalama muamua i le Hadoop framework o loʻo fausia ai Apache Hive.
Apache Hadoop
Apache Hadoop e leai se totogi ma Tatala-punaoa fa'avae mo le teuina ma le fa'agaioiina o fa'amaumauga tetele e amata mai i le gigabytes i le petabytes. O le Hadoop e fa'atagaina le fa'aputuina o le tele o komepiuta e su'esu'e le tele o fa'amaumauga i le tutusa, nai lo le mana'omia o se komepiuta tele e tasi e teu ma au'ili'ili fa'amaumauga.
MapReduce ma Hadoop Distributed File System o vaega ia e lua:
- Faʻaitiitia - MapReduce ose faiga fa'akomepiuta tutusa mo le fa'afoeina o voluma tetele o fa'amaumauga fa'atulagaina, semi-fa'atulagaina, ma le le fa'atulagaina i luga o fuifui meafaigaluega oloa.
- HDFS - HDFS (Hadoop Distributed File System) o se vaega faʻavae Hadoop e teuina ma faʻagasolo faʻamaumauga. Ose faiga faila fa'aletonu e fa'aoga i masini masani
O mea laiti eseese (meafaigaluega) i le Hadoop ecosystem, e aofia ai Sqoop, Pig, ma Hive, o loʻo faʻaaogaina e fesoasoani i le Hadoop modules.
- ofaga - O le Hive o se faʻavae mo le tusiaina o tusitusiga SQL-style e faʻatino ai faʻatusatusaga o MapReduce.
- Pig - O le puaa o se gagana faʻapolokalame faʻataʻitaʻiga e mafai ona faʻaaogaina e fai ai se tusitusiga mo MapReduce faʻagasologa.
- Faʻafefe - Sqoop o se meafaigaluega mo le faʻaulufaleina ma le auina atu o faʻamatalaga i le va o le HDFS ma le RDBMS.
O le a Apache Hive?
Apache Hive o se punaoa tatala fale teu oloa polokalame mo le faitau, tusitusi, ma le puleaina o faʻamaumauga tetele o loʻo teuina saʻo i le Apache Hadoop Distributed File System (HDFS) poʻo isi faʻamaumauga e teu ai faʻamaumauga e pei o Apache HBase.
E mafai ona fa'aogaina e le au fa'avae SQL le Hive e fai ai fa'amatalaga o le Hive Query Language (HQL) mo fa'amatalaga fa'amatalaga ma au'ili'iliga e fa'atusa i fa'amatalaga masani a le SQL. Na faia e faafaigofie ai polokalame a MapReduce e ala i le aveesea o le manaʻoga e aʻoaʻo ma tusia le code Java umi. Ae, e mafai ona e tusia au fesili ile HQL, ma o le a fausia e Hive le faafanua ma faʻaitiitia galuega mo oe.
O le SQL-pei o fesoʻotaʻiga a Apache Hive ua avea ma Gold Standard mo le faʻatinoina o suʻesuʻega ad-hoc, aotelega, ma suʻesuʻeina faʻamatalaga Hadoop. Pe a aofia i le ao feso'ota'iga komepiuta, o lenei fofo e sili ona taugofie ma faʻaleleia, o le mafuaʻaga lea o le tele o kamupani, e aofia ai Netflix ma Amazon, faʻaauau pea ona atiaʻe ma faʻaleleia Apache Hive.
History
I lo latou taimi i le Facebook, Joydeep Sen Sarma ma Ashish Thusoo na fausia faʻatasi Apache Hive. Na la iloaina uma ina ia maua le tele o mea mai Hadoop, e tatau ona latou faia ni galuega faigata Java Map-Reduce. Na latou iloa e le mafai ona latou aʻoaʻoina a latou 'au faʻainisinia ma auʻiliʻili faʻavavevave i tomai latou te manaʻomia e faʻaogaina ai Hadoop i le kamupani atoa. E masani ona faʻaogaina e inisinia ma suʻega le SQL e fai ma faʻaoga faʻaoga.
E ui e mafai e le SQL ona faʻafetaui le tele o auʻiliʻiliga manaʻomia, na faʻamoemoe foi le au atiaʻe e faʻapipiʻi le polokalame a Hadoop. Apache Hive na tulaʻi mai i nei faʻamoemoe e lua: o se gagana faʻavae SQL e mafai ai foi e le au atinaʻe ona aumai a latou lava tusitusiga ma polokalame pe a le lava le SQL.
Na fa'atupuina fo'i e fa'atumauina metadata fa'atotonugalemu (Hadoop-fa'avae) e uiga i fa'amaumauga uma i totonu o le kamupani e fa'afaigofie ai le fausiaina o fa'alapotopotoga fa'amaumauga.
E fa'afefea ona galue Apache Hive?
I se fa'apuupuuga, e fa'aliliu e Apache Hive se polokalame fa'aoga na tusia i le gagana HiveQL (SQL-pei) i se tasi pe sili atu Java MapReduce, Tez, po'o Spark galuega. (O nei masini faʻataunuʻu uma e fetaui ma Hadoop YARN.) A maeʻa lena, Apache Hive faʻatulagaina faʻamaumauga i laulau mo le Hadoop Distributed File System HDFS) ma faʻatino galuega i luga o se fuifui e maua ai se tali.
Faʻamatalaga
O laulau a Apache Hive o loʻo faʻatulagaina i le auala lava e tasi e pei o laulau i totonu o se faʻamaumauga fesoʻotaʻiga o loʻo faʻatulagaina, faʻatasi ai ma iunite faʻamaumauga e amata i le lapopoa mai le lapopoa i le laʻititi. O fa'amaumauga o fa'amaumauga o lo'o faia i laulau e vaevaeina i ni vaevaega, lea e toe vaevae i pakete. HiveQL (Hive Query Language) e fa'aoga e maua ai fa'amaumauga, e mafai ona suia pe fa'aopoopo. O fa'amaumauga o laulau o lo'o fa'asologa i totonu o fa'amaumauga ta'itasi, ma o laulau ta'itasi e iai lana fa'atonuga HDFS.
atiga
O lenei o le a tatou talanoa e uiga i le itu sili ona taua o le Hive Architecture. O vaega o Apache Hive e faʻapea:
Metastore - O lo'o fa'amauina fa'amatalaga e uiga i laulau ta'itasi, e pei o lona fausaga ma le nofoaga. O le metadata vaeluaga o loʻo faʻapea foʻi ona aofia i le Hive. O lenei mea e mafai ai e le avetaavale ona siaki le alualu i luma o seti faʻamaumauga eseese o loʻo faʻasalalau i luga o le fuifui. O faʻamaumauga o loʻo teuina i se faʻasologa masani RDBMS. Metadata Hive e matua taua tele mo le avetaʻavale e faʻamautu le siaki o faʻamaumauga. E fa'aluaina e le 'au'aunaga fa'amaumauga fa'amaumauga i taimi masani ina ia mafai ona toe maua mai pe a leiloa fa'amaumauga.
avetaʻavale - O faʻamatalaga HiveQL e maua e se avetaavale, lea e galue o se pule. E ala i le faʻatulagaina o sauniga, e amataina e le avetaavale le faʻatinoina o le faʻamatalaga. O lo'o fa'amaumauina le soifuaga ma le alualu i luma o le pulega. I le taimi o le faʻatinoina o se faʻamatalaga HiveQL, e faʻasaoina e le avetaavale le metadata manaʻomia. E fai fo'i ma fa'amaumauga po'o se fa'ai'uga fa'ai'uga o le aoina mai o vaega pe a mae'a le Fa'aitiitiga.
Tagata faʻatau – E fa'atinoina le fa'aputuga fesili a le HiveQL. Ua liua nei le fesili i se fuafuaga fa'atino. O galuega o lo'o lisiina i le fuafuaga. E aofia ai foʻi laasaga e tatau ona faia e MapReduce e maua ai le iʻuga e faʻaliliuina e le fesili. O le fesili ua liua i se Abstract Syntax Tree e le Hive's compiler (AST). Su'e le AST i le Directed Acyclic Graph pe a uma ona siaki mo le fetaui ma fa'aletonu taimi-taimi (DAG).
Auiliiliga - E faʻamalieina le DAG e ala i le faia o suiga eseese i le faʻatinoga o fuafuaga. E tu'ufa'atasia suiga mo le fa'aleleia atili o le lelei, e pei o le fa'aliliuina o se paipa o so'o i se tu'i tasi. Ina ia faʻaleleia le saoasaoa, e mafai e le tagata faʻapitoa ona vaevae gaioiga, e pei o le faʻaogaina o se suiga i faʻamaumauga aʻo leʻi faia se faʻaitiitiga gaioiga.
Faʻatonu - O le faʻatonu e faʻatautaia galuega pe a maeʻa le tuʻufaʻatasia ma le faʻaleleia. O galuega o loʻo faʻapipiʻiina e le Faʻatonu.
CLI, UI, ma le Faʻatauga Faʻatau - O le faʻatonuga laina (CLI) o se faʻaoga faʻaoga e mafai ai e se tagata faʻaoga fafo ona fesoʻotaʻi ma Hive. O le 'au'aunaga tau tupe a Hive, e tutusa ma le JDBC po'o le ODBC protocols, e mafai ai e tagata mai fafo ona feso'ota'i ma Hive e ala i se feso'otaiga.
Security
Apache Hive o loʻo tuʻufaʻatasia ma le saogalemu Hadoop, lea e faʻaogaina ai Kerberos mo le faʻamaoniaina o tagata-server. O le HDFS o loʻo faʻatonuina faʻatagaga mo faila fou na gaosia i Apache Hive, faʻatagaina oe e faʻamaonia e le tagata faʻaoga, vaega, ma isi.
Mea taua
- E lagolagoina e Hive laulau i fafo, lea e mafai ai ona e faʻagasolo faʻamaumauga e aunoa ma le teuina i le HDFS.
- E mafai ai fo'i ona fa'asoa fa'amaumauga i le laulau e fa'ateleina ai le saoasaoa.
- O Apache Hive e fetaui lelei ma le mana'oga maualalo a Hadoop.
- E faafaigofie e Hive le aotelega o faamatalaga, fesili, ma au'ili'ili.
- E le mana'omia e HiveQL so'o se tomai fa'apolokalame; o se malamalama faigofie o fesili SQL ua lava.
- E mafai fo'i ona matou fa'aogaina le Hive e fa'atautaia ai fesili fa'apitoa mo su'esu'ega fa'amaumauga.
- E mafai ona fuaina, masani, ma fetuutuunai.
- E le mana'omia e HiveQL so'o se tomai fa'apolokalame; o se malamalama faigofie o fesili SQL ua lava.
faamanuiaga
Apache Hive fa'atagaina mo lipoti fa'ai'uga o aso, iloiloga o fefa'ataua'iga i aso ta'itasi, su'esu'ega ad-hoc, ma su'esu'ega fa'amaumauga. O fa'amatalaga manino na tu'uina mai e Apache Hive e tu'uina atu ai fa'atauvaga taualoa ma fa'afaigofie ai mo oe ona tali atu i mana'oga o maketi.
O nisi nei o faʻamanuiaga o le maua o ia faʻamatalaga faigofie:
- Faigofie o faaaogaina - Faatasi ai ma lana gagana e pei o le SQL, o faʻamatalaga faʻamatalaga e faigofie ona malamalama.
- Fa'atosina fa'aofi fa'amaumauga - Talu ai e faitau e Apache Hive le faʻataʻitaʻiga e aunoa ma le faʻamaoniaina o le ituaiga laulau poʻo le faʻamalamalamaga o faʻamatalaga, o faʻamatalaga e le tatau ona faitau, faʻasalalau, ma faʻasalalau i le tisiketi i totonu o le faʻamaumauga i totonu. I se faʻatusatusaga, i totonu o faʻamaumauga masani, e tatau ona faʻamaonia faʻamaumauga i taimi uma e faʻaopoopoina ai.
- Fa'asao maualuga, fetuutuuna'i, ma le taugofie - Talu ai ona o faʻamaumauga o loʻo teuina i le HDFS, e mafai e Apache Hive ona taofiofia le 100s o petabytes o faʻamaumauga, ma avea ai ma se filifiliga sili atu ona faʻaogaina nai lo se faʻamaumauga masani. Apache Hive, i le avea ai o se auaunaga Hadoop i luga o le ao, e mafai ai e tagata faʻatau ona faʻavavevave luga ma lalo 'auʻaunaga mataʻutia e faʻafetaui ai suiga o galuega.
- Malosiaga galue - Tele faʻamaumauga e mafai ona taulimaina e oʻo atu i le 100,000 fesili ile itula.
tapulaa
- I se tulaga lautele, o fesili a Apache Hive e maualuga tele le taofiofia.
- E fa'atapula'aina le lagolago o subquery.
- Ole taimi ole fesili ma suiga ole laina tulaga e le maua ile Apache Hive.
- E leai se lagolago mo manatu fa'atino.
- I totonu o le ofaga, e le lagolagoina le faʻafouina ma le tapeina o gaioiga.
- E le'i fa'amoemoeina mo le OLTP (fa'asologa o suiga i luga ole laiga).
Amata i Apache Hive
Apache Hive ose paaga malosi Hadoop e fa'afaigofie ma fa'afaigofie au galuega. Ina ia maua le tele o mea mai le Apache Hive, e manaʻomia le faʻaogaina lelei. O le laasaga muamua o le alu i le website.
1. Fa'apipi'i Fa'ato'aga mai se Fa'asa'olotoga
Amata i le siiina mai o le faʻamalologa lata mai o Hive mai se tasi o faʻata faʻapipiʻi Apache (vaai Fa'asa'olotoga). Ona tatau lea ona tatala le tapolo. Ole mea lea o le a faia ai se faila faila e taʻua o le hive-xyz (lea o le xyz o le numera faʻamalolo):
Seti le suiga ole siosiomaga HIVE_HOME e fa'asino ile lisi fa'apipi'i:
Mulimuli, fa'aopoopo le $HIVE_HOME/bin i lau PATH
:
2. Taufega Hive
E faʻaaoga e Hive Hadoop, o lea:
- e tatau ona i ai Hadoop i lou ala POO
3. Fa'agaioiga DLL
Fausiaina o le Laulaupapa Hive
fa'atupuina se laulau e ta'ua pokes ma ni koluma se lua, o le muamua o le numera atoa ma le lona lua o se manoa.
Su'esu'e ile Laulau
Lisi Laupapa uma
Suia ma Pa'u Laulau
E mafai ona suia igoa o laulau ma e mafai ona faaopoopo koluma pe suia:
E taua le matauina o suitulaga koluma uma e sui ai koluma o iai ae na o le suia o le fausaga o le laulau ae le o faʻamaumauga. E tatau ona fa'aoga se SerDe i le laulau. E mafai fo'i ona fa'aogaina koluma sui e aveese ai koluma mai le fa'asologa o se laulau:
Laupapa Laupapa
E tele faʻaopoopoga faʻatinoga ma foliga i Apache Hive e mafai ona e aʻoaʻoina e ala i le asiasi i le upega tafaʻilagi aloaia.
iʻuga
O le faʻamatalaga o le Hive o se faʻamatalaga polokalame faʻamatalaga mo suʻesuʻega ma auʻiliʻiliga mo faʻamaumauga tetele o loʻo fausia i luga o Apache Hadoop. E filifilia e le au fa'apolofesa nai lo isi polokalame, mea faigaluega, ma polokalama fa'apitoa talu ai e fa'atatau mo fa'amaumauga tele a Hive ma e faigofie ona fa'aoga.
Faamoemoe o lenei aʻoaʻoga e fesoasoani ia te oe e amata i le Apache Hive ma faʻaleleia atili au galuega. Fa'ailoa mai i fa'amatalaga.
Tuua se tali