Ko Hive he taputapu Taatari Raraunga Nui e whakamahia nuitia ana i roto i te pakihi, a he waahi pai ki te timata mena he hou koe ki te Raraunga Nui. Ko tenei akoranga Apache Hive e haere ana ki nga kaupapa taketake o Apache Hive, he aha te take e tika ai te taenga mai, ona ahuatanga, me era atu mea katoa me mohio koe.
Kia mohio tatou ki te angamahi Hadoop i hangaia ai a Apache Hive.
Apache Hadoop
Ko te Apache Hadoop he kore utu me te tuwhera-puna he papa mo te rokiroki me te tukatuka i nga huingararaunga nui mai i te gigabytes ki te petabytes. Ka taea e Hadoop te whakaropu i nga rorohiko maha ki te tarai i nga huingararaunga nui i roto i te whakarara, kaua ki te tono rorohiko nui kotahi hei penapena me te tātari i nga raraunga.
Ko te MapReduce me te Hadoop Distributed File System e rua nga waahanga:
- MahereMarama – Ko te MapReduce he tikanga whakarara mo te whakahaere i nga pukapuka nui o nga raraunga kua whakaritea, ahua-hanganga, kaore ano hoki i hangaia mo nga tautau taputapu taonga.
- HDFS – Ko te HDFS (Hadoop Distributed File System) he waahanga anga Hadoop e penapena ana, e tukatuka ana i nga raraunga. He punaha konae-a-hape e whakahaere ana i runga i nga taputapu paerewa
He rereke nga kaupapa-iti (taputapu) i roto i te puunaha rauwiringa kaiao Hadoop, tae atu ki a Sqoop, Pig, me Hive, ka whakamahia hei awhina i nga waahanga Hadoop.
- taenga mai – Ko te Hive he anga mo te tuhi i nga tuhinga momo-SQL e mahi ana i nga tatauranga MapReduce.
- Pig – Ko te poaka he reo hötaka tikanga ka whakamahia pea hei hanga tuhinga mo nga tukanga MapReduce.
- Sqoop - He taputapu a Sqoop mo te kawemai me te kaweake i nga raraunga i waenga i te HDFS me te RDBMS.
he aha te mea Apache Hive?
He puna tuwhera a Apache Hive whare raraunga he kaupapa mo te panui, te tuhi, me te whakahaere i nga huinga raraunga nui e rongoa tika ana ki te Apache Hadoop Distributed File System (HDFS) me etahi atu punaha rokiroki raraunga penei i a Apache HBase.
Ka whakamahi pea nga kaiwhakawhanake SQL i te Hive hei hanga korero Hive Query Language (HQL) mo te uiui raraunga me te tātaritanga e rite ana ki nga tauākī SQL auau. I hangaia kia ngawari ake te MapReduce ma te whakakore i te hiahia ki te ako me te tuhi i te waehere Java roa. Engari, ka tuhia e koe o patai ki te HQL, ka hangaia e Hive te mapi me te whakaiti i nga mahi mo koe.
Ko te atanga rite-SQL o Apache Hive kua noho hei Paerewa Koura mo te mahi rapu ad-hoc, whakarāpopoto, me te tātari raraunga Hadoop. Ina whakauruhia ki te kapua whatunga rorohiko, ko tenei otinga he tino utu me te tauineine, na reira he maha nga umanga, tae atu ki a Netflix me Amazon, kei te haere tonu ki te whakawhanake me te whakapai ake i te Apache Hive.
History
I a raua wa i Pukamata, na Joydeep Sen Sarma raua ko Ashish Thusoo i hanga tahi a Apache Hive. I mohio raua e rua kia whai hua mai i Hadoop, me hanga e raua etahi mahi uaua Java Map-Whakaiti. I mohio ratou kaore e taea e raatau te ako i o raatau roopu miihini me nga roopu tātari mo nga pukenga e hiahia ana ratou ki te whakamahi i a Hadoop puta noa i te kamupene. He maha nga wa ka whakamahia e nga miihini me nga kaitātari te SQL hei atanga kaiwhakamahi.
Ahakoa ka taea e SQL te whakatutuki i te nuinga o nga hiahia tātaritanga, i kii ano nga kaihanga ki te whakauru i te kaupapa a Hadoop. I ahu mai a Apache Hive mai i enei whainga e rua: he reo whakapuakanga a SQL e taea ai e nga kaiwhakawhanake te kawe mai i a raatau ake tuhinga me o raatau kaupapa i te wa kaore i te rawaka te SQL.
I whakawhanakehia ano hoki hei pupuri i nga metadata matua (i runga i te Hadoop) mo nga huingararaunga katoa i roto i te kamupene kia ngawari ake te hanga o nga whakahaere whakahaere raraunga.
Me pehea te mahi a Apache Hive?
I roto i te poto, ka huri a Apache Hive i tetahi papatono whakauru kua tuhia ki te reo HiveQL (SQL-rite) ki tetahi, neke atu ranei nga mahi Java MapReduce, Tez, Spark ranei. (He hototahi ki Hadoop YARN enei miihini mahi katoa.) I muri i tera, ka whakariteritehia e Apache Hive nga raraunga ki nga ripanga mo te Hadoop Distributed File System HDFS) me te mahi i nga mahi i runga i te roopu kia whiwhi whakautu.
Raraunga
He rite tonu te whakatakotoranga o nga ripanga Apache Hive ki te whakatakotoranga o nga ripanga i roto i te papaunga raraunga hononga, me nga wae raraunga mai i te rahi ki te iti. Ko nga papaaarangi ka hangaia he ripanga kua wehea ki nga wehenga, ka wehea ano ki nga peere. Ka whakamahia te HiveQL (Hive Query Language) ki te uru ki nga raraunga, ka taea te whakarereke, te taapiri ranei. Kua raupapahia nga raraunga ripanga i roto i ia putunga raraunga, a kei ia ripanga tana ake whaiaronga HDFS.
Architecture
Inaianei ka korero tatou mo te waahanga nui o te Hive Architecture. Ko nga waahanga o Apache Hive e whai ake nei:
Metastore — Ka pupuri i nga korero mo ia tepu, penei i tona hanganga me tona waahi. Ko te metadata wehewehenga kua whakauruhia ki roto i te Hive. Ma tenei ka taea e te taraiwa te aroturuki i te ahunga whakamua o nga huinga raraunga rereke kua horahia puta noa i te roopu. Ka penapena nga raraunga ki te whakatakotoranga RDBMS tikanga. He mea nui te metadata hive mo te taraiwa ki te pupuri i te ara o nga raraunga. Ka tāruaruatia e te tūmau pūrua nga raraunga i ia te wā kia ora ake i te wā ka ngaro te raraunga.
atekōkiri – Ko nga korero a HiveQL ka whakawhiwhia e tetahi taraiwa, e mahi ana hei kaiwhakahaere. Ma te whakatuu hui, ka timata te taraiwa i te whakatinanatanga o te korero. Ka aroturuki i te oranga me te ahunga whakamua o te kaiwhakahaere. I te wa e mahia ana he korero HiveQL, ka tiakina e te taraiwa nga raraunga meta e hiahiatia ana. Ka noho ano hei waahi kohi raraunga, hua uiui ranei i muri i te tukanga Whakaiti.
Kaipupuri – Ka mahia e ia te whakahiato patai HiveQL. Inaianei kua hurihia te patai ki te mahere mahi. Kua whakarārangihia ngā mahi ki te mahere. Kei roto ano hoki nga mahi a MapReduce kia whiwhi ai i te hua i whakamaoritia e te patai. Ka hurihia te patai ki te Rakau Whakaraupapa Abstract by Hive's Compiler (AST). Ka huri i te AST ki te Kauwhata Acyclic Directed i muri i te tirotiro mo te hototahi me nga hapa o te wa whakahiato (DAG).
Haumaru - Ka pai ake te DAG ma te whakarereke i nga huringa rereke mo te mahere mahi. Ka whakakotahihia nga huringa kia pai ake te pai, penei i te huri i te paipa o nga hononga ki te hono kotahi. Hei whakapai ake i te tere, ka wehewehea pea e te kaihoroi nga mahi, penei i te tono huringa ki nga raraunga i mua i te mahi whakaiti.
Kaiwhakawā – Ka whakahaerehia e te kaihautu nga mahi ka mutu te whakahiato me te arotautanga. Ko nga mahi he paipa e te Kai-whakahaere.
CLI, UI, me te Tūmau Moni – Ko te atanga raina whakahau (CLI) he atanga kaiwhakamahi e taea ai e te kaiwhakamahi o waho te korero ki a Hive. Ko te kaitirotiro penapena a Hive, he rite ki nga tikanga JDBC, ODBC ranei, ka taea e nga kaihoko o waho te korero ki a Hive ma te whatunga.
Haumarutanga
Kua whakauruhia a Apache Hive ki te haumarutanga Hadoop, e whakamahi ana i a Kerberos mo te whakamotuhēhēnga tahi a te kiritaki-tūmau. Ka whakatauhia e te HDFS nga whakaaetanga mo nga konae hou i hangaia ki Apache Hive, ka taea e koe te whakaae e te kaiwhakamahi, te roopu, me etahi atu.
āhuatanga matua
- Ka tautokohia e Hive nga ripanga o waho, ka taea e koe te tukatuka raraunga me te kore e penapena ki HDFS.
- Ka taea hoki e ia te wehewehenga raraunga i te taumata tepu kia tere ake te tere.
- Ka tutuki pai a Apache Hive ki te hiahia atanga taumata-iti a Hadoop.
- Ma Hive te whakarapopoto raraunga, te uiui, me te tātaritanga ngawari.
- Karekau a HiveQL e hiahia ana i nga pukenga hotaka; he rawaka te maaramatanga o nga patai SQL.
- Ka taea hoki e tatou te whakamahi i te Hive ki te whakahaere i nga patai ad-hoc mo te tātari raraunga.
- He tauineine, taunga, me te urutau.
- Karekau a HiveQL e hiahia ana i nga pukenga hotaka; he rawaka te maaramatanga o nga patai SQL.
painga
Ka taea e Apache Hive nga purongo mutunga o nga ra, nga arotakenga tauwhitinga o ia ra, nga rapunga korero, me te tātari raraunga. Ko nga tirohanga matawhānui e whakaratohia ana e Apache Hive he tino painga whakataetae me te ngawari ki a koe ki te whakautu ki nga tono maakete.
Anei etahi o nga painga o te waatea o enei korero:
- Noho pai o te whakamahi – Ma tana reo rite-SQL, he maamaa te patai raraunga.
- Te whakauru raraunga whakatere — Na te mea ka panui a Apache Hive i te aronuinga me te kore e manatoko i te momo ripanga, te whakamaaramatanga aronuinga ranei, kaore e tika kia panuihia nga raraunga, te parai, me te rangatū ki te kōpae i roto i te whakatakotoranga o roto o te putunga raraunga. Engari, i roto i te papaa raraunga tikanga, me whakamana nga raraunga ia wa ka taapirihia.
- He pai ake te tauineine, te ngawari, me te whai hua-utu – Na te mea kei te penapena nga raraunga ki roto i te HDFS, ka taea e Apache Hive te pupuri i te 100s o nga petabytes o nga raraunga, na te mea he waahanga nui ake te tauineine atu i te putunga raraunga angamaheni. Ko te Apache Hive, he ratonga Hadoop e ahu mai ana i te kapua, ka taea e nga kaihoko te huri tere ki runga me te heke o nga tūmau mariko ki te whakatutuki i nga huringa mahi.
- Te kaha mahi nui – Ka taea e nga huingararaunga nui te whakahaere ki te 100,000 nga patai mo ia haora.
Nga whakataunga
- I te nuinga o te waa, he nui te roa o nga patai a Apache Hive.
- He iti te tautoko o nga paatai.
- Ko nga patai wa-tūturu me nga huringa taumata haupae kaore i te waatea i Apache Hive.
- Karekau he tautoko mo nga whakaaro kua tino kitea.
- I roto i te taenga mai, kaore i te tautokohia nga mahi whakahou me te whakakore.
- Ehara i te mea mo te OLTP (tukanga whakawhiti ipurangi).
Te tiimata me te Apache Hive
Ko Apache Hive he hoa kaha Hadoop e whakangwari ana i o rerengamahi. Kia whai hua nui mai i te Apache Hive, he mea nui te whakakotahitanga kore. Ko te taahiraa tuatahi ko te haere ki te paetukutuku.
1. Te Hive Tāutanga mai i te Tukunga Stable
Tīmatahia ma te tango i te tukunga pumau o Hive mai i tetahi o nga whakaata tango a Apache (tirohia Tukunga Hive). Katahi ka wetewetehia te tarball. Ka waihangahia he kōpakiroto e kiia nei ko hive-xyz (ko te xyz te nama tuku):
Tautuhia te taurangi taiao HIVE_HOME hei tohu ki te whaiaronga whakaurunga:
Ka mutu, taapirihia te $HIVE_HOME/bin ki to PATH
:
2. Rere Hive
Ka whakamahia e Hive te Hadoop, na:
- Me whai koe i a Hadoop i to ara OR
3. Mahi DLL
Waihanga Ripanga Hive
ka whakaputa i te ripanga ko pokes me nga pou e rua, ko te tuatahi he tauoti, ko te tuarua he aho.
Tirotiro i roto i nga Ripanga
Te Rarangi i nga Ripanga Katoa
Te Huri me te Whakataka Ripanga
Ka taea te whakarereke i nga ingoa ripanga ka taea te taapiri, te whakakapi ranei i nga pou:
Me mahara ko te REPLACE COLUMNS te whakakapi i nga pou katoa o naianei ka huri noa i te hanganga o te ripanga, kaua ko nga raraunga. Me whakamahi he SerDe Maori ki te ripanga. Ka taea hoki te whakamahi COLUNS REPLACE ki te tango i nga pou mai i te aronuinga o te ripanga:
Whakataka Ripanga
He maha atu nga mahi me nga ahuatanga kei roto i te Apache Hive ka taea e koe te ako ma te toro ki te paetukutuku mana.
Opaniraa
Ko te whakamaramatanga a Hive he atanga papatono raraunga mo te uiui me te tātari mo nga huingararaunga nui ka hangaia ki runga ake o Apache Hadoop. Ka whiriwhirihia e nga tohunga ngaio ki runga i etahi atu papatono, taputapu, me nga rorohiko na te mea he mea hangaia mo te Hive raraunga whanui me te ngawari ki te whakamahi.
Ko te tumanako ka awhina tenei akoranga ki a koe ki te tiimata me te Apache Hive kia pai ake ai o rerenga mahi. Kia mohio tatou i roto i nga korero.
Waiho i te Reply