Ko nga tono a-ipurangi nui-nui kua tae mai i roto i nga tau e rua o mua. Ko enei mahi hou kua whakarereke i o maatau whakaaro mo te whanaketanga rorohiko. Ko Facebook, Instagram, me Twitter, hei tauira, he papaaho katoa.
Me hanga enei punaha ki te whakahaere i te tini o nga waka me nga raraunga na te mea ka whakamahia e te piriona nga taangata i te wa kotahi puta noa i te ao. Koinei te wa hoahoa pūnaha ka uru ki te pikitia.
Ko te tukanga o te whakatuu hoahoanga, atanga, me nga raraunga mo te punaha e tutuki ana i etahi paearu e mohiotia ana ko te hoahoa punaha. Na roto i nga punaha honohono me te pai, ka tutuki te hoahoa punaha i nga hiahia o to umanga, whakahaere ranei.
Ina whakatauhia e to kamupene, whakahaere ranei ona paearu, ka taea e koe te tiimata ki te whakauru ki roto i tetahi hoahoa punaha tinana e tutuki ana i nga hiahia a o kaihoko.
Ahakoa ka whiriwhiri koe ki te haere me te whanaketanga opuahia, otinga arumoni, he huinga ranei o nga mea e rua, me pehea to hoahoa i to punaha ka whakatau me pehea koe e hanga ai.
Ka ata tirohia e maatau te hoahoa punaha o te raarangi Twitter i tenei pou, ka oti me te akoranga. Kia timata tatou.
Hipanga 1: Whakahuahua te take whakamahi me nga here
Whakamahia te take
- Ka tukuna e te kaiwhakamahi he tweet.
- Ka tukuna e te ratonga nga panui pana me nga imeera ki nga kaiwhaiwhai o nga tweets.
- Ka tirohia te rarangi wa o te kaiwhakamahi (mahi mai i te kaiwhakamahi)
- Ka titiro te kaiwhakamahi ki te raarangi kaainga (nga mahi a nga tangata e whai ana te kaiwhakamahi)
- Ko nga kupu matua e rapuhia ana e te kaiwhakamahi.
- He tino waatea te ratonga.
Kei waho o te whānuitanga
- Ka tukuna nga tweets ki te Twitter Firehose me etahi atu awa ma te whakamahi i tenei ratonga.
- Ka whakakorehia e te ratonga nga tweets i runga i nga tautuhinga tirohanga a te kaiwhakamahi.
- Mena karekau te kaiwhakamahi e whai ana i te tangata e whakautuhia ana, hunahia te whakautu.
- Tirohia te kōwhiringa 'huna retweets'.
- ngā tātaritanga
Nga here me nga whakapae
Nga Whakaaro a te Kawanatanga
- Kaore i te rite te marara o nga waka.
- Me ngawari te tuku tweet.
- Mena kaore he miriona o nga kaiwhaiwhai, me tere te tuku tweet ki o akonga katoa.
- He 100 miriona nga kaiwhakamahi kaha.
- 15 piriona tweets ia marama ranei 500 miriona tweets ia ra
- Ia tweet he fanoout o 10 tuku i runga i te toharite.
- Ia rā, e 5 piriona tweets ka tukuna e fanout.
- Ka tukuna e Fanout te 150 piriona tweets ia marama.
- 250 piriona nga tono panui ia marama
- 10 piriona rapunga marama
Rārangi Wā
- Me ngawari te whakatere i te raarangi.
- He nui ake a Twitter mo te panui i te tuhi.
- Arotau mo te panui tweet tere
- Ko te kohi tweet he wa e kai ana.
Kimihia
- Me tere te mahi rapu.
- He wa roa ki te rapu.
Tātaihia te whakamahinga
Rahi o ia tweet:
- 8 paita tweet id
- 32 paita id-kaiwhakamahi
- 140 paita o te kuputuhi
- pāpāho – toharite o 10 KB
- Tapeke: ~10 KB
Ia marama, 150 TB o nga ihirangi tweet hou ka hangaia.
- * 500 miriona tweets ia ra * 30 ra ia marama * 10 KB mo ia tweet
- I roto i nga tau e toru, kua 5.4 PB te ihirangi tweet hou.
He 100,000 nga tono panui ia hekona.
- * (400 tono mo ia hekona / 1 piriona tono mo ia marama) 250 piriona tono panui ia marama
E 6,000 nga tweets ia hekona.
- * (400 tono mo ia tuarua / 1 piriona tono mo ia marama) 15 piriona tweets ia marama
Mo te fanout, 60 mano tweets ka tukuna ia hekona.
- Ka tukuna e Fanout 150 piriona tweets ia marama* (400 tono mo ia hekona / 1 piriona tono ia marama).
4,000 nga tono mo nga korero ia hekona
- * (400 tono mo ia hekona / 1 piriona tono mo ia marama) 10 piriona rapu ia marama
Ko etahi huringa whai hua
- Ia marama, 2.5 miriona hēkona ka hipa.
- 2.5 miriona tono ia marama i te 1 tono mo ia hekona
- 100 miriona tono ia marama x 40 tono mo ia hekona
- 1 piriona tono mo ia marama = 400 tono mo ia hekona
Hipanga 2: Hoahoa taumata teitei
Hipanga 3: Te whakamarama i nga waahanga matua
Ka taea e matou te tiaki i nga tweets ake a te kaiwhakamahi ki te whakakii i te rarangi waahi kaiwhakamahi (mahi mai i te kaiwhakamahi) i roto i te papaaa raraunga hononga mena ka tukuna he tweet. He uaua ake te tuku tweets me te whakawhanake i te raarangi kaainga (nga mahi a nga tangata takitahi ka whai te kaiwhakamahi).
Ko te papaaa raraunga hononga angamaheni ka raruhia e te tuku tweets ki nga kaiwhaiwhai katoa (60 mano nga tweets ka tukuna ia hekona). Ka hiahia pea matou ki te haere me te rokiroki raraunga tere-tuhi penei i te papaunga raraunga NoSQL, te Keteroki Mahara ranei.
Ko te panui i te 1 MB mai i te mahara ka roa te 250 moroiti hekona, engari e 4 nga wa te roa o te panui mai i te SSD, a ka 80 te roa o te panui mai i te kōpae.
Ka taea te whakamahi i te Toa Ahanoa hei penapena raraunga penei i nga whakaahua me nga ataata.
- Ko te Tūmau Tukutuku, e mahi ana hei takawaenga whakamuri, ka whiwhi tweet mai i te Kiritaki.
- Ka tukuna te tono ki te tūmau Tuhituhi API e te Tūmau Tukutuku.
- Ko te API Tuhituhi e tiaki ana i te tweet ki te papaunga raraunga SQL i roto i te raarangi a te kaiwhakamahi.
Ka whakapā atu te Ratonga Fan-Out e te API Tuhituhi, a ka mahia e ia nga mahi e whai ake nei.
- Ka kimihia nga kaiwhaiwhai a te kaiwhakamahi i te Keteroki Mahara ma te patai ki te Ratonga Kauwhata Kaiwhakamahi.
- I runga i te Keteroki Mahara, ka tiakina te tweet ki te raarangi kaainga o nga kaiwhaiwhai a te kaiwhakamahi.
- 1,000 kaiwhai = 1,000 titiro me te whakauru = O(n) mahi.
- Ka tiakina te tweet i roto i te Ratonga Tohu Rapu mo te rapu tere.
- Ka whakamahia te Toa Ahanoa ki te rokiroki pāpāho.
- Ka tuku matohi pana ki te hunga whai ma te Ratonga Panui.
- Ki te tuku matohi tukutahi, ka whakamahia he Tūtira.
Ka taea e tatou te whakamahi i tetahi rarangi Redis taketake me te hanganga e whai ake nei mena ko ta matou Keteroki Mahara ko Redis:
Ka whakahōuhia te rārangi wā kāinga o te kaiwhakamahi ki te tweet hou, ka penapena ki te Keteroki Mahara. Ka whakamahia e matou te API REST tūmatanui e whai ake nei:
Ko te rarangi waahi kaiwhakamahi ka tirohia e te kaiwhakamahi.
- Ka whiwhi te Tūmau Tukutuku i te tono wātaka kaiwhakamahi mai i te Kiritaki.
- Ka tukuna te tono ki te tūmau Panui API e te Tūmau Tukutuku.
- Ka patai te API Panui ki te Raraunga Raraunga SQL mo te waahi wa kaiwhakamahi.
He rite te mahi a te REST API ki te raarangi kaainga, haunga nga tweets katoa i ahu mai i te kaiwhakamahi, kaua ki nga tangata e whai ana.
Ka rapu te kaiwhakamahi mo nga kupumatua:
- Ka whiwhi te Tūmau Tukutuku he tono rapu mai i te Kiritaki.
- Ka tukuna te tono ki te Rapu API tūmau e te Tūmau Tukutuku.
Hipanga 4: Twitter wātaka
He mahi uaua te hanga rarangi wa. Ka hiahiatia he tūmau whakaputa rārangi wā e hono ana ki te tukutuku, ki ngā tūmau tono rānei.
I nga wa katoa ka uru mai te kaiwhakamahi, ka mau tonu te ratonga raarangi i nga tweets hou mai i nga kaiwhakamahi i te ripanga a te kaiwhai, ka whakahou, ka whakahou ranei i te raarangi waahi a te kaiwhakamahi.
Kaore matou e whakatinana i tetahi momo punaha rangatira i konei; engari, ki ta matou whakaaro ko nga tweets runga rawa e 5 mai i nga kaiwhaiwhai a te kaiwhakamahi ka whakaatuhia i roto i te raarangi i runga i te raupapa o te wa hanga. Ka taea e taatau te pupuri i te 50-tweet refresh cutoff. Ka whakamutua tonu ta matou whakahou, te hanga raarangi ranei i muri i te ekenga o taua paepae tae noa ki te whakahou i te wharangi.
Ka puta mai nga maaharahara nui mo te torohū me te mahi mai i te hanga kai a nga kaiwhakamahi ora. Engari, ko te hanga i tetahi awa tuimotu ka taea te whakaatu tonu ko te huarahi pai hei whakapai ake i nga mahi. Whakahaerehia nga kaitoro raarangi whakatapua e ping ana i te tūmau tono i ia te wā ki te tāmata i te whāngai i runga i te wā i hangaia ai.
Me whai whakaaro te raupapa algorithm ki nga tohu tino nui me te whakarato i te taumahatanga hei whakapumau karekau te raarangi o te kaiwhakamahi e noho rangatira ana i nga rauemi mai i tetahi, neke atu ranei o nga kaute e whai ana.
He tika ake, ka taea e tatou te kowhiri i nga ahuatanga e pa ana ki te whaitake o tetahi mea whangai, penei i te maha o nga mea pai, nga korero, nga tiri, me te wa whakahou. Me whakamahi ia o enei paearu ki te reiti i te tweet, katahi ka whakamahia taua tohu hei whakaatu i nga tweets i runga i te raarangi.
Me whakamohio tonu tatou ki nga kaiwhakamahi ina watea mai nga korero hou mo o raatau purongo? Ka kitea e nga kaiwhakamahi he painga ki te whakatupato i te wa e waatea ana nga raraunga hou. I runga i nga taputapu pūkoro, heoi, ka nui te utu o te whakamahi raraunga, ka taea e ia te moumou i te bandwidth.
Ko te mutunga, ka taea e tatou te kowhiri kia kaua e pana nga raraunga ki nga taputapu pūkoro me te tuku i nga kaiwhakamahi ki te "Toia ki te Whakahou" mo nga panui hou.
Hipanga 5: Tauine hoahoa
Ko tetahi peara ko te Fanout Service. Ko nga kaiwhakamahi Twitter me nga miriona o nga kaiwhaiwhai me tatari mo etahi meneti mo o raatau tweets kia puta. Ma tenei ka puta he whakataetae me nga whakautu ki te tweet, ka taea e tatou te karo ma te ota ano i nga tweets i te wa mahi.
Ka taea hoki e matou te aukati i te horapa tweets mai i nga taangata he maha nga kaiwhaiwhai. Engari, ka rapua pea e matou nga tweets mai i nga tangata e tino whai ana, ka whakauru i nga hua rapunga me nga hua rarangi kaainga kaainga a te kaiwhakamahi, katahi ka whakariterite ano i nga tweets i te wa mahi.
Ko etahi atu whakapainga ko:
- Puritia he torutoru rau tweets i roto i te Keteroki Mahara mo ia raarangi kaainga.
- I roto i te Keteroki Mahara, ko nga korero raarangi kaainga a nga kaiwhakamahi hohe ka tiakina.
- Ka taea e tatou te hanga ano i te waa mai i te Raraunga Raraunga SQL mena kaore he kaiwhakamahi i kaha i nga ra 30 o mua.
- Ki te mohio ko wai te kaiwhakamahi, whakamahia te Ratonga Kauwhata Kaiwhakamahi.
- Taapirihia nga tweets ki te Keteroki Mahara ma te tango mai i te Raraunga Raraunga SQL.
- Ka taea e te Ratonga Info Tweet te penapena i nga tweets mo te marama kotahi.
- I roto i te Ratonga Korero Kaiwhakamahi, ko nga kaiwhakamahi kaha anake ka tiakina.
- Kia iti ake te roanga, ko te Rapu Rapu me mau tonu nga tweets ki te mahara.
Opaniraa
Ahakoa he whakahaere nui a Twitter, he pai ake te maarama ki te hoahoa punaha. I whakapau kaha ahau ki te whakarato ki a koe he tirohanga taumata teitei o te raarangi Twitter.
Ko te tumanako i whiwhi koe i nga korero whai hua mai i a koe ka taea e koe te whakamahi pai.
Waiho i te Reply