Tafole ea likateng[Pata][Bontša]
Ho Ithuta ho Tebileng (DL), kapa ketsiso ea marang-rang a boko ba motho, e ne e le mohopolo oa khopolo-taba feela lilemong tse mashome a mabeli tse fetileng.
E ntse e tsoela pele ho fihlela kajeno, 'me e ntse e sebelisoa ho sebetsana le liphephetso tsa lefats'e tse kang ho fetolela lingoliloeng tse thehiloeng ho audio ho ea ho mongolo le ts'ebetsong e fapaneng ea pono ea khomphutha.
The Attention Process or Attention Model ke mokhoa oa mantlha o tšehetsang lits'ebetso tsena.
Tlhahlobo e potlakileng e bontša seo Machine Ithuta (ML), e leng katoloso ea Artificial Intelligence, ke karoloana ea Thuto e Tebileng.
Ha u sebetsana le litaba tse amanang le Tlhaho ea Puo ea Tlhaho (NLP), joalo ka kakaretso, kutloisiso, le ho phethela pale, Deep Learning Neural Networks e sebelisa mokhoa oa ho ela hloko.
Ka poso ena, re tlameha ho utloisisa hore na mochine oa tlhokomelo ke ofe, mokhoa oa ho ela hloko o sebetsa joang ho DL le lintlha tse ling tsa bohlokoa.
Mokhoa oa ho ela hloko thutong e tebileng ke eng?
Mokhoa oa ho ela hloko thutong e tebileng ke mokhoa o sebelisoang ho ntlafatsa ts'ebetso ea marang-rang a marang-rang ka ho lumella mohlala hore o tsepamise maikutlo ho data ea bohlokoa ka ho fetisisa ea ho kenya letsoho ha o ntse o hlahisa likhakanyo.
Sena se finyelloa ka ho beha boima ba data e kentsoeng e le hore mohlala o etelletse pele lisebelisoa tse ling ho feta tse ling. Ka lebaka leo, mohlala o ka hlahisa likhakanyo tse nepahetseng haholoanyane ka ho nahana feela ka mefuta ea bohlokoahali ea ho kenya.
Hangata mokhoa oa ho ela hloko o sebelisoa mesebetsing ea ts'ebetso ea puo ea tlhaho e kang phetolelo ea mochine, moo mohlala o tlamehang ho ela hloko likarolo tse sa tšoaneng tsa poleloana ea ho kenya letsoho e le ho utloisisa moelelo oa eona ka botlalo le ho fana ka phetolelo e nepahetseng.
E ka boela ea sebelisoa libakeng tse ling thuto e tebileng lits'ebetso, joalo ka temoho ea setšoantšo, moo mohlala o ka ithutang ho ela hloko lintho kapa litšobotsi tse itseng setšoantšong ho hlahisa likhakanyo tse nepahetseng haholoanyane.
Mokhoa oa ho ela hloko o sebetsa joang?
Mokhoa oa ho ela hloko ke mokhoa o sebelisoang ho mehlala e tebileng ea ho ithuta ho lekanya litšoaneleho tsa ho kenya, ho lumella mohlala ho tsepamisa maikutlo likarolong tsa bohlokoa ka ho fetisisa tsa ho kenya letsoho ha o ntse o e sebetsa. sebopeho sa mantlha sa sebopeho sa mantlha sa sebopeho sa pele.
Mona ke papiso ea hore na mokhoa oa ho ela hloko o sebetsa joang: Nka hore u ntse u etsa mofuta oa phetolelo oa mochini o fetolelang mantsoe a Senyesemane ho Sefora. Moetso ona o nka mongolo oa Senyesemane e le o kenyelelitsoeng ebe o hlahisa phetolelo ea Sefora.
Moetso o etsa sena ka ho qala ka ho khouto poleloana e kentsoeng ka tatellano ea li-vector tse bolelele bo sa fetoheng (hape li bitsoa "likarolo" kapa "tse kenyellelitsoeng"). Joale mohlala ona o sebelisa li-vectors tsena ho etsa phetolelo ea Sefora ho sebelisoa dekhodara e hlahisang letoto la mantsoe a Sefora.
Mokhoa oa ho ela hloko o thusa mohlala hore o tsepamise maikutlo ho lintlha tse nepahetseng tsa poleloana ea ho kenya tse bohlokoa bakeng sa ho hlahisa lentsoe la hona joale ka tatellano ea tlhahiso sethaleng ka seng sa ts'ebetso ea ho khetholla.
Mohlala, decoder e ka tsepamisa maikutlo mantsoeng a seng makae a pele a poleloana ea Senyesemane ho thusa ho khetha phetolelo e nepahetseng ha e leka ho theha lentsoe la pele la Sefora.
Decoder e tla lula e ela hloko likarolo tse fapaneng tsa poleloana ea Senyesemane ha e ntse e hlahisa likarolo tse setseng tsa phetolelo ea Sefora ho thusa ho fihlela phetolelo e nepahetseng ka ho fetisisa e ka khonehang.
Mehlala ea ho ithuta e tebileng e nang le mekhoa ea ho ela hloko e ka tsepamisa maikutlo linthong tsa bohlokoahali tsa tlhahiso ha e ntse e e sebetsa, e ka thusang mohlala ho hlahisa likhakanyo tse nepahetseng haholoanyane.
Ke mokhoa o matla o sebelisitsoeng haholo lits'ebetsong tse fapaneng, ho kenyeletsoa mongolo oa litšoantšo, temoho ea puo, le phetolelo ea mochini.
Mefuta e fapaneng ea Mechanism ea Tlhokomelo
Mekhoa ea ho ela hloko e fapana ho itšetlehile ka boemo boo mochine o itseng oa tlhokomelo kapa mohlala o sebelisoang ho oona. Libaka kapa likarolo tse amehang tsa tatellano ea ho kenya letsoho eo mohlala o tsepamisitseng maikutlo le ho tsepamisa maikutlo ho eona ke lintlha tse ling tsa phapang.
Tse latelang ke mefuta e 'maloa ea mekhoa ea tlhokomelo:
Tlhokomelo e Akaretsang
Generalized Attention ke mofuta oa neural network moralo o lumellang mohlala ho khetha ho tsepamisa maikutlo libakeng tse fapaneng tsa tlhahiso ea ona, joalo ka ha batho ba etsa ka lintho tse fapaneng tikolohong ea bona.
Sena se ka thusa ka boitsebiso ba litšoantšo, ho sebetsa puo ea tlhaho, le phetolelo ea mochine, har'a tse ling. Marang-rang ka mokhoa o akaretsang oa tlhokomelo e ithuta ho ikhethela hore na ke likarolo life tsa ho kenya tse bohlokoa haholo bakeng sa mosebetsi o fanoeng 'me li tsepamisa lisebelisoa tsa eona tsa komporo likarolong tseo.
Sena se ka ntlafatsa ts'ebetso ea mohlala le ho etsa hore e sebetse hantle mesebetsing e fapaneng.
Boitlhokomelo
Ho itlhokomela ka linako tse ling ho thoeng ke intra-attention, ke mofuta oa mokhoa oa tlhokomelo o sebelisoang mefuteng ea neural network. E nolofalletsa mohlala hore ka tlhaho o tsepamise maikutlo likarolong tse fapa-fapaneng tsa tlhahiso ea oona ntle le tlhoko ea tlhokomelo kapa lisebelisoa tse tsoang ka ntle.
Bakeng sa mesebetsi e kang ts'ebetso ea puo ea tlhaho, moo mohlala o tlamehang ho utloisisa likamano pakeng tsa mantsoe a sa tšoaneng polelong e le ho hlahisa liphello tse nepahetseng, sena se ka thusa.
Ka ho itlhokomela, mohlala o etsa qeto ea hore na para e 'ngoe le e 'ngoe ea li-vector tsa ho kenya e tšoana hakae le e 'ngoe, ebe e lekanya menehelo ea vector e 'ngoe le e' ngoe ho sephetho ho latela lintlha tsena tse tšoanang.
Sena se nolofalletsa mohlala hore o tsepamise maikutlo ka bohona likarolong tsa ho kenya letsoho tse bohlokoa haholo ntle le tlhoko ea ho beha leihlo kantle.
Tlhokomeliso ea lihlooho tse ngata
Tlhokomelo ea lihlooho tse ngata ke mofuta oa mokhoa oa ho ela hloko o sebelisoang mefuteng e meng ea neural network. Ho sebelisa "lihlooho" tse ngata kapa mekhoa ea tlhokomelo, ho nolofalletsa mohlala ho tsepamisa mohopolo likarolong tse 'maloa tsa boitsebiso ba oona hang-hang.
Sena se molemo bakeng sa mesebetsi e kang ts'ebetso ea puo ea tlhaho moo mohlala o tlamehang ho utloisisa likamano lipakeng tsa mantsoe a fapaneng polelong.
Mohlala oa ho ela hloko lihlooho tse ngata o fetola kenyeletso libakeng tse ngata tse fapaneng tsa boemeli pele o sebelisa mokhoa o ikhethileng oa tlhokomelo sebakeng se seng le se seng sa boemeli.
Lintho tse hlahisoang ke mochine o mong le o mong oa tlhokomelo li kopanngoa, ho lumella mohlala ho sebetsana le tlhahisoleseding ho tloha ka maikutlo a mangata. Sena se ka matlafatsa ts'ebetso mesebetsing e fapaneng ha se ntse se etsa hore mohlala o be matla le ho sebetsa hantle.
Mokhoa oa ho Attention o sebelisoa joang bophelong ba sebele?
Mekhoa ea ho ela hloko e sebelisoa mefuteng e mengata ea lefats'e ea 'nete, ho kenyeletsoa ts'ebetso ea puo ea tlhaho, boitsebiso ba litšoantšo, le phetolelo ea mochine.
Mekhoa ea ho ela hloko ts'ebetsong ea puo ea tlhaho e lumella mohlala ho tsepamisa maikutlo mantsoeng a ikhethileng polelong le ho utloisisa likhokahano tsa ona. Sena se ka ba molemo bakeng sa mesebetsi e kang phetolelo ea puo, kakaretso ea mongolo, le maikutlo a maikutlo.
Mekhoa ea ho ela hloko temoho ea litšoantšo e lumella mohlala ho tsepamisa maikutlo linthong tse fapaneng setšoantšong le ho utloisisa likamano tsa bona. Sena se ka thusa ka mesebetsi e kang temoho ea ntho le mantsoe a hlalosang litšoantšo.
Mekhoa ea ho ela hloko phetolelong ea mochini e lumella mohlala ho tsepamisa maikutlo likarolong tse fapaneng tsa polelo e kentsoeng le ho theha polelo e fetoletsoeng e lumellanang hantle le moelelo oa pele.
Ka kakaretso, mekhoa ea ho ela hloko e ka eketsa ts'ebetso ea neural network model mesebetsing e mengata e fapaneng 'me ke karolo ea bohlokoa ea likopo tse ngata tsa sebele tsa lefats'e.
Melemo ea Mokhoa oa ho Tseba
Ho na le melemo e fapaneng ea ho sebelisa mekhoa ea tlhokomelo mefuteng ea neural network. E 'ngoe ea melemo ea bohlokoa ke hore ba ka matlafatsa ts'ebetso ea mohlala mesebetsing e fapaneng.
Mekhoa ea ho ela hloko e thusa mohlala ho tsepamisa maikutlo ka mokhoa o ikhethileng likarolong tse fapaneng tsa ho kenya letsoho, ho o thusa ho utloisisa hamolemo maqhama lipakeng tsa likarolo tse fapaneng tsa tlhahiso le ho hlahisa likhakanyo tse nepahetseng haholoanyane.
Sena se molemo haholo bakeng sa lits'ebetso tse joalo ka puo ea tlhaho le tlhahiso ea litšoantšo, moo mohlala o tlamehang ho utloisisa likhokahano lipakeng tsa mantsoe a fapaneng kapa lintho tse kenyelletsoeng.
Molemo o mong oa mekhoa ea tlhokomelo ke hore e ka ntlafatsa katleho ea mohlala. Mekhoa ea ho ela hloko e ka fokotsa palo ea khomphutha eo mohlala o tlamehang ho e etsa ka ho e lumella ho tsepamisa maikutlo ho likotoana tse amehang haholo tsa ho kenya, ho etsa hore e sebetse hantle le ho potlaka ho sebetsa.
Sena se molemo haholo bakeng sa mesebetsi moo mohlala o tlamehang ho sebetsana le palo e kholo ea lintlha tse kentsoeng, joalo ka phetolelo ea mochini kapa temoho ea litšoantšo.
Qetellong, mekhoa ea tlhokomelo e ka ntlafatsa tlhaloso le kutloisiso ea mehlala ea marang-rang a neural.
Mekhoa ea ho ela hloko, e nolofalletsang mohlala ho tsepamisa maikutlo libakeng tse fapaneng tsa tlhahiso, e ka fana ka temohisiso ea hore na mohlala o etsa likhakanyo joang, tse ka thusang ho utloisisa boitšoaro ba mohlala le ho ntlafatsa tshebetso ea oona.
Ka kakaretso, mekhoa ea tlhokomelo e ka tlisa melemo e mengata 'me ke karolo ea bohlokoa ea mefuta e mengata e sebetsang ea neural network.
Mefokolo ea Mokhoa oa ho Tseba
Leha lits'ebetso tsa tlhokomelo li ka ba molemo haholo, ts'ebeliso ea tsona mefuteng ea neural network e na le meeli e mengata. E 'ngoe ea litšitiso tsa eona tse kholo ke hore li ka ba thata ho li koetlisa.
Mekhoa ea ho ela hloko hangata e hloka mohlala ho ithuta likamano tse rarahaneng lipakeng tsa likarolo tse fapaneng tsa tlhahiso, tse ka bang thata hore mohlala o ithute.
Sena se ka etsa hore lithupelo tse thehiloeng ho tlhokomelo li be thata 'me li ka hloka tšebeliso ea mekhoa e rarahaneng ea ho ntlafatsa le maano a mang.
Bothata bo bong ba lits'ebetso tsa tlhokomelo ke ho rarahana ha bona. Hobane mekhoa ea ho ela hloko e hloka mohlala ho bala ho tšoana lipakeng tsa lintho tse kentsoeng tse fapaneng, li ka ba matla haholo, haholo bakeng sa lisebelisoa tse kholo.
Ka lebaka leo, mehlala e thehiloeng tlhokomelong e ka 'na ea se ke ea sebetsa hantle' me ea lieha ho sebetsa ho feta mefuta e meng ea mefuta ka lebaka leo, e ka 'nang ea e-ba tšitiso lits'ebetsong tse itseng.
Qetellong, mekhoa ea tlhokomelo e ka ba thata ho e utloisisa le ho e utloisisa. Ho ka ba thata ho utloisisa hore na mohlala o thehiloeng tlhokomelong o etsa likhakanyo joang kaha o kenyelletsa litšebelisano tse rarahaneng lipakeng tsa likarolo tse fapaneng tsa tlhahiso.
Sena se ka etsa hore ho lokisa liphoso le ho ntlafatsa ts'ebetso ea mefuta ena ho be thata, e ka bang mpe lits'ebetsong tse ling.
Ka kakaretso, leha mekhoa ea tlhokomelo e fana ka melemo e mengata, e boetse e na le meeli e lokelang ho rarolloa pele e e sebelisa ts'ebelisong e itseng.
fihlela qeto e
Qetellong, mekhoa ea tlhokomelo ke mokhoa o matla oa ho ntlafatsa ts'ebetso ea mohlala oa neural network.
Ba fana ka mohlala bokhoni ba ho tsepamisa maikutlo ho likarolo tse fapaneng tsa ho kenya, tse ka thusang mohlala ho utloisisa likhokahano lipakeng tsa likarolo tsa motsoako le ho hlahisa likhakanyo tse nepahetseng haholoanyane.
Lisebelisoa tse ngata, ho kenyeletsoa phetolelo ea mochini, temoho ea litšoantšo, le ts'ebetso ea puo ea tlhaho, li itšetlehile haholo ka mekhoa ea tlhokomelo.
Leha ho le joalo, ho na le mefokolo e itseng lits'ebetsong tsa tlhokomelo, joalo ka bothata ba koetliso, matla a computational, le bothata ba ho hlalosa.
Ha ho nahanoa hore na ho sebelisoa mekhoa ea tlhokomelo ts'ebetsong e itseng, lithibelo tsena li lokela ho rarolloa.
Ka kakaretso, mekhoa ea ho ela hloko ke karolo ea bohlokoa ea boemo bo tebileng ba ho ithuta, bo nang le bokhoni ba ho eketsa ts'ebetso ea mefuta e mengata e fapaneng ea mekhoa ea marang-rang ea neural.
Leave a Reply