Werrej[Aħbi][Uri]
It-tekniki ta' tagħlim fil-fond magħrufa bħala "netwerks newrali tal-graff" (GNNs) joperaw fid-dominju tal-graff. Dawn in-netwerks dan l-aħħar sabu użu f'varjetà ta 'oqsma, inklużi viżjoni bil-kompjuter, sistemi ta' rakkomandazzjoni, u ottimizzazzjoni kombinatorja, biex insemmu xi ftit.
Barra minn hekk, dawn in-netwerks jistgħu jintużaw biex jirrappreżentaw sistemi kumplessi, inklużi netwerks soċjali, netwerks ta 'interazzjoni proteina-proteina, graffs tal-għarfien, u oħrajn f'diversi oqsma ta' studju.
L-ispazju mhux ewklidju huwa fejn topera d-dejta tal-graff, b'kuntrast ma 'tipi oħra ta' dejta bħal stampi. Sabiex tikklassifika n-nodi, tbassar links, u data cluster, tintuża analiżi tal-graffs.
F'dan l-artikolu, aħna ser neżaminaw il-Grafika Netwerk newrali fid-dettall, it-tipi tiegħu, kif ukoll jipprovdu eżempji prattiċi bl-użu ta 'PyTorch.
Allura, x'inhu Graph?
Graff huwa tip ta 'struttura ta' data magħmula minn nodi u vertiċi. Il-konnessjonijiet bejn in-nodi varji huma determinati mill-vertiċi. Jekk id-direzzjoni hija indikata fin-nodi, il-graff jingħad li huwa dirett; inkella, huwa mhux dirett.
Applikazzjoni tajba tal-graffs qed timmudella r-relazzjonijiet bejn diversi individwi f'a soċjali network. Meta tittratta ċirkostanzi kumplessi, bħal links u skambji, il-graffs huma utli ħafna.
Huma impjegati minn sistemi ta 'rakkomandazzjoni, analiżi semantika, analiżi tan-netwerk soċjali, u rikonoxximent tal-mudelli
. Il-ħolqien ta' soluzzjonijiet ibbażati fuq il-graff huwa qasam ġdid fjamant li joffri fehim intelliġenti ta' data kumplessa u interrelatata.
Netwerk Newrali tal-Graff
In-netwerks newrali tal-grafiċi huma tipi ta 'netwerks newrali speċjalizzati li jistgħu joperaw fuq format ta' data graff. L-inkorporazzjoni tal-grafika u n-netwerks newrali konvoluzzjonali (CNNs) għandhom impatt sinifikanti fuqhom.
In-Netwerks Neurali tal-Graffi huma impjegati f'ħidmiet li jinkludu tbassir ta' nodi, truf, u graffs.
- Is-CNN's jintużaw biex jikklassifikaw l-immaġini. Bl-istess mod, biex titbassar klassi, GNNs huma applikati għall-grid tal-pixel li tirrappreżenta l-istruttura tal-graff.
- Kategorizzazzjoni tat-test bl-użu ta' netwerks newrali ta' rikorrenza. Il-GNNs jintużaw ukoll ma' arkitetturi tal-grafiċi fejn kull kelma fi frażi hija node.
Sabiex jitbassru nodi, truf, jew graffs kompluti, in-netwerks newrali huma użati biex joħolqu GNNs. Tbassir fil-livell tan-nodi, pereżempju, jista' jsolvi problema bħall-iskoperta tal-ispam.
It-tbassir tal-link huwa każ tipiku f'sistemi ta' rakkomandanti u jista' jkun eżempju ta' problema ta' tbassir għaqli.
Grafika Tipi ta' Netwerk Neurali
Jeżistu bosta tipi ta 'netwerks newrali, u Netwerks Newrali Konvoluzzjonali huma preżenti fil-maġġoranza tagħhom. Se nitgħallmu dwar l-aktar GNNs magħrufa f'din il-parti.
Netwerks Konvoluzzjonali tal-Graffi (GCNs)
Huma komparabbli ma' CNNs klassiċi. Takkwista karatteristiċi billi tħares lejn nodi fil-qrib. Il-funzjoni ta 'attivazzjoni tintuża minn GNNs biex iżżid in-non-linearità wara li aggregat vettori tan-nodi u tibgħat l-output lis-saff dens.
Huwa magħmul minn konvoluzzjoni tal-Graff, saff lineari, u funzjoni ta 'attivazzjoni li ma titgħallemx, essenzjalment. Il-GCNs jiġu f'żewġ varjetajiet ewlenin: Netwerks Konvoluzzjonali Spettrali u Netwerks Konvoluzzjonali Spazjali.
Grafika Netwerks Awto-Encoder
Juża encoder biex titgħallem kif tirrappreżenta graphs u decoder biex tipprova tibni mill-ġdid graphs input. Hemm saff ta 'konġestjoni li jgħaqqad l-encoder u d-decoder.
Peress li l-kodifikaturi awtomatiċi jagħmlu xogħol eċċellenti fl-immaniġġjar tal-bilanċ tal-klassi, huma ta 'spiss użati fit-tbassir tal-link.
Netwerks Newrali tal-Grafiki Rikorrenti (RGNNs)
F'netwerks multi-relazzjonali, fejn nodu wieħed għandu relazzjonijiet numerużi, jitgħallem il-mudell ta 'diffużjoni ottimali u jista' jimmaniġġja l-graffs. Sabiex tiżdied l-intoppi u titnaqqas il-parametrizzazzjoni żejda, ir-regolarizzaturi jintużaw f'din il-forma ta 'netwerk newrali tal-graff.
Sabiex jinkisbu riżultati aħjar, l-RGNNs jeħtieġu inqas qawwa ta 'proċessar. Dawn huma utilizzati għall-ġenerazzjoni tat-test, ir-rikonoxximent tad-diskors, it-traduzzjoni awtomatika, id-deskrizzjoni tal-istampa, it-tikkettar tal-vidjow u s-sommarju tat-test.
Netwerks tal-Grafiki Neurali Gated (GGNNs)
Meta niġu għall-kompiti dipendenti fit-tul, huma jaqbżu l-RGNNs. Billi jinkludu node, edge, u xtiebi temporali fuq dipendenzi fit-tul, in-netwerks newrali tal-graff gated itejbu n-netwerks newrali tal-graff rikorrenti.
Il-gradi jiffunzjonaw b'mod simili għal Gated Recurrent Units (GRUs) peress li huma użati biex ifakkar u jinsew id-dejta f'diversi stadji.
Implimentazzjoni ta 'Graph Neural Network bl-użu ta' Pytorch
Il-kwistjoni speċifika li ser niffokaw fuqha hija kwistjoni ta' kategorizzazzjoni ta' nodi komuni. Għandna netwerk soċjali mdaqqsa msejjaħ musae-github, li ġie kkompilat mill-API miftuħa, għall-iżviluppaturi GitHub.
It-truf juru r-relazzjonijiet ta 'segwitu reċiproku bejn in-nodi, li jirrappreżentaw lill-iżviluppaturi (utenti tal-pjattaforma) li ħadu sehem f'mill-inqas 10 repożitorji (innota li l-kelma reċiproka tindika relazzjoni mhux diretta).
Ibbażat fuq il-post tan-node, repożitorji bi stilla, min iħaddem, u l-indirizz elettroniku, il-karatteristiċi tan-nodu jiġu rkuprati. Tbassir jekk utent GitHub huwiex żviluppatur tal-web jew a żviluppatur tat-tagħlim tal-magni huwa l-kompitu tagħna.
It-titlu tax-xogħol ta' kull utent serva bħala l-bażi għal din il-funzjoni ta' mira.
Installazzjoni ta' PyTorch
Biex tibda, l-ewwel għandna bżonn ninstallaw PyTorch. Tista 'tikkonfiguraha skond il-magna tiegħek minn hawn. Hawn tiegħi:
Moduli li jimportaw
Issa, aħna jimportaw il-moduli meħtieġa
L-importazzjoni u l-esplorazzjoni tad-data
Il-pass li ġej huwa li taqra d-dejta u tpinġi l-ewwel ħames ringieli u l-aħħar ħames ringieli mill-fajl tat-tikketti.
Tnejn biss mill-erba 'kolonni—l-id tan-node (jiġifieri, l-utent) u ml_target, li hija 1 jekk l-utent huwa membru tal-komunità tat-tagħlim tal-magni u 0 mod ieħor—huma rilevanti għalina f'din is-sitwazzjoni.
Minħabba li hemm biss żewġ klassijiet, issa nistgħu nkunu ċerti li l-kompitu tagħna huwa kwistjoni ta 'klassifikazzjoni binarja.
Bħala riżultat ta 'żbilanċi sinifikanti tal-klassi, il-klassifikatur jista' biss jassumi liema klassi hija l-maġġoranza aktar milli jevalwa l-klassi sottorappreżentata, u jagħmel il-bilanċ tal-klassi fattur kruċjali ieħor li għandu jiġi kkunsidrat.
It-tpinġija tal-istogramma (distribuzzjoni tal-frekwenza) tiżvela xi żbilanċ minħabba li hemm inqas klassijiet mit-tagħlim tal-magni (tikketta=1) milli mill-klassijiet l-oħra.
Kodifikazzjoni tal-karatteristiċi
Il-karatteristiċi tan-nodi jinfurmawna dwar il-karatteristika li hija assoċjata ma 'kull nodu. Billi nimplimentaw il-metodu tagħna biex nikkodifikaw id-dejta, nistgħu istantanjament nikkodifikaw dawk il-karatteristiċi.
Irridu nużaw dan il-metodu biex inkapsulaw parti żgħira tan-netwerk (jiġifieri, 60 nodi) għall-wiri. Il-kodiċi huwa elenkat hawn.
Disinn u wiri ta' graffs
Aħna ser tutilizza torċ ġeometrika. data biex nibnu l-graff tagħna.
Biex timmudella graff wieħed bi proprjetajiet differenti (mhux obbligatorji), tintuża data li hija oġġett Python sempliċi. Billi nużaw din il-klassi u l-attributi li ġejjin—li kollha huma tensuri tat-torċa—se noħolqu l-oġġett tal-graff tagħna.
Il-forma tal-valur x, li se jiġi allokat għall-karatteristiċi tan-nodi kodifikati, hija [numru ta' nodi, numru ta' karatteristiċi].
Il-forma ta 'y hija [numru ta' nodi], u se tiġi applikata għat-tikketti tan-nodi.
indiċi tat-tarf: Sabiex niddeskrivu graff mhux dirett, għandna bżonn nespandu l-indiċijiet tat-tarf oriġinali sabiex jippermettu l-eżistenza ta 'żewġ truf diretti distinti li jgħaqqdu l-istess żewġ nodi iżda jippuntaw f'direzzjonijiet opposti.
Par ta 'truf, wieħed jipponta min-node 100 sa 200 u l-ieħor minn 200 sa 100, huwa meħtieġ, pereżempju, bejn in-nodi 100 u 200. Jekk l-indiċijiet tat-tarf huma pprovduti, allura dan huwa kif il-graff mhux dirett jista' jiġi rappreżentat. [2,2*numru ta' truf oriġinali] se tkun il-forma tat-tensor.
Aħna noħolqu l-metodu tal-grafika tagħna biex turi graff. L-ewwel pass huwa li tittrasforma n-netwerk omoġenju tagħna f'graff NetworkX, li mbagħad jista 'jinġibed bl-użu ta' NetworkX.draw.
Agħmel il-mudell GNN tagħna u tħarreġha
Nibdew billi nikkodifikaw is-sett kollu ta 'data billi tesegwixxi d-data ta' kodifikazzjoni b'dawl=Falz u mbagħad insejħu graff tal-kostruzzjoni b'dawl=Falz biex nibnu l-graff kollu. Mhux se nippruvaw niġbdu din il-grafika kbira għax qed nippreżumi li qed tuża magna lokali li għandha riżorsi limitati.
Il-maskri, li huma vettori binarji li jidentifikaw liema nodi jappartjenu għal kull maskra speċifika bl-użu taċ-ċifri 0 u 1, jistgħu jintużaw biex jinnotifikaw lill-fażi tat-taħriġ liema nodi għandhom jiġu inklużi waqt it-taħriġ u biex jgħidu lill-fażi ta 'inferenza liema nodi huma d-dejta tat-test. Torċa ġeometrika.transforms.
Qasma fil-livell ta 'node tista' tiġi miżjuda billi tuża l-maskra tat-taħriġ, il-maskra val, u l-proprjetajiet tal-maskra tat-test tal-klassi AddTrainValTestMask, li tista 'tintuża biex tieħu graff u tippermettilna nispeċifikaw kif irridu li jinbnew il-maskri tagħna.
Aħna biss nutilizzaw 10% għat-taħriġ u nużaw 60% tad-dejta bħala s-sett tat-test filwaqt li nużaw 30% bħala s-sett ta 'validazzjoni.
Issa, se nistammu żewġ saffi GCNConv, li l-ewwel wieħed għandu għadd ta' karatteristiċi ta' output ta' dak huwa ugwali għan-numru ta 'karatteristiċi fil-graff tagħna bħala karatteristiċi ta' input.
Fit-tieni saff, li fih nodi tal-ħruġ ugwali għan-numru tal-klassijiet tagħna, aħna napplikaw funzjoni ta 'attivazzjoni relu u nipprovdu l-karatteristiċi latenti.
L-indiċi tat-tarf u l-piż tat-tarf huma tnejn mill-ħafna għażliet x li GCNConv jista 'jaċċetta fil-funzjoni 'l quddiem, iżda fis-sitwazzjoni tagħna, għandna bżonn biss l-ewwel żewġ varjabbli.
Minkejja l-fatt li l-mudell tagħna se jkun jista 'jbassar il-klassi ta' kull node fil-graff, għad għandna bżonn niddeterminaw l-eżattezza u t-telf għal kull sett separatament skont il-fażi.
Pereżempju, waqt it-taħriġ, irridu nużaw biss is-sett tat-taħriġ biex niddeterminaw l-eżattezza u t-telf tat-taħriġ, u għalhekk dan huwa fejn il-maskri tagħna jkunu utli.
Biex tikkalkula t-telf u l-eżattezza xierqa, aħna ser niddefinixxu l-funzjonijiet ta 'telf masked u preċiżjoni mgħottija.
It-taħriġ tal-mudell
Issa li ddefinijna l-iskop tat-taħriġ li għalih se tintuża t-torċa. Adam huwa ottimizzatur kaptan.
Aħna ser inmexxu t-taħriġ għal ċertu numru ta 'epoki filwaqt li nżommu għajnejk fuq l-eżattezza tal-validazzjoni.
Nippjanaw ukoll it-telf u l-eżattezza tat-taħriġ matul epoki differenti.
Żvantaġġi ta 'Graph Neural Network
L-użu tal-GNNs għandu ftit żvantaġġi. Meta nimpjegaw GNNa u kif intejbu l-prestazzjoni tal-mudelli tat-tagħlim tal-magni tagħna t-tnejn ikunu ċari għalina wara li jkollna fehim aħjar tagħhom.
- Filwaqt li l-GNNs huma netwerks baxxi, tipikament bi tliet saffi, il-biċċa l-kbira tan-netwerks newrali jistgħu jmorru fil-fond biex itejbu l-prestazzjoni. Aħna ma nistgħux inwettqu l-aktar avvanzati fuq settijiet ta 'dejta kbar minħabba din il-limitazzjoni.
- Huwa aktar diffiċli li tħarreġ mudell fuq graphs, peress li d-dinamika strutturali tagħhom hija dinamika.
- Minħabba l-ispejjeż komputazzjonali għoljin ta 'dawn in-netwerks, l-iskala tal-mudell għall-produzzjoni tippreżenta sfidi. L-iskala tal-GNNs għall-produzzjoni se tkun ta’ sfida jekk l-istruttura tal-graff tiegħek tkun enormi u kkumplikata.
konklużjoni
Matul l-aħħar ftit snin, il-GNNs żviluppaw f'għodod b'saħħithom u effettivi għal kwistjonijiet ta 'tagħlim tal-magni fid-dominju tal-graff. Ħarsa ġenerali fundamentali tan-netwerks newrali tal-grafiċi tingħata f'dan l-artikolu.
Wara dan, tista 'tibda toħloq is-sett tad-dejta li se jintuża biex iħarreġ u jittestja l-mudell. Biex tifhem kif tiffunzjona u x'hi kapaċi tagħmel, tista' wkoll tmur ħafna aktar 'il bogħod u tħarreġha billi tuża tip differenti ta' dataset.
Kodifikazzjoni kuntenta!
Ħalli Irrispondi