Bab lan Paragraf[Singidaken][Tampilake]
Kacerdhasan gawéyan ngowahi cara kita ngrancang lan ngasilake konten. Iki uga mengaruhi cara wong nemokake materi, saka apa sing digoleki ing Google nganti apa sing ditonton ing Netflix.
Sing luwih penting, kanggo pemasar konten, iki ngidini tim tuwuh kanthi ngotomatisasi sawetara jinis konten konten lan nganalisa materi saiki kanggo nambah apa sing sampeyan kirimake lan luwih cocog karo maksud pelanggan.
Ana sawetara bêsik obah ing AI lan learning machine pangolahan. Apa sampeyan wis nate takon karo asisten cerdas (kayata Siri utawa Alexa)?
Tanggepan kasebut paling mungkin "ya," sing nuduhake sampeyan wis kenal karo pangolahan basa alami ing sawetara level (NLP).
Alan Turing iku jeneng sing saben teknisi wis krungu saka. Tes Turing sing kondhang pisanan digawe ing taun 1950 dening ahli matematika lan ilmuwan komputer kondhang Alan Turing.
Dheweke ngaku ing karyane Mesin Komputer lan Intelijen yen mesin iku artificially intelligent yen bisa ngomong karo wong lan ngapusi wong menyang mikir dheweke chatting karo manungsa.
Iki dadi basis kanggo teknologi NLP. Sistem NLP sing efisien bakal bisa nangkep pitakon lan kontekse, nganalisa, milih tumindak sing paling apik, lan mangsuli nganggo basa sing bakal dingerteni pangguna.
Standar donya kanggo ngrampungake tugas ing data kalebu intelijen buatan lan teknik sinau mesin. Nanging apa bab basa manungsa?
Bidang natural language generation (NLG), natural language understanding (NLU), lan natural language processing (NLP) kabeh wis entuk akeh perhatian ing taun-taun pungkasan.
Nanging amarga telu kasebut duwe tanggung jawab sing beda-beda, mula penting kanggo ngindhari kebingungan. Akeh sing percaya yen dheweke ngerti kabeh gagasan kasebut.
Amarga basa alam wis ana ing jeneng, kabeh sing ditindakake yaiku ngolah, ngerteni, lan ngasilake. Kita mutusake manawa bisa uga migunani yen luwih jero, sanajan sepira asring kita nemoni frasa kasebut kanthi ganti.
Akibaté, ayo miwiti kanthi nliti saben wong.
Apa Pangolahan Basa Alam?
Sembarang basa alam dianggep minangka teks bebas saka komputer. Dadi nalika ngetik data, ora ana tembung kunci sing tetep ing panggonan sing tetep. Saliyane ora terstruktur, basa alam uga nduweni macem-macem pilihan ekspresi. Njupuk telung frase iki minangka ilustrasi:
- Cuacane piye saiki?
- Apa dina iki ana kemungkinan udan?
- Apa dina iki aku kudu nggawa payung?
Saben pratelan kasebut takon babagan prediksi cuaca kanggo dina iki, sing dadi denominator umum.
Minangka manungsa, kita meh langsung bisa ndeleng sambungan dhasar kasebut lan tumindak kanthi bener.
Nanging, iki minangka tantangan kanggo komputer wiwit saben algoritma mbutuhake input kanggo tindakake format tartamtu, lan kabeh telung statements duwe struktur lan format beda.
Lan bakal dadi angel banget yen kita nyoba ngodhe aturan kanggo saben kombinasi tembung ing saben basa alami kanggo mbantu komputer ngerti. NLP langkah menyang gambar ing kahanan iki.
Pangolahan basa alami (NLP), sing nyoba model basa manungsa alam data, asale saka linguistik komputasi.
Kajaba iku, NLP konsentrasi nggunakake pembelajaran mesin lan pendekatan sinau jero nalika ngolah input manungsa sing akeh. Iki asring digunakake ing filsafat, linguistik, ilmu komputer, sistem informasi, lan komunikasi.
Linguistik komputasi, analisis sintaksis, pangenalan wicara, terjemahan mesin, lan subbidang NLP liyane mung sawetara. Pangolahan basa alami ngowahi materi sing ora terstruktur dadi format sing cocog utawa teks terstruktur supaya bisa digunakake.
Kanggo mangertos apa tegese pangguna nalika ngomong apa-apa, iku mbangun algoritma lan nglatih model nggunakake data sing akeh banget.
Makaryakke kanthi nglumpukake entitas sing beda-beda kanggo identifikasi (dikenal minangka pangenalan entitas) lan kanthi ngenali pola tembung. Teknik lemmatisasi, tokenisasi, lan stemming digunakake kanggo nemokake pola tembung.
Ekstraksi informasi, pangenalan swara, tag part-of-speech, lan parsing mung sawetara proyek sing ditindakake NLP.
Ing donya nyata, NLP digunakake kanggo tugas kalebu ontologi populating, modeling basa, analisis sentimen, ekstraksi topik, pangenalan entitas sing dijenengi, tag part-of-speech, ekstraksi sambungan, terjemahan mesin, lan panjawab pitakonan otomatis.
Apa Pangerten Basa Alam?
Bagean cilik saka pangolahan basa alami yaiku pangerten basa alami. Sawise basa wis disederhanakake, piranti lunak komputer kudu ngerti, nyimpulake makna, lan bisa uga nindakake analisis sentimen.
Teks sing padha bisa duwe sawetara makna, sawetara frasa bisa duwe makna sing padha, utawa makna bisa owah gumantung saka kahanan.
Algoritma NLU nggunakake cara komputasi kanggo ngolah teks saka akeh sumber supaya bisa mangerteni teks input, sing bisa dadi dhasar kaya ngerti apa tegese frasa utawa rumit kaya interpretasi obrolan antarane rong individu.
Teks sampeyan diowahi dadi format sing bisa diwaca mesin. Akibaté, NLU nggunakake teknik komputasi kanggo decipher teks lan ngasilake asil.
NLU bisa diterapake ing macem-macem kahanan, kayata ngerteni obrolan antarane wong loro, nemtokake perasaane wong babagan kahanan tartamtu, lan kahanan liyane sing padha.
Khususé, ana papat tingkat basa kanggo nangkep NLU:
- Sintaksis: Iki minangka proses kanggo nemtokake manawa grammar digunakake kanthi tepat lan carane ukara digabungake. Contone, konteks lan gramatika ukara kudu digatekake kanggo nemtokake manawa ana akal.
- Semantik: Nalika kita nliti teks, makna kontekstual kayata tenor kriya utawa pilihan tembung ing antarane wong loro. Informasi iki uga bisa digunakake dening algoritma NLU kanggo nyedhiyakake asil saka skenario apa wae sing bisa digunakake kanthi tembung sing padha.
- Disambiguasi pangertèn tembung: Iki minangka proses kanggo ngerteni apa tegese saben tembung ing frasa. Gumantung ing konteks, menehi istilah makna.
- Analisis pragmatik: Iku mbantu kanggo mangerteni setelan lan tujuan karya.
NLU pinunjul kanggo ilmuwan data amarga, tanpa iku, padha lack kemampuan kanggo extract makna saka teknologi kaya chatbots lan piranti lunak pangenalan wicara.
Sawise kabeh, wong wis biasa ngobrol karo bot sing bisa digunakake kanggo wicara; komputer, ing tangan liyane, ora duwe kemewahan iki ease.
Kajaba iku, NLU bisa ngenali emosi lan profanities ing wicara persis sampeyan bisa. Iki nuduhake manawa ilmuwan data bisa migunani kanggo mriksa macem-macem format konten lan nggolongake teks nggunakake kemampuan NLU.
NLG dianggo ing oposisi langsung kanggo pangerten basa alam, kang yakuwi kanggo ngatur lan nggawe pangertèn saka data unstructured supaya Ngonversi menyang data useable. Sabanjure, ayo nemtokake NLG lan njelajah cara para ilmuwan data nggunakake ing kasus panggunaan praktis.
Apa Generasi Basa Alam?
Pangolahan basa alami uga kalebu produksi basa alami. Komputer bisa nulis nggunakake produksi basa alami, nanging pangerten basa alam fokus ing pemahaman maca.
Kanthi nggunakake input data tartamtu, NLG nggawe jawaban sing ditulis ing basa manungsa. Layanan text-to-speech uga bisa digunakake kanggo ngowahi teks iki dadi wicara.
Nalika ilmuwan data nyedhiyakake sistem NLG kanthi data, sistem kasebut nganalisa data kanggo ngasilake narasi sing bisa dingerteni liwat dialog.
Intine, NLG ngowahi set data dadi basa sing kita ngerti, sing diarani basa alami. Supaya bisa nyedhiyakake output sing ditliti kanthi teliti lan akurat nganti maksimal, NLG dianugerahi pengalaman manungsa sing nyata.
Cara iki, sing bisa ditelusuri maneh saka sawetara tulisan Alan Turing sing wis kita rembugan, penting banget kanggo ngyakinake manungsa yen komputer ngobrol karo wong-wong mau kanthi cara sing wajar lan alami, tanpa dipikirake.
NLG bisa digunakake dening organisasi kanggo ngasilake narasi obrolan sing bisa digunakake dening kabeh wong ing perusahaan.
NLG, sing paling kerep digunakake kanggo dashboard intelijen bisnis, produksi konten otomatis, lan analisis data sing luwih efektif, bisa dadi bantuan gedhe kanggo profesional sing kerja ing divisi kaya marketing, sumber daya manusia, sales, lan teknologi informasi.
Apa peran NLU lan NGL ing NLP?
NLP bisa digunakake dening ilmuwan data lan Kacerdhasan gawéyan profesional kanggo ngowahi set data sing ora terstruktur dadi bentuk sing bisa diterjemahake komputer menyang wicara lan teks - malah bisa mbangun balesan sing cocog kontekstual kanggo pitakonan sing sampeyan takon (mikir maneh menyang asisten virtual kaya Siri lan Alexa).
Nanging ing endi NLU lan NLG pas karo NLP?
Sanajan kabeh padha duwe peran sing beda-beda, kabeh telung disiplin kasebut duwe siji sing padha: kabeh babagan basa alami. Dadi, apa bedane antarane telu kasebut?
Coba kaya mangkene: dene NLU duwe tujuan kanggo ngerti basa sing digunakake manungsa, NLP ngenali data sing paling penting lan ngatur dadi teks lan nomer.
Malah bisa nulungi komunikasi ndhelik sing mbebayani. NLG, ing tangan liyane, nggunakake koleksi data unstructured kanggo gawé crita sing kita bisa kokwaca minangka migunani.
Masa depan NLP
Sanajan NLP duwe akeh panggunaan komersial saiki, akeh bisnis sing angel nggunakake kanthi wiyar.
Iki biasane amarga masalah ing ngisor iki: Salah sawijining masalah sing asring mengaruhi organisasi yaiku kakehan informasi, sing ndadekake dheweke angel ngenali set data sing penting ing tengah-tengah segara data sing ora ana pungkasane.
Kajaba iku, supaya bisa nggunakake NLP kanthi efektif, organisasi asring mbutuhake metode lan peralatan tartamtu sing bisa ngekstrak informasi sing penting saka data.
Paling ora, nanging paling ora, NLP nuduhake manawa perusahaan mbutuhake mesin canggih yen pengin nangani lan nyimpen koleksi data saka macem-macem sumber data nggunakake NLP.
Sanajan ana alangan supaya akeh perusahaan ora nggunakake NLP, katon manawa organisasi sing padha iki pungkasane bakal ngrampungake NLP, NLU, lan NLG supaya robot-robote bisa nyengkuyung interaksi lan diskusi sing realistis, kaya manungsa.
Semantik lan sintaksis minangka rong subbidang riset NLP sing entuk akeh perhatian.
kesimpulan
Njupuk apa kita wis rembugan nganti saiki menyang wawasan: Nemtokake makna kanggo swara lan nulis, NLU maca lan mangertos basa alam, lan NLG develops lan output basa anyar karo sepindah saka mesin.
Basa digunakake dening NLU kanggo ngekstrak fakta, dene NLG nggunakake wawasan sing dipikolehi NLU kanggo ngasilake basa alami.
Awas kanggo pemain utama ing industri IT kaya Apple, Google, lan Amazon kanggo terus nandur modal ing NLP supaya bisa ngembangake sistem sing niru prilaku manungsa.
Ninggalake a Reply