कृत्रिम बुद्धि हामीले योजना बनाउने र सामग्री उत्पन्न गर्ने तरिकालाई परिवर्तन गर्दैछ। यसले मानिसहरूले Google मा के खोज्नेदेखि लिएर नेटफ्लिक्समा के हेर्छन् भन्ने सामग्री कसरी पत्ता लगाउँछन् भन्ने कुरालाई पनि असर गर्छ।
अझ महत्त्वपूर्ण रूपमा, सामग्री मार्केटरहरूका लागि, यसले टोलीहरूलाई केही प्रकारको सामग्री उत्पादन स्वचालित गरेर र तपाईंले डेलिभर गरिरहनु भएको कुरा सुधार गर्न र ग्राहकको उद्देश्यलाई राम्रोसँग मेल खाने हालको सामग्रीको विश्लेषण गरेर विकास गर्न सक्षम बनाउँछ।
एआई र मा धेरै गतिशील टुक्राहरू छन् मेशिन सिकाइ प्रक्रियाहरू। के तपाईंले कहिल्यै स्मार्ट सहायक (जस्तै सिरी वा एलेक्सा) लाई प्रश्न सोध्नुभएको छ?
प्रतिक्रिया सम्भवतः "हो" हो, जसले सुझाव दिन्छ कि तपाइँ पहिले नै केहि स्तर (NLP) मा प्राकृतिक भाषा प्रशोधन संग परिचित हुनुहुन्छ।
एलन Turing हरेक प्राविधिकले सुनेको नाम हो। प्रख्यात ट्युरिङ टेस्ट पहिलो पटक 1950 मा प्रख्यात गणितज्ञ र कम्प्युटर वैज्ञानिक एलन ट्युरिङ द्वारा डिजाइन गरिएको थियो।
उनले आफ्नो काममा दाबी गरेका छन् कम्प्युटिंग मेसिनरी र बुद्धिमत्ता कि एक मेसिन कृत्रिम रूपमा बौद्धिक छ यदि यसले एक व्यक्तिसँग कुराकानी गर्न सक्छ र उसलाई मान्छेसँग च्याट गरिरहेको छ भन्ने सोच्न धोका दिन्छ।
यसले NLP प्रविधिको लागि आधारको रूपमा सेवा गर्यो। एक कुशल NLP प्रणालीले प्रश्न र यसको सन्दर्भ बुझ्न, विश्लेषण गर्न, कार्यको उत्तम पाठ्यक्रम छनौट गर्न र प्रयोगकर्ताले बुझ्ने भाषामा जवाफ दिन सक्षम हुनेछ।
डाटामा कार्यहरू पूरा गर्ने विश्वव्यापी मापदण्डहरूमा कृत्रिम बुद्धिमत्ता र मेसिन लर्निङ प्रविधिहरू समावेश छन्। तर मानव भाषाको बारेमा के हुन्छ?
प्राकृतिक भाषा उत्पादन (NLG), प्राकृतिक भाषा बुझाइ (NLU), र प्राकृतिक भाषा प्रशोधन (NLP) को क्षेत्रहरू हालका वर्षहरूमा सबैले धेरै ध्यान प्राप्त गरेका छन्।
तर तीनजना फरक-फरक जिम्मेवारीहरू भएकाले भ्रमबाट बच्न महत्त्वपूर्ण छ। धेरैले विश्वास गर्छन् कि उनीहरूले यी विचारहरूलाई पूर्ण रूपमा बुझ्छन्।
प्राकृतिक भाषा पहिले नै नामहरूमा अवस्थित भएकोले, सबैले यसलाई प्रशोधन गर्ने, बुझ्ने र उत्पादन गर्ने हो। हामीले निर्णय गर्यौं कि यो अलिकति गहिराइमा जान मद्दतकारी हुन सक्छ, यद्यपि, हामीले यी वाक्यांशहरू एक-अर्काको रूपमा प्रयोग गर्ने कत्तिको बारम्बार सामना गर्छौं।
फलस्वरूप, ती प्रत्येकलाई नजिकबाट हेरेर सुरु गरौं।
प्राकृतिक भाषा प्रशोधन के हो?
कुनै पनि प्राकृतिक भाषा कम्प्यूटर द्वारा मुक्त-फार्म पाठ मानिन्छ। यसले पछ्याउँछ कि डाटा प्रविष्ट गर्दा, निश्चित स्थानहरूमा कुनै निश्चित कुञ्जी शब्दहरू छैनन्। असंरचित हुनुको अतिरिक्त, प्राकृतिक भाषामा विभिन्न अभिव्यक्ति विकल्पहरू पनि छन्। यी तीन वाक्यांशहरूलाई दृष्टान्तको रूपमा लिनुहोस्:
- कस्तो छ आजको मौसम ?
- के आज पानी पर्ने सम्भावना छ?
- के आज मैले मेरो छाता ल्याउनु पर्छ?
यी कथनहरू मध्ये प्रत्येकले आजको लागि मौसम पूर्वानुमानको बारेमा सोधिरहेको छ, जुन सामान्य भाजक हो।
मानिसको रूपमा, हामी लगभग तुरुन्तै यी आधारभूत जडानहरू देख्न सक्छौं र उचित रूपमा कार्य गर्न सक्छौं।
यद्यपि यो एक हो कम्प्युटर लागि चुनौती किनकि प्रत्येक एल्गोरिथ्मलाई निर्दिष्ट ढाँचा पालना गर्न इनपुट चाहिन्छ, र सबै तीन कथनहरू फरक संरचना र ढाँचाहरू छन्।
र यदि हामीले कम्प्युटरलाई बुझ्न मद्दत गर्न प्रत्येक प्राकृतिक भाषामा प्रत्येक र प्रत्येक शब्द संयोजनको लागि नियमहरू कोडिफाइ गर्ने प्रयास गर्यौं भने चीजहरू चाँडै नै गाह्रो हुनेछ। NLP यस अवस्थामा चित्रमा कदम चाल्छ।
प्राकृतिक भाषा प्रशोधन (NLP), जुन प्रयास गर्दछ नमूना प्राकृतिक मानव भाषा डाटा, कम्प्यूटेशनल भाषाविज्ञान बाट उत्पन्न।
थप रूपमा, NLP ले मानव इनपुटको महत्त्वपूर्ण मात्रा प्रशोधन गर्दा मेसिन लर्निंग र गहिरो शिक्षा दृष्टिकोणहरू प्रयोग गर्नमा ध्यान केन्द्रित गर्दछ। यो प्राय: दर्शन, भाषाविज्ञान, कम्प्युटर विज्ञान, सूचना प्रणाली, र संचार मा कार्यरत छ।
कम्प्युटेशनल भाषाविज्ञान, वाक्यविन्यास विश्लेषण, वाक् पहिचान, मेसिन अनुवाद, र NLP को अन्य उपक्षेत्रहरू मात्र केही छन्। प्राकृतिक भाषा प्रशोधनले काम गर्नको लागि असंरचित सामग्रीलाई उपयुक्त ढाँचा वा संरचित पाठमा रूपान्तरण गर्दछ।
प्रयोगकर्ताले केहि बोल्दा के मतलब छ भन्ने बुझ्नको लागि, यसले एल्गोरिदम बनाउँछ र डेटाको विशाल मात्रा प्रयोग गरेर मोडेललाई तालिम दिन्छ।
यो पहिचानको लागि अलग-अलग संस्थाहरूलाई समूहबद्ध गरेर र शब्द ढाँचाहरू पहिचान गरेर सञ्चालन गर्दछ। शब्द ढाँचाहरू फेला पार्न Lemmatization, tokenization, र स्टेमिङ प्रविधिहरू प्रयोग गरिन्छ।
सूचना निकासी, आवाज पहिचान, भाग-अफ-स्पीच ट्यागिङ, र पार्सिङ NLP ले गर्ने कामहरू मध्ये केही मात्र हुन्।
वास्तविक संसारमा, एनएलपीलाई ओन्टोलजी पोप्युलेटिङ, भाषा मोडलिङ, लगायतका कार्यहरूको लागि प्रयोग गरिन्छ। भावनात्मक विश्लेषण, विषय निकासी, नामित इकाई पहिचान, भाग-अफ-स्पीच ट्यागिङ, जडान निकासी, मेसिन अनुवाद, र स्वचालित प्रश्न उत्तर।
प्राकृतिक भाषा बुझाइ के हो?
प्राकृतिक भाषा प्रशोधनको एक सानो भाग प्राकृतिक भाषा बुझाइ हो। भाषा सरलीकृत गरिसकेपछि, कम्प्युटर सफ्टवेयरले बुझ्न, अर्थ निकाल्न, र सम्भवतः भावना विश्लेषण पनि गर्नुपर्दछ।
एउटै पाठका धेरै अर्थहरू हुन सक्छन्, धेरै वाक्यांशहरूको एउटै अर्थ हुन सक्छ, वा अर्थ परिस्थिति अनुसार परिवर्तन हुन सक्छ।
NLU एल्गोरिदमहरूले इनपुट पाठ बुझ्नको लागि धेरै स्रोतहरूबाट पाठ प्रशोधन गर्न कम्प्युटेशनल विधिहरू प्रयोग गर्दछ, जुन वाक्यांशको अर्थ के हो भनेर जान्न जत्तिकै आधारभूत हुन सक्छ वा दुई व्यक्तिहरू बीचको कुराकानीको व्याख्या गर्न जत्तिकै जटिल हुन सक्छ।
तपाईंको पाठ मेसिन-पढ्ने ढाँचामा रूपान्तरण गरिएको छ। नतिजाको रूपमा, NLU ले पाठ बुझ्न र परिणाम उत्पन्न गर्न कम्प्युटेशनल प्रविधिहरू प्रयोग गर्दछ।
NLU विभिन्न परिस्थितिहरूमा लागू गर्न सकिन्छ, जस्तै दुई व्यक्तिहरू बीचको कुराकानी बुझ्न, कुनै निश्चित परिस्थितिको बारेमा कसैलाई कस्तो लाग्छ निर्धारण गर्ने, र यस्तै प्रकृतिका अन्य परिस्थितिहरू।
विशेष गरी, NLU बुझ्नको लागि चार भाषा स्तरहरू छन्:
- सिन्ट्याक्स: यो व्याकरणलाई उचित रूपमा प्रयोग गरिँदै छ र कसरी वाक्यहरू सँगै राखिएको छ भनेर निर्धारण गर्ने प्रक्रिया हो। उदाहरणका लागि, वाक्यको सन्दर्भ र व्याकरणलाई ध्यानमा राख्नु पर्छ यदि यो अर्थ बनाउँछ भने निर्धारण गर्न।
- सिमान्टिक्स: जब हामी पाठको जाँच गर्छौं, सान्दर्भिक अर्थ बारीकनहरू जस्तै क्रिया टेनर वा दुई व्यक्तिहरू बीच शब्द छनोट हुन्छ। जानकारीका यी बिट्सलाई NLU एल्गोरिदमले पनि प्रयोग गर्न सकिन्छ कुनै पनि परिदृश्यबाट परिणामहरू प्रदान गर्न जसमा एउटै बोल्ने शब्द प्रयोग गर्न सकिन्छ।
- शब्द अर्थ डिसम्बिग्युएशन: यो वाक्यांशमा प्रत्येक शब्दको अर्थ के हो भनेर पत्ता लगाउने प्रक्रिया हो। सन्दर्भमा निर्भर गर्दै, यसले शब्दको अर्थ दिन्छ।
- व्यावहारिक विश्लेषण: यसले कामको सेटिङ र उद्देश्य बुझ्न मद्दत गर्दछ।
NLU को लागि महत्त्वपूर्ण छ डाटा वैज्ञानिकहरू किनभने, यो बिना, तिनीहरूसँग च्याटबटहरू र वाक् पहिचान सफ्टवेयर जस्ता प्रविधिहरूबाट अर्थ निकाल्ने क्षमताको कमी छ।
आखिर, मानिसहरूलाई बोली-सक्षम बोटसँग कुराकानी गर्न प्रयोग गरिन्छ; कम्प्यूटर, अर्कोतर्फ, सजिलो को यो लक्जरी छैन।
थप रूपमा, NLU ले भाषणमा भावना र गालीगलौजहरूलाई तपाईंले ठीक रूपमा चिन्न सक्छ। यसले संकेत गर्दछ कि डाटा वैज्ञानिकहरूले उपयोगी रूपमा विभिन्न सामग्री ढाँचाहरू जाँच गर्न सक्छन् र NLU को क्षमताहरू प्रयोग गरेर पाठ वर्गीकृत गर्न सक्छन्।
NLG प्राकृतिक भाषा बुझाइको सीधा विरोधमा काम गर्दछ, जसको उद्देश्य अव्यवस्थित डाटालाई प्रयोगयोग्य डाटामा रूपान्तरण गर्नको लागि व्यवस्थित गर्ने र बुझ्ने हो। अर्को, NLG लाई परिभाषित गरौं र डेटा वैज्ञानिकहरूले यसलाई व्यावहारिक प्रयोगमा प्रयोग गर्ने तरिकाहरू अन्वेषण गरौं।
प्राकृतिक भाषा उत्पादन भनेको के हो?
प्राकृतिक भाषा प्रशोधनमा प्राकृतिक भाषा उत्पादन पनि समावेश छ। कम्प्यूटरले प्राकृतिक भाषा उत्पादन प्रयोग गरेर लेख्न सक्छ, तर प्राकृतिक भाषा बुझाइले पढ्ने समझमा ध्यान केन्द्रित गर्दछ।
निश्चित डाटा इनपुट प्रयोग गरेर, NLG ले मानव भाषामा लिखित जवाफ सिर्जना गर्दछ। पाठ-देखि-वाक् सेवाहरू यो पाठलाई भाषणमा रूपान्तरण गर्न पनि प्रयोग गर्न सकिन्छ।
जब डाटा वैज्ञानिकहरूले डाटाको साथ NLG प्रणाली आपूर्ति गर्छन्, प्रणालीले संवादको माध्यमबाट बुझ्न सकिने कथाहरू उत्पादन गर्न डाटाको विश्लेषण गर्दछ।
संक्षेपमा, NLG ले डेटा सेटहरूलाई हामी दुवैले बुझेको भाषामा रूपान्तरण गर्छ, जसलाई प्राकृतिक भाषा भनिन्छ। ताकि यसले आउटपुट प्रदान गर्न सक्छ जुन सावधानीपूर्वक अध्ययन गरिएको छ र अधिकतम हदसम्म सम्भव छ, NLG वास्तविक जीवनको मानवको अनुभवले सम्पन्न छ।
यो विधि, जुन हामीले पहिले नै छलफल गरिसकेका एलन ट्युरिङका केही लेखहरूमा फेला पार्न सकिन्छ, मानिसहरूलाई विश्वस्त पार्न महत्त्वपूर्ण छ कि कम्प्युटरले उनीहरूसँग व्यावहारिक र प्राकृतिक रूपमा कुराकानी गरिरहेको छ, हातमा रहेको विषयको पर्वाह नगरी।
NLG लाई कम्पनी भित्र सबैले प्रयोग गर्न सक्ने कुराकानीत्मक कथाहरू उत्पादन गर्न संगठनहरूद्वारा प्रयोग गर्न सकिन्छ।
NLG, जुन प्रायः व्यापारिक बुद्धिमत्ता ड्यासबोर्डहरू, स्वचालित सामग्री उत्पादन, र थप प्रभावकारी डेटा विश्लेषणको लागि प्रयोग गरिन्छ, मार्केटिङ, मानव संसाधन, बिक्री, र सूचना प्रविधि जस्ता डिभिजनहरूमा काम गर्ने पेशेवरहरूलाई ठूलो मद्दत हुन सक्छ।
NLP मा NLU र NGL ले के भूमिका खेल्छ?
NLP डाटा वैज्ञानिकहरू द्वारा प्रयोग गर्न सकिन्छ र कृत्रिम बुद्धि अव्यवस्थित डेटा सेटहरूलाई कम्प्यूटरहरूले वाणी र पाठमा अनुवाद गर्न सक्ने फारमहरूमा रूपान्तरण गर्न पेशेवरहरू - उनीहरूले तपाईंले सोध्नुहुने प्रश्नको सन्दर्भमा उपयुक्त हुने जवाफहरू पनि निर्माण गर्न सक्छन् (सिरी र एलेक्सा जस्ता भर्चुअल सहायकहरूलाई फेरि सोच्नुहोस्)।
तर NLU र NLG NLP मा कहाँ फिट हुन्छ?
यद्यपि तिनीहरू सबै फरक भूमिकाहरू खेल्छन्, यी तीनवटै विषयहरूमा एउटा कुरा समान छ: तिनीहरू सबै प्राकृतिक भाषासँग व्यवहार गर्छन्। त्यसोभए, तीन बीचको भिन्नता के हो?
यसलाई यसरी विचार गर्नुहोस्: जहाँ NLU ले मानिसले प्रयोग गर्ने भाषा बुझ्ने लक्ष्य राख्छ, NLP ले सबैभन्दा महत्त्वपूर्ण डेटा पहिचान गर्दछ र यसलाई पाठ र संख्याहरू जस्ता चीजहरूमा व्यवस्थित गर्दछ।
यसले हानिकारक इन्क्रिप्टेड सञ्चारमा पनि सहयोग गर्न सक्छ। अर्कोतर्फ, NLG, हामीले अर्थपूर्ण रूपमा व्याख्या गर्न सक्ने कथाहरू उत्पादन गर्न असंरचित डेटाको सङ्कलन प्रयोग गर्छ।
NLP को भविष्य
यद्यपि NLP का धेरै वर्तमान व्यावसायिक प्रयोगहरू छन्, धेरै व्यवसायहरूले यसलाई व्यापक रूपमा अपनाउन गाह्रो पाएका छन्।
यो प्रायः निम्न समस्याहरूको कारणले हो: संस्थाहरूलाई प्रायः असर गर्ने एउटा मुद्दा भनेको जानकारी ओभरलोड हो, जसले तिनीहरूलाई थप डेटाको असीमित समुद्रको बीचमा कुन डेटा सेटहरू महत्त्वपूर्ण छन् भनेर पहिचान गर्न चुनौतीपूर्ण बनाउँछ।
थप रूपमा, NLP प्रभावकारी रूपमा प्रयोग गर्नको लागि, संगठनहरूलाई प्रायः निश्चित विधिहरू र उपकरणहरू चाहिन्छ जसले तिनीहरूलाई डाटाबाट बहुमूल्य जानकारी निकाल्न सक्षम पार्छ।
अन्तिम तर कम्तिमा, NLP ले संकेत गर्दछ कि कम्पनीहरूले अत्याधुनिक मेसिनरीहरू चाहिन्छ यदि तिनीहरू NLP प्रयोग गरी विभिन्न डेटा स्रोतहरूबाट डाटा सङ्कलन गर्न र राख्न चाहन्छन्।
बाधाहरूको बावजुद धेरै फर्महरूलाई NLP अपनाउनबाट रोकिएको छ, यो सम्भव छ कि यी समान संस्थाहरूले अन्ततः NLP, NLU, र NLG लाई अँगालेर तिनीहरूको रोबोटलाई यथार्थपरक, मानव-जस्तै अन्तरक्रिया र छलफलहरू जारी राख्न सक्षम पार्नेछन्।
सिमान्टिक्स र सिन्ट्याक्स अनुसन्धानका दुई NLP उपक्षेत्रहरू हुन् जसले धेरै ध्यान पाइरहेको छ।
निष्कर्ष
हामीले अहिलेसम्म छलफल गरेका कुराहरूलाई ध्यानमा राख्दै: आवाज र लेखनको अर्थ असाइन गर्दै, NLU ले प्राकृतिक भाषा पढ्छ र बुझ्छ, र NLG मेसिनको सहायताले नयाँ भाषा विकास र आउटपुट गर्छ।
भाषा NLU द्वारा तथ्यहरू निकाल्न प्रयोग गरिन्छ, जबकि NLG ले प्राकृतिक भाषा उत्पादन गर्न NLU द्वारा प्राप्त अन्तरदृष्टि प्रयोग गर्दछ।
एप्पल, गुगल र अमेजन जस्ता आईटी उद्योगका प्रमुख खेलाडीहरूलाई NLP मा लगानी जारी राख्नको लागि हेर्नुहोस् ताकि तिनीहरूले गर्न सक्छन्। प्रणाली विकास जसले मानव व्यवहारको नक्कल गर्छ।
जवाफ छाड्नुस्