ഉള്ളടക്ക പട്ടിക[മറയ്ക്കുക][കാണിക്കുക]
ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിനെ കുറിച്ചും മെഷീൻ ലേണിംഗ്, നാച്ചുറൽ ലാംഗ്വേജ് പ്രോസസ്സിംഗ് (NLP) തുടങ്ങിയ വാക്കുകളെക്കുറിച്ചും നിങ്ങൾ കേട്ടിട്ടുണ്ടെന്ന് എനിക്ക് ഉറപ്പുണ്ട്.
ഓരോ ദിവസവും നൂറുകണക്കിന് അല്ലെങ്കിലും ആയിരക്കണക്കിന് ക്ലയന്റ് കോൺടാക്റ്റുകൾ കൈകാര്യം ചെയ്യുന്ന ഒരു സ്ഥാപനത്തിൽ നിങ്ങൾ ജോലി ചെയ്യുന്നുവെങ്കിൽ പ്രത്യേകിച്ചും.
സോഷ്യൽ മീഡിയ പോസ്റ്റിംഗുകൾ, ഇമെയിലുകൾ, ചാറ്റുകൾ, ഓപ്പൺ-എൻഡഡ് സർവേ മറുപടികൾ, മറ്റ് ഉറവിടങ്ങൾ എന്നിവയുടെ ഡാറ്റ വിശകലനം ഒരു ലളിതമായ പ്രക്രിയയല്ല, ആളുകളെ മാത്രം ഭരമേൽപ്പിക്കുമ്പോൾ അത് കൂടുതൽ ബുദ്ധിമുട്ടാണ്.
അതുകൊണ്ടാണ് പലരും സാധ്യതയെക്കുറിച്ച് ഉത്സാഹം കാണിക്കുന്നത് നിർമ്മിത ബുദ്ധി അവരുടെ ദൈനംദിന ജോലികൾക്കും സംരംഭങ്ങൾക്കും.
AI- പവർഡ് ടെക്സ്റ്റ് വിശകലനം ഭാഷയെ ജൈവികമായി വ്യാഖ്യാനിക്കുന്നതിന് വിശാലമായ സമീപനങ്ങളോ അൽഗോരിതങ്ങളോ ഉപയോഗിക്കുന്നു, അതിലൊന്നാണ് വിഷയ വിശകലനം, ഇത് പാഠങ്ങളിൽ നിന്ന് വിഷയങ്ങൾ സ്വയമേവ കണ്ടെത്തുന്നതിന് ഉപയോഗിക്കുന്നു.
വളരെയധികം ഡാറ്റ ഉപയോഗിച്ച് തൊഴിലാളികൾക്ക് അമിതഭാരം വയ്ക്കുന്നതിന് പകരം എളുപ്പമുള്ള ജോലികൾ മെഷീനുകളിലേക്ക് മാറ്റുന്നതിന് വിഷയ വിശകലന മോഡലുകൾ ബിസിനസുകൾക്ക് ഉപയോഗിക്കാം.
എല്ലാ ദിവസവും രാവിലെ ഉപഭോക്തൃ സർവേകളുടെ അനന്തമായ ലിസ്റ്റുകളിലൂടെയോ പിന്തുണാ പ്രശ്നങ്ങളിലൂടെയോ ഒരു കമ്പ്യൂട്ടറിന് ഫിൽട്ടർ ചെയ്യാൻ കഴിയുമെങ്കിൽ, നിങ്ങളുടെ ടീമിന് എത്ര സമയം ലാഭിക്കാമെന്നും കൂടുതൽ അത്യാവശ്യമായ ജോലികൾക്കായി നീക്കിവെക്കാമെന്നും പരിഗണിക്കുക.
ഈ ഗൈഡിൽ, ഞങ്ങൾ വിഷയ മോഡലിംഗ്, വിഷയ മോഡലിംഗിന്റെ വ്യത്യസ്ത രീതികൾ എന്നിവ പരിശോധിക്കും, കൂടാതെ അതിൽ കുറച്ച് അനുഭവം നേടുകയും ചെയ്യും.
എന്താണ് വിഷയ മോഡലിംഗ്?
മേൽനോട്ടമില്ലാത്തതും മേൽനോട്ടം വഹിക്കുന്നതുമായ സ്ഥിതിവിവരക്കണക്കുകളുടെ ഒരു തരം ടെക്സ്റ്റ് മൈനിംഗ് ആണ് ടോപ്പിക് മോഡലിംഗ് മെഷീൻ ലേണിംഗ് ഒരു കോർപ്പസിലെ ട്രെൻഡുകൾ അല്ലെങ്കിൽ ഘടനാരഹിതമായ ടെക്സ്റ്റിന്റെ ഗണ്യമായ വോളിയം കണ്ടെത്തുന്നതിന് സാങ്കേതിക വിദ്യകൾ ഉപയോഗിക്കുന്നു.
ഇതിന് നിങ്ങളുടെ പ്രമാണങ്ങളുടെ വൻ ശേഖരം എടുക്കാനും വാക്കുകളെ പദങ്ങളുടെ കൂട്ടങ്ങളായി ക്രമീകരിക്കാനും വിഷയങ്ങൾ കണ്ടെത്താനും ഒരു സമാന രീതി ഉപയോഗിക്കാനും കഴിയും.
അത് അൽപ്പം സങ്കീർണ്ണവും കഠിനവുമാണെന്ന് തോന്നുന്നു, അതിനാൽ നമുക്ക് സബ്ജക്റ്റ് മോഡലിംഗ് നടപടിക്രമം ലളിതമാക്കാം!
നിങ്ങളുടെ കയ്യിൽ ഒരു കൂട്ടം നിറമുള്ള ഹൈലൈറ്ററുകൾ ഉള്ള ഒരു പത്രം വായിക്കുകയാണെന്ന് കരുതുക.
അത് പഴയ രീതിയല്ലേ?
ഇക്കാലത്ത് അച്ചടിയിൽ പത്രങ്ങൾ വായിക്കുന്നവർ ചുരുക്കമാണെന്ന് ഞാൻ മനസ്സിലാക്കുന്നു; എല്ലാം ഡിജിറ്റലാണ്, ഹൈലൈറ്ററുകൾ പഴയ കാര്യമാണ്! നിങ്ങളുടെ അച്ഛനോ അമ്മയോ ആയി നടിക്കുക!
അതിനാൽ, നിങ്ങൾ പത്രം വായിക്കുമ്പോൾ, നിങ്ങൾ പ്രധാനപ്പെട്ട നിബന്ധനകൾ എടുത്തുകാണിക്കുന്നു.
ഒരു അനുമാനം കൂടി!
വ്യത്യസ്ത തീമുകളുടെ കീവേഡുകൾക്ക് ഊന്നൽ നൽകുന്നതിന് നിങ്ങൾ മറ്റൊരു നിറം ഉപയോഗിക്കുന്നു. നൽകിയിരിക്കുന്ന വർണ്ണവും വിഷയങ്ങളും അനുസരിച്ച് നിങ്ങൾ കീവേഡുകൾ തരംതിരിക്കുന്നു.
ഒരു നിശ്ചിത വർണ്ണത്താൽ അടയാളപ്പെടുത്തിയിരിക്കുന്ന വാക്കുകളുടെ ഓരോ ശേഖരവും ഒരു നിശ്ചിത വിഷയത്തിനുള്ള കീവേഡുകളുടെ ഒരു പട്ടികയാണ്. നിങ്ങൾ തിരഞ്ഞെടുത്ത വിവിധ നിറങ്ങളുടെ അളവ് തീമുകളുടെ എണ്ണം കാണിക്കുന്നു.
ഇതാണ് ഏറ്റവും അടിസ്ഥാനപരമായ വിഷയ മോഡലിംഗ്. വലിയ ടെക്സ്റ്റ് ശേഖരങ്ങളുടെ ഗ്രാഹ്യം, ഓർഗനൈസേഷൻ, സംഗ്രഹം എന്നിവയിൽ ഇത് സഹായിക്കുന്നു.
എന്നിരുന്നാലും, ഫലപ്രദമാകാൻ, ഓട്ടോമേറ്റഡ് വിഷയ മോഡലുകൾക്ക് ധാരാളം ഉള്ളടക്കം ആവശ്യമാണെന്ന് ഓർമ്മിക്കുക. നിങ്ങൾക്ക് ഒരു ചെറിയ പേപ്പർ ഉണ്ടെങ്കിൽ, നിങ്ങൾ പഴയ സ്കൂളിൽ പോയി ഹൈലൈറ്ററുകൾ ഉപയോഗിക്കാൻ ആഗ്രഹിച്ചേക്കാം!
ഡാറ്റ അറിയാൻ കുറച്ച് സമയം ചെലവഴിക്കുന്നതും പ്രയോജനകരമാണ്. വിഷയ മോഡൽ എന്താണ് കണ്ടെത്തേണ്ടതെന്നതിന്റെ അടിസ്ഥാനബോധം ഇത് നിങ്ങൾക്ക് നൽകും.
ഉദാഹരണത്തിന്, ആ ഡയറി നിങ്ങളുടെ നിലവിലുള്ളതും മുൻകാലവുമായ ബന്ധങ്ങളെക്കുറിച്ചായിരിക്കാം. അതിനാൽ, എന്റെ ടെക്സ്റ്റ് മൈനിംഗ് റോബോട്ട്-ബഡ്ഡി സമാനമായ ആശയങ്ങളുമായി വരുമെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.
നിങ്ങൾ തിരിച്ചറിഞ്ഞ വിഷയങ്ങളുടെ ഗുണനിലവാരം നന്നായി വിശകലനം ചെയ്യാനും ആവശ്യമെങ്കിൽ കീവേഡ് സെറ്റുകൾ മാറ്റാനും ഇത് നിങ്ങളെ സഹായിക്കും.
വിഷയ മോഡലിംഗിന്റെ ഘടകങ്ങൾ
പ്രോബബിലിസ്റ്റിക് മോഡൽ
റാൻഡം വേരിയബിളുകളും പ്രോബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷനുകളും പ്രോബബിലിസ്റ്റിക് മോഡലുകളിൽ ഒരു സംഭവത്തിന്റെ അല്ലെങ്കിൽ പ്രതിഭാസത്തിന്റെ പ്രതിനിധാനത്തിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.
ഒരു ഡിറ്റർമിനിസ്റ്റിക് മോഡൽ ഒരു സംഭവത്തിന് ഒരു സാധ്യതയുള്ള നിഗമനം നൽകുന്നു, അതേസമയം ഒരു പ്രോബബിലിറ്റി മോഡൽ ഒരു പ്രോബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷൻ ഒരു പരിഹാരമായി നൽകുന്നു.
ഒരു സാഹചര്യത്തെക്കുറിച്ച് നമുക്ക് അപൂർവ്വമായി മാത്രമേ പൂർണ്ണമായ അറിവ് ഉള്ളൂ എന്ന യാഥാർത്ഥ്യത്തെ ഈ മാതൃകകൾ പരിഗണിക്കുന്നു. പരിഗണിക്കേണ്ട ക്രമരഹിതമായ ഒരു ഘടകം എപ്പോഴും ഉണ്ട്.
ഉദാഹരണത്തിന്, ലൈഫ് ഇൻഷുറൻസ് എന്നത് നമ്മൾ മരിക്കുമെന്ന് നമുക്കറിയാം, എന്നാൽ എപ്പോഴാണെന്ന് ഞങ്ങൾക്ക് അറിയില്ല എന്ന യാഥാർത്ഥ്യത്തെ മുൻനിർത്തിയാണ്. ഈ മോഡലുകൾ ഭാഗികമായി നിർണായകമോ ഭാഗികമായി ക്രമരഹിതമോ അല്ലെങ്കിൽ പൂർണ്ണമായും ക്രമരഹിതമോ ആകാം.
വിവരങ്ങൾ വീണ്ടെടുക്കൽ
ഡോക്യുമെന്റ് റിപോസിറ്ററികളിൽ നിന്നുള്ള വിവരങ്ങൾ, പ്രത്യേകിച്ച് വാചക വിവരങ്ങൾ സംഘടിപ്പിക്കുകയും, സംഭരിക്കുകയും, വീണ്ടെടുക്കുകയും, വിലയിരുത്തുകയും ചെയ്യുന്ന ഒരു സോഫ്റ്റ്വെയർ പ്രോഗ്രാമാണ് ഇൻഫർമേഷൻ വീണ്ടെടുക്കൽ (ഐആർ).
സാങ്കേതികവിദ്യ ഉപയോക്താക്കൾക്ക് ആവശ്യമായ വിവരങ്ങൾ കണ്ടെത്താൻ സഹായിക്കുന്നു, എന്നാൽ അത് അവരുടെ അന്വേഷണങ്ങൾക്കുള്ള ഉത്തരങ്ങൾ വ്യക്തമായി നൽകുന്നില്ല. ആവശ്യമായ വിവരങ്ങൾ നൽകിയേക്കാവുന്ന പേപ്പറുകളുടെ സാന്നിധ്യവും സ്ഥാനവും ഇത് അറിയിക്കുന്നു.
ഉപയോക്താവിന്റെ ആവശ്യങ്ങൾ നിറവേറ്റുന്നവയാണ് പ്രസക്തമായ രേഖകൾ. ഒരു കുറ്റമറ്റ ഐആർ സിസ്റ്റം തിരഞ്ഞെടുത്ത ഡോക്യുമെന്റുകൾ മാത്രം തിരികെ നൽകും.
വിഷയ സമന്വയം
വിഷയത്തിന്റെ ഉയർന്ന സ്കോറിംഗ് പദങ്ങൾ തമ്മിലുള്ള സെമാന്റിക് സമാനതയുടെ അളവ് കണക്കാക്കി ടോപ്പിക് കോഹറൻസ് ഒരൊറ്റ വിഷയത്തെ സ്കോർ ചെയ്യുന്നു. അർത്ഥപരമായി വ്യാഖ്യാനിക്കാവുന്ന വിഷയങ്ങളും സ്റ്റാറ്റിസ്റ്റിക്കൽ അനുമാന ആർട്ടിഫാക്റ്റുകളുമായ വിഷയങ്ങളും തമ്മിൽ വേർതിരിച്ചറിയാൻ ഈ അളവുകൾ സഹായിക്കുന്നു.
ഒരു കൂട്ടം അവകാശവാദങ്ങളോ വസ്തുതകളോ പരസ്പരം പിന്തുണയ്ക്കുന്നുവെങ്കിൽ, അവ യോജിച്ചതാണെന്ന് പറയപ്പെടുന്നു.
തൽഫലമായി, എല്ലാ അല്ലെങ്കിൽ ഭൂരിഭാഗം വസ്തുതകളും ഉൾക്കൊള്ളുന്ന ഒരു സന്ദർഭത്തിൽ ഒരു യോജിച്ച വസ്തുതകൾ മനസ്സിലാക്കാൻ കഴിയും. "ഗെയിം ഒരു ടീം സ്പോർട് ആണ്," "ഒരു പന്ത് ഉപയോഗിച്ചാണ് ഗെയിം കളിക്കുന്നത്", "ഗെയിമിന് വലിയ ശാരീരിക പ്രയത്നം ആവശ്യമാണ്" എന്നിവയെല്ലാം യോജിച്ച വസ്തുതകളുടെ ഉദാഹരണങ്ങളാണ്.
വിഷയ മോഡലിംഗിന്റെ വ്യത്യസ്ത രീതികൾ
ഈ നിർണായക നടപടിക്രമം വിവിധ അൽഗോരിതങ്ങൾ അല്ലെങ്കിൽ രീതിശാസ്ത്രങ്ങൾ ഉപയോഗിച്ച് നടപ്പിലാക്കാൻ കഴിയും. അവയിൽ ഇവ ഉൾപ്പെടുന്നു:
- ലാറ്റന്റ് ഡിറിച്ലെറ്റ് അലോക്കേഷൻ (LDA)
- നോൺ നെഗറ്റീവ് മാട്രിക്സ് ഫാക്ടറൈസേഷൻ (NMF)
- ലാറ്റന്റ് സെമാന്റിക് അനാലിസിസ് (LSA)
- പ്രോബബിലിസ്റ്റിക് ലാറ്റന്റ് സെമാന്റിക് അനാലിസിസ്(pLSA)
ഒളിഞ്ഞിരിക്കുന്ന ഡിറിച്ലെറ്റ് അലോക്കേഷൻ (LDA)
ഒരു കോർപ്പസിലെ ഒന്നിലധികം ടെക്സ്റ്റുകൾ തമ്മിലുള്ള ബന്ധം കണ്ടെത്താൻ, ലാറ്റന്റ് ഡിറിച്ലെറ്റ് അലോക്കേഷന്റെ സ്റ്റാറ്റിസ്റ്റിക്കൽ, ഗ്രാഫിക്കൽ ആശയം ഉപയോഗിക്കുന്നു.
വേരിയേഷനൽ എക്സെപ്ഷൻ മാക്സിമൈസേഷൻ (വിഇഎം) സമീപനം ഉപയോഗിച്ച്, ടെക്സ്റ്റിന്റെ പൂർണ്ണ കോർപ്പസിൽ നിന്നുള്ള ഏറ്റവും വലിയ സാധ്യത കണക്കാക്കുന്നു.
പരമ്പരാഗതമായി, വാക്കുകളുടെ ഒരു ബാഗിൽ നിന്നുള്ള ഏറ്റവും മികച്ച കുറച്ച് വാക്കുകൾ തിരഞ്ഞെടുക്കുന്നു.
എന്നിരുന്നാലും, വാചകം പൂർണ്ണമായും അർത്ഥശൂന്യമാണ്.
ഈ സാങ്കേതികതയനുസരിച്ച്, ഓരോ പാഠത്തെയും വിഷയങ്ങളുടെ പ്രോബബിലിസ്റ്റിക് വിതരണവും ഓരോ വിഷയവും പദങ്ങളുടെ സാധ്യതയുള്ള വിതരണവും പ്രതിനിധീകരിക്കും.
നോൺ നെഗറ്റീവ് മാട്രിക്സ് ഫാക്ടറൈസേഷൻ (NMF)
നോൺ-നെഗറ്റീവ് മൂല്യങ്ങളുടെ ഫാക്ടറൈസേഷനോടുകൂടിയ മാട്രിക്സ് ഒരു അത്യാധുനിക ഫീച്ചർ എക്സ്ട്രാക്ഷൻ സമീപനമാണ്.
ധാരാളം ഗുണങ്ങൾ ഉള്ളപ്പോൾ ആട്രിബ്യൂട്ടുകൾ അവ്യക്തമായിരിക്കുമ്പോൾ അല്ലെങ്കിൽ മോശം പ്രവചനശേഷി ഉള്ളപ്പോൾ, NMF പ്രയോജനകരമാണ്. സ്വഭാവസവിശേഷതകൾ സംയോജിപ്പിച്ച് പ്രധാനപ്പെട്ട പാറ്റേണുകളോ വിഷയങ്ങളോ തീമുകളോ സൃഷ്ടിക്കാൻ NMF-ന് കഴിയും.
ഒറിജിനൽ ആട്രിബ്യൂട്ട് സെറ്റിന്റെ ലീനിയർ കോമ്പിനേഷനായി NMF ഓരോ ഫീച്ചറും ജനറേറ്റുചെയ്യുന്നു.
ഓരോ ഫീച്ചറിലും ഫീച്ചറിലെ ഓരോ ആട്രിബ്യൂട്ടിന്റെയും പ്രാധാന്യത്തെ പ്രതിനിധീകരിക്കുന്ന ഒരു കൂട്ടം ഗുണകങ്ങൾ അടങ്ങിയിരിക്കുന്നു. ഓരോ സംഖ്യാ ആട്രിബ്യൂട്ടിനും ഓരോ വിഭാഗത്തിന്റെ ഓരോ മൂല്യത്തിനും അതിന്റേതായ ഗുണകമുണ്ട്.
എല്ലാ ഗുണകങ്ങളും പോസിറ്റീവ് ആണ്.
ഒളിഞ്ഞിരിക്കുന്ന സെമാന്റിക് വിശകലനം
ഒരു കൂട്ടം പ്രമാണങ്ങളിലെ വാക്കുകൾ തമ്മിലുള്ള ബന്ധങ്ങൾ വേർതിരിച്ചെടുക്കാൻ ഉപയോഗിക്കുന്ന മറ്റൊരു മേൽനോട്ടമില്ലാത്ത പഠന രീതിയാണ് ഒളിഞ്ഞിരിക്കുന്ന സെമാന്റിക് വിശകലനം.
ശരിയായ രേഖകൾ തിരഞ്ഞെടുക്കാൻ ഇത് ഞങ്ങളെ സഹായിക്കുന്നു. ടെക്സ്റ്റ് ഡാറ്റയുടെ വലിയ കോർപ്പസിന്റെ അളവ് കുറയ്ക്കുക എന്നതാണ് ഇതിന്റെ പ്രാഥമിക പ്രവർത്തനം.
ഈ അനാവശ്യ ഡാറ്റ ഡാറ്റയിൽ നിന്ന് ആവശ്യമായ സ്ഥിതിവിവരക്കണക്കുകൾ നേടുന്നതിനുള്ള പശ്ചാത്തല ശബ്ദമായി വർത്തിക്കുന്നു.
പ്രോബബിലിസ്റ്റിക് ലാറ്റന്റ് സെമാന്റിക് അനാലിസിസ്(pLSA)
പ്രോബബിലിസ്റ്റിക് ലാറ്റന്റ് സെമാന്റിക് അനാലിസിസ് (PLSA), ചിലപ്പോൾ പ്രോബബിലിസ്റ്റിക് ലാറ്റന്റ് സെമാന്റിക് ഇൻഡക്സിംഗ് (PLSI, പ്രത്യേകിച്ച് ഇൻഫർമേഷൻ റിട്രീവൽ സർക്കിളുകളിൽ) എന്നറിയപ്പെടുന്നത്, രണ്ട്-മോഡും കോ-ഓക്റൻസ് ഡാറ്റയും വിശകലനം ചെയ്യുന്നതിനുള്ള ഒരു സ്റ്റാറ്റിസ്റ്റിക്കൽ സമീപനമാണ്.
വാസ്തവത്തിൽ, പിഎൽഎസ്എ ഉയർന്നുവന്ന ഒളിഞ്ഞിരിക്കുന്ന സെമാന്റിക് വിശകലനത്തിന് സമാനമായി, പ്രത്യേക മറഞ്ഞിരിക്കുന്ന വേരിയബിളുകളുമായുള്ള ബന്ധത്തിന്റെ അടിസ്ഥാനത്തിൽ നിരീക്ഷിച്ച വേരിയബിളുകളുടെ ഒരു ലോ-ഡൈമൻഷണൽ പ്രാതിനിധ്യം ലഭിക്കും.
പൈത്തണിലെ വിഷയ മോഡലിംഗുമായി കൈകോർക്കുക
ഇപ്പോൾ, പൈത്തണിനൊപ്പം ഒരു വിഷയ മോഡലിംഗ് അസൈൻമെന്റിലൂടെ ഞാൻ നിങ്ങളെ കൊണ്ടുപോകും പ്രോഗ്രാമിങ് ഭാഷ ഒരു യഥാർത്ഥ ലോക ഉദാഹരണം ഉപയോഗിച്ച്.
ഞാൻ ഗവേഷണ ലേഖനങ്ങൾ മോഡലിംഗ് ചെയ്യും. ഞാൻ ഇവിടെ ഉപയോഗിക്കുന്ന ഡാറ്റാസെറ്റ് kaggle.com-ൽ നിന്നാണ്. ഈ വർക്കിൽ ഞാൻ ഉപയോഗിക്കുന്ന എല്ലാ ഫയലുകളും നിങ്ങൾക്ക് ഇതിൽ നിന്ന് എളുപ്പത്തിൽ ലഭിക്കും പേജ്.
ആവശ്യമായ എല്ലാ ലൈബ്രറികളും ഇറക്കുമതി ചെയ്തുകൊണ്ട് പൈത്തൺ ഉപയോഗിച്ച് ടോപ്പിക് മോഡലിംഗ് ആരംഭിക്കാം:
ഈ ടാസ്ക്കിൽ ഞാൻ ഉപയോഗിക്കുന്ന എല്ലാ ഡാറ്റാസെറ്റുകളും വായിക്കുക എന്നതാണ് ഇനിപ്പറയുന്ന ഘട്ടം:
പര്യവേക്ഷണ ഡാറ്റ വിശകലനം
EDA (പര്യവേക്ഷണ ഡാറ്റ വിശകലനം) വിഷ്വൽ ഘടകങ്ങൾ ഉപയോഗിക്കുന്ന ഒരു സ്റ്റാറ്റിസ്റ്റിക്കൽ രീതിയാണ്. ട്രെൻഡുകൾ, പാറ്റേണുകൾ, ടെസ്റ്റ് അനുമാനങ്ങൾ എന്നിവ കണ്ടെത്തുന്നതിന് ഇത് സ്റ്റാറ്റിസ്റ്റിക്കൽ സംഗ്രഹങ്ങളും ഗ്രാഫിക്കൽ പ്രാതിനിധ്യങ്ങളും ഉപയോഗിക്കുന്നു.
ഡാറ്റയിൽ എന്തെങ്കിലും പാറ്റേണുകളോ ബന്ധങ്ങളോ ഉണ്ടോ എന്നറിയാൻ വിഷയ മോഡലിംഗ് ആരംഭിക്കുന്നതിന് മുമ്പ് ഞാൻ കുറച്ച് പര്യവേക്ഷണ ഡാറ്റ വിശകലനം നടത്തും:
ഇപ്പോൾ നമ്മൾ ടെസ്റ്റ് ഡാറ്റാസെറ്റിന്റെ ശൂന്യ മൂല്യങ്ങൾ കണ്ടെത്തും:
വേരിയബിളുകൾ തമ്മിലുള്ള ബന്ധം പരിശോധിക്കാൻ ഞാൻ ഇപ്പോൾ ഒരു ഹിസ്റ്റോഗ്രാമും ബോക്സ്പ്ലോട്ടും പ്ലോട്ട് ചെയ്യും.
ട്രെയിൻ സെറ്റിന്റെ അബ്സ്ട്രാക്റ്റുകളിലെ പ്രതീകങ്ങളുടെ അളവ് വളരെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു.
ട്രെയിനിൽ, ഞങ്ങൾക്ക് കുറഞ്ഞത് 54 ഉം പരമാവധി 4551 ഉം പ്രതീകങ്ങളുണ്ട്. 1065 എന്നത് പ്രതീകങ്ങളുടെ ശരാശരി തുകയാണ്.
ടെസ്റ്റ് സെറ്റിൽ 46 പ്രതീകങ്ങളും പരിശീലന സെറ്റിൽ 2841 ഉള്ളതിനാൽ പരിശീലന സെറ്റിനേക്കാൾ രസകരമായി തോന്നുന്നു.
തൽഫലമായി, ടെസ്റ്റ് സെറ്റിന് 1058 പ്രതീകങ്ങളുടെ മീഡിയൻ ഉണ്ടായിരുന്നു, ഇത് പരിശീലന സെറ്റിന് സമാനമാണ്.
ലേണിംഗ് സെറ്റിലെ വാക്കുകളുടെ എണ്ണം അക്ഷരങ്ങളുടെ എണ്ണത്തിന് സമാനമായ പാറ്റേൺ പിന്തുടരുന്നു.
കുറഞ്ഞത് 8 വാക്കുകളും പരമാവധി 665 വാക്കുകളും അനുവദനീയമാണ്. തൽഫലമായി, ശരാശരി പദങ്ങളുടെ എണ്ണം 153 ആണ്.
ഒരു അമൂർത്തത്തിൽ കുറഞ്ഞത് ഏഴ് വാക്കുകളും ടെസ്റ്റ് സെറ്റിൽ പരമാവധി 452 വാക്കുകളും ആവശ്യമാണ്.
ഈ സാഹചര്യത്തിൽ മീഡിയൻ 153 ആണ്, ഇത് പരിശീലന സെറ്റിലെ മീഡിയന് സമാനമാണ്.
വിഷയ മോഡലിംഗിനായി ടാഗുകൾ ഉപയോഗിക്കുന്നു
നിരവധി വിഷയ മോഡലിംഗ് തന്ത്രങ്ങളുണ്ട്. ഈ വ്യായാമത്തിൽ ഞാൻ ടാഗുകൾ ഉപയോഗിക്കും; ടാഗുകൾ പരിശോധിച്ചുകൊണ്ട് അത് എങ്ങനെ ചെയ്യാമെന്ന് നോക്കാം:
വിഷയ മോഡലിംഗിന്റെ പ്രയോഗങ്ങൾ
- ഒരു പ്രമാണത്തിന്റെയോ പുസ്തകത്തിന്റെയോ വിഷയം തിരിച്ചറിയാൻ ഒരു വാചക സംഗ്രഹം ഉപയോഗിക്കാം.
- പരീക്ഷാ സ്കോറിംഗിൽ നിന്ന് സ്ഥാനാർത്ഥി പക്ഷപാതം നീക്കം ചെയ്യാൻ ഇത് ഉപയോഗിക്കാം.
- ഗ്രാഫ് അധിഷ്ഠിത മോഡലുകളിൽ വാക്കുകൾക്കിടയിൽ അർത്ഥപരമായ ബന്ധങ്ങൾ കെട്ടിപ്പടുക്കാൻ വിഷയ മോഡലിംഗ് ഉപയോഗിച്ചേക്കാം.
- ക്ലയന്റ് അന്വേഷണത്തിലെ കീവേഡുകൾ കണ്ടെത്തി പ്രതികരിക്കുന്നതിലൂടെ ഇതിന് ഉപഭോക്തൃ സേവനം മെച്ചപ്പെടുത്താനാകും. ഉപഭോക്താക്കൾക്ക് നിങ്ങളിൽ കൂടുതൽ വിശ്വാസമുണ്ടാകും, കാരണം നിങ്ങൾ അവർക്ക് ആവശ്യമായ സഹായം ഉചിതമായ സമയത്ത് അവർക്ക് ഒരു ബുദ്ധിമുട്ടും ഉണ്ടാക്കാതെ നൽകിയിട്ടുണ്ട്. തൽഫലമായി, ക്ലയന്റ് ലോയൽറ്റി ഗണ്യമായി ഉയരുന്നു, കമ്പനിയുടെ മൂല്യം വർദ്ധിക്കുന്നു.
തീരുമാനം
പാഠങ്ങളുടെ ഒരു ശേഖരത്തിൽ നിലനിൽക്കുന്ന അമൂർത്തമായ "വിഷയങ്ങൾ" കണ്ടെത്തുന്നതിന് ഉപയോഗിക്കുന്ന ഒരു തരം സ്റ്റാറ്റിസ്റ്റിക്കൽ മോഡലിംഗാണ് ടോപ്പിക് മോഡലിംഗ്.
ഉപയോഗിച്ച സ്റ്റാറ്റിസ്റ്റിക്കൽ മോഡലിന്റെ ഒരു രൂപമാണിത് മെഷീൻ ലേണിംഗ് ഒരു കൂട്ടം ഗ്രന്ഥങ്ങളിൽ നിലനിൽക്കുന്ന അമൂർത്ത ആശയങ്ങൾ കണ്ടെത്തുന്നതിനുള്ള സ്വാഭാവിക ഭാഷാ സംസ്കരണവും.
ബോഡി ടെക്സ്റ്റിൽ ഒളിഞ്ഞിരിക്കുന്ന സെമാന്റിക് പാറ്റേണുകൾ കണ്ടെത്താൻ വ്യാപകമായി ഉപയോഗിക്കുന്ന ഒരു ടെക്സ്റ്റ് മൈനിംഗ് രീതിയാണിത്.
നിങ്ങളുടെ അഭിപ്രായങ്ങൾ രേഖപ്പെടുത്തുക