విషయ సూచిక[దాచు][చూపండి]
ఏ రకమైన కార్పొరేట్ కార్యకలాపాలకైనా ప్రాథమిక ప్రమాణాలలో ఒకటి సమాచారాన్ని సమర్థవంతంగా ఉపయోగించడం. ఏదో ఒక సమయంలో, సృష్టించబడిన డేటా పరిమాణం ప్రాథమిక ప్రాసెసింగ్ సామర్థ్యాన్ని మించిపోయింది.
ఇక్కడే మెషీన్ లెర్నింగ్ అల్గారిథమ్లు అమలులోకి వస్తాయి. అయితే, వీటిలో ఏదైనా జరగడానికి ముందు, సమాచారాన్ని తప్పనిసరిగా అధ్యయనం చేయాలి మరియు అర్థం చేసుకోవాలి. క్లుప్తంగా చెప్పాలంటే, పర్యవేక్షించబడని యంత్ర అభ్యాసం దీని కోసం ఉపయోగించబడుతుంది.
ఈ కథనంలో, మేము దాని అల్గారిథమ్లు, వినియోగ సందర్భాలు మరియు మరిన్నింటితో సహా లోతైన పర్యవేక్షించబడని యంత్ర అభ్యాసాన్ని పరిశీలిస్తాము.
పర్యవేక్షించబడని మెషిన్ లెర్నింగ్ అంటే ఏమిటి?
పర్యవేక్షించబడని మెషీన్ లెర్నింగ్ అల్గారిథమ్లు డేటాసెట్లోని నమూనాలను గుర్తిస్తాయి, అవి తెలిసిన లేదా లేబుల్ చేయబడిన పర్యవసానాన్ని కలిగి ఉంటాయి. పర్యవేక్షించారు యంత్ర అభ్యాస అల్గోరిథంలు లేబుల్ అవుట్పుట్ని కలిగి ఉంటాయి.
ఈ వ్యత్యాసాన్ని తెలుసుకోవడం వలన, రిగ్రెషన్ లేదా వర్గీకరణ సమస్యలను పరిష్కరించడానికి పర్యవేక్షించబడని మెషీన్ లెర్నింగ్ పద్ధతులు ఎందుకు ఉపయోగించబడలేదో అర్థం చేసుకోవడంలో మీకు సహాయం చేస్తుంది, ఎందుకంటే అవుట్పుట్ డేటా యొక్క విలువ/సమాధానం ఏమిటో మీకు తెలియదు. మీకు విలువ/సమాధానం తెలియకపోతే మీరు సాధారణంగా అల్గారిథమ్కి శిక్షణ ఇవ్వలేరు.
అంతేకాకుండా, డేటా యొక్క ప్రాథమిక నిర్మాణాన్ని గుర్తించడానికి పర్యవేక్షించబడని అభ్యాసాన్ని ఉపయోగించవచ్చు. ఈ అల్గారిథమ్లు మానవ పరస్పర చర్య అవసరం లేకుండా దాచిన నమూనాలు లేదా డేటా సమూహాలను గుర్తిస్తాయి.
సమాచారంలో సారూప్యతలు మరియు వైరుధ్యాలను గుర్తించే దాని సామర్థ్యం అన్వేషణాత్మక డేటా విశ్లేషణ, క్రాస్-సెల్లింగ్ టెక్నిక్లు, వినియోగదారు విభజన మరియు చిత్ర గుర్తింపు కోసం ఇది గొప్ప ఎంపిక.
కింది దృష్టాంతాన్ని పరిగణించండి: మీరు కిరాణా దుకాణంలో ఉన్నారు మరియు మీరు ఇంతకు ముందెన్నడూ చూడని గుర్తించబడని పండ్లను చూడండి. మీరు దాని రూపం, పరిమాణం లేదా రంగు యొక్క మీ పరిశీలనల ఆధారంగా చుట్టుపక్కల ఉన్న ఇతర పండ్ల నుండి భిన్నమైన తెలియని పండును సులభంగా గుర్తించవచ్చు.
పర్యవేక్షించబడని మెషిన్ లెర్నింగ్ అల్గారిథమ్లు
క్లస్టరింగ్
క్లస్టరింగ్ అనేది నిస్సందేహంగా అత్యంత విస్తృతంగా ఉపయోగించబడే పర్యవేక్షించబడని అభ్యాస విధానం. ఈ విధానం సంబంధిత డేటా అంశాలను యాదృచ్ఛికంగా రూపొందించబడిన క్లస్టర్లలో ఉంచుతుంది.
ML మోడల్ స్వయంగా, వర్గీకరించని డేటా నిర్మాణంలో ఏవైనా నమూనాలు, సారూప్యతలు మరియు/లేదా తేడాలను కనుగొంటుంది. డేటాలో ఏదైనా సహజ సమూహాలు లేదా తరగతులను మోడల్ కనుగొనగలదు.
రకాలు
క్లస్టరింగ్ యొక్క అనేక రూపాలు ఉపయోగించబడతాయి. ముందుగా ముఖ్యమైన వాటిని చూద్దాం.
- ఎక్స్క్లూజివ్ క్లస్టరింగ్, కొన్నిసార్లు "హార్డ్" క్లస్టరింగ్ అని పిలుస్తారు, ఇది ఒక రకమైన గ్రూపింగ్, దీనిలో ఒక డేటా భాగం కేవలం ఒక క్లస్టర్కు చెందినది.
- అతివ్యాప్తి చెందుతున్న క్లస్టరింగ్, తరచుగా "సాఫ్ట్" క్లస్టరింగ్ అని పిలుస్తారు, డేటా వస్తువులు వివిధ స్థాయిలలో ఒకటి కంటే ఎక్కువ క్లస్టర్లకు చెందడానికి అనుమతిస్తుంది. ఇంకా, "సాఫ్ట్" క్లస్టరింగ్ లేదా సాంద్రత అంచనా సమస్యలను పరిష్కరించడానికి, అలాగే నిర్దిష్ట క్లస్టర్లకు చెందిన డేటా పాయింట్ల సంభావ్యత లేదా సంభావ్యతను అంచనా వేయడానికి సంభావ్య క్లస్టరింగ్ను ఉపయోగించవచ్చు.
- సమూహ డేటా అంశాల యొక్క సోపానక్రమాన్ని సృష్టించడం అనేది పేరు సూచించినట్లుగా, క్రమానుగత క్లస్టరింగ్ యొక్క లక్ష్యం. క్లస్టర్లను రూపొందించడానికి సోపానక్రమం ఆధారంగా డేటా అంశాలు పునర్నిర్మించబడతాయి లేదా కలపబడతాయి.
కేసులు వాడండి:
- అసాధారణ గుర్తింపు:
క్లస్టరింగ్ని ఉపయోగించి డేటాలోని ఏదైనా ఔట్లియర్ని గుర్తించవచ్చు. రవాణా మరియు లాజిస్టిక్స్లోని కంపెనీలు, ఉదాహరణకు, లాజిస్టికల్ అడ్డంకులను కనుగొనడానికి లేదా దెబ్బతిన్న యాంత్రిక భాగాలను (ప్రిడిక్టివ్ మెయింటెనెన్స్) బహిర్గతం చేయడానికి అసాధారణ గుర్తింపును ఉపయోగించుకోవచ్చు.
ఆర్థిక సంస్థలు మోసపూరిత లావాదేవీలను గుర్తించడానికి మరియు త్వరగా స్పందించడానికి సాంకేతికతను ఉపయోగించగలవు, తద్వారా చాలా డబ్బు ఆదా అవుతుంది. మా వీడియోను చూడటం ద్వారా అసాధారణతలు మరియు మోసాలను గుర్తించడం గురించి మరింత తెలుసుకోండి.
- కస్టమర్లు మరియు మార్కెట్ల విభజన:
క్లస్టరింగ్ అల్గారిథమ్లు సారూప్య లక్షణాలను కలిగి ఉన్న వ్యక్తులను సమూహపరచడంలో మరియు మరింత ప్రభావవంతమైన మార్కెటింగ్ మరియు లక్ష్య కార్యక్రమాల కోసం వినియోగదారు వ్యక్తులను రూపొందించడంలో సహాయపడతాయి.
K-అంటే
K- మీన్స్ అనేది ఒక క్లస్టరింగ్ పద్ధతి, దీనిని విభజన లేదా విభజన అని కూడా అంటారు. ఇది డేటా పాయింట్లను K అని పిలువబడే ముందుగా నిర్ణయించిన సంఖ్యలో క్లస్టర్లుగా విభజిస్తుంది.
K-మీన్స్ పద్ధతిలో, మీరు మీ డేటాలో ఎన్ని క్లస్టర్లను గుర్తించాలనుకుంటున్నారో మీరు కంప్యూటర్కి చెప్పడం వలన K అనేది ఇన్పుట్. ప్రతి డేటా ఐటెమ్ తదనంతరం సన్నిహిత క్లస్టర్ సెంటర్కు కేటాయించబడుతుంది, దీనిని సెంట్రాయిడ్ (చిత్రంలో నల్ల చుక్కలు) అని పిలుస్తారు.
రెండోది డేటా స్టోరేజ్ స్పేస్లుగా ఉపయోగపడుతుంది. క్లస్టర్లు బాగా నిర్వచించబడే వరకు క్లస్టరింగ్ టెక్నిక్ అనేక సార్లు చేయవచ్చు.
మసక K-అంటే
మసక K-మీన్స్ అనేది K-మీన్స్ టెక్నిక్ యొక్క పొడిగింపు, ఇది అతివ్యాప్తి చెందుతున్న క్లస్టరింగ్ చేయడానికి ఉపయోగించబడుతుంది. K-మీన్స్ టెక్నిక్ వలె కాకుండా, అస్పష్టమైన K- అంటే డేటా పాయింట్లు ప్రతిదానికి వివిధ స్థాయిల సామీప్యతతో అనేక క్లస్టర్లకు చెందినవి కావచ్చని సూచిస్తున్నాయి.
డేటా పాయింట్లు మరియు క్లస్టర్ యొక్క సెంట్రాయిడ్ మధ్య దూరం సామీప్యాన్ని లెక్కించడానికి ఉపయోగించబడుతుంది. ఫలితంగా, వివిధ సమూహాలు అతివ్యాప్తి చెందుతున్న సందర్భాలు ఉండవచ్చు.
గాస్సియన్ మిశ్రమ నమూనాలు
గాస్సియన్ మిక్స్చర్ మోడల్స్ (GMMలు) అనేది సంభావ్య క్లస్టరింగ్లో ఉపయోగించే ఒక పద్ధతి. సగటు మరియు వైవిధ్యం తెలియనందున, మోడల్లు నిర్దిష్ట సంఖ్యలో గాస్సియన్ పంపిణీలు ఉన్నాయని ఊహిస్తాయి, ప్రతి ఒక్కటి ప్రత్యేక క్లస్టర్ను సూచిస్తాయి.
నిర్దిష్ట డేటా పాయింట్ ఏ క్లస్టర్కు చెందినదో నిర్ణయించడానికి, పద్ధతి తప్పనిసరిగా ఉపయోగించబడుతుంది.
క్రమానుగత క్లస్టరింగ్
క్రమానుగత క్లస్టరింగ్ వ్యూహం వేర్వేరు క్లస్టర్కు కేటాయించిన ప్రతి డేటా పాయింట్తో ప్రారంభమవుతుంది. ఒకదానికొకటి దగ్గరగా ఉన్న రెండు సమూహాలు ఒకే క్లస్టర్గా మిళితం చేయబడతాయి. ఎగువన ఒక క్లస్టర్ మాత్రమే మిగిలి ఉండే వరకు పునరావృత విలీనం కొనసాగుతుంది.
ఈ పద్ధతిని బాటమ్-అప్ లేదా అగ్లోమెరేటివ్ అంటారు. మీరు ఒకే క్లస్టర్తో ముడిపడి ఉన్న అన్ని డేటా ఐటెమ్లతో ప్రారంభించి, ఆపై ప్రతి డేటా ఐటెమ్ను ప్రత్యేక క్లస్టర్గా కేటాయించే వరకు స్ప్లిట్లను నిర్వహిస్తే, ఈ పద్ధతిని టాప్-డౌన్ లేదా డివైసివ్ హైరార్కికల్ క్లస్టరింగ్ అంటారు.
అప్రియోరి అల్గోరిథం
మార్కెట్ బాస్కెట్ విశ్లేషణ అప్రియోరి అల్గారిథమ్లను ప్రాచుర్యం పొందింది, ఫలితంగా మ్యూజిక్ ప్లాట్ఫారమ్లు మరియు ఆన్లైన్ స్టోర్ల కోసం వివిధ సిఫార్సు ఇంజిన్లు వచ్చాయి.
ఒక ఉత్పత్తిని మరొక దాని వినియోగం ఆధారంగా వినియోగించే సంభావ్యతను అంచనా వేయడానికి, తరచుగా ఐటెమ్సెట్లు లేదా వస్తువుల సమూహాలను కనుగొనడానికి లావాదేవీల డేటాసెట్లలో అవి ఉపయోగించబడతాయి.
ఉదాహరణకు, నేను Spotifyలో OneRepublic రేడియోను “కౌంటింగ్ స్టార్స్”తో ప్లే చేయడం ప్రారంభించినట్లయితే, ఈ ఛానెల్లోని ఇతర పాటల్లో ఒకటి ఖచ్చితంగా “బ్యాడ్ లైయర్” వంటి ఇమాజిన్ డ్రాగన్ పాటగా ఉంటుంది.
ఇది నా మునుపటి శ్రవణ అలవాట్లతో పాటు ఇతరుల వినే విధానాలపై ఆధారపడి ఉంటుంది. అప్రియోరి పద్దతులు హ్యాష్ ట్రీని ఉపయోగించి ఐటెమ్సెట్లను గణిస్తాయి, డేటాసెట్ వెడల్పును మొదటిగా దాటుతాయి.
డైమెన్షియాలిటీ తగ్గింపు
డైమెన్షనాలిటీ తగ్గింపు అనేది డేటాసెట్లోని ఫీచర్ల సంఖ్యను - లేదా కొలతలు - తగ్గించడానికి వ్యూహాల సేకరణను ఉపయోగించే ఒక విధమైన పర్యవేక్షించబడని అభ్యాసం. మాకు స్పష్టం చేయడానికి అనుమతించండి.
మీది సృష్టించేటప్పుడు వీలైనంత ఎక్కువ డేటాను చేర్చడం ఉత్సాహం కలిగిస్తుంది మెషిన్ లెర్నింగ్ కోసం డేటాసెట్. మమ్మల్ని తప్పుగా భావించవద్దు: ఎక్కువ డేటా సాధారణంగా మరింత ఖచ్చితమైన ఫలితాలను అందిస్తుంది కాబట్టి ఈ వ్యూహం బాగా పనిచేస్తుంది.
డేటా N-డైమెన్షనల్ స్పేస్లో నిల్వ చేయబడిందని భావించండి, ప్రతి ఫీచర్ విభిన్న కోణాన్ని సూచిస్తుంది. చాలా డేటా ఉంటే వందల కొద్దీ కొలతలు ఉండవచ్చు.
Excel స్ప్రెడ్షీట్లను పరిగణించండి, నిలువు వరుసలను సూచించే లక్షణాలు మరియు అడ్డు వరుసలు డేటా అంశాలను సూచిస్తాయి. చాలా కొలతలు ఉన్నప్పుడు, ML అల్గారిథమ్లు పేలవంగా పని చేస్తాయి మరియు డేటా విజువలైజేషన్ కష్టంగా మారవచ్చు.
కనుక ఇది లక్షణాలు లేదా పరిమాణాలను పరిమితం చేయడం మరియు సంబంధిత సమాచారాన్ని తెలియజేయడం తార్కికంగా చేస్తుంది. డైమెన్షనాలిటీ తగ్గింపు అంతే. ఇది డేటాసెట్ యొక్క సమగ్రతను రాజీ పడకుండా నిర్వహించదగిన డేటా ఇన్పుట్లను అనుమతిస్తుంది.
ప్రిన్సిపల్ కాంపోనెంట్ అనాలిసిస్ (పిసిఎ)
ప్రధాన భాగం విశ్లేషణ డైమెన్షియాలిటీ తగ్గింపు విధానం. భారీ డేటాసెట్లలోని లక్షణాల సంఖ్యను తగ్గించడానికి ఇది ఉపయోగించబడుతుంది, దీని ఫలితంగా ఖచ్చితత్వాన్ని త్యాగం చేయకుండా ఎక్కువ డేటా సరళత లభిస్తుంది.
ఫీచర్ ఎక్స్ట్రాక్షన్ అని పిలువబడే పద్ధతి ద్వారా డేటాసెట్ కంప్రెషన్ సాధించబడుతుంది. అసలు సెట్లోని ఎలిమెంట్స్ కొత్త, చిన్నదానికి మిళితమై ఉన్నాయని ఇది సూచిస్తుంది. ఈ కొత్త లక్షణాలను ప్రాథమిక భాగాలుగా పిలుస్తారు.
వాస్తవానికి, మీ పర్యవేక్షించబడని అభ్యాస అనువర్తనాల్లో మీరు ఉపయోగించగల అదనపు అల్గారిథమ్లు ఉన్నాయి. పైన జాబితా చేయబడినవి అత్యంత ప్రబలమైనవి, అందుకే అవి మరింత వివరంగా చర్చించబడ్డాయి.
పర్యవేక్షించబడని అభ్యాసం యొక్క అప్లికేషన్
- ఆబ్జెక్ట్ రికగ్నిషన్ వంటి విజువల్ పర్సెప్షన్ టాస్క్ల కోసం పర్యవేక్షించబడని అభ్యాస పద్ధతులు ఉపయోగించబడతాయి.
- పర్యవేక్షించబడని మెషిన్ లెర్నింగ్ అనేది ఇమేజ్ ఐడెంటిఫికేషన్, క్లాసిఫికేషన్ మరియు సెగ్మెంటేషన్ వంటి మెడికల్ ఇమేజింగ్ సిస్టమ్లకు కీలకమైన అంశాలను అందిస్తుంది, ఇవి రోగులను వేగంగా మరియు విశ్వసనీయంగా నిర్ధారించడానికి రేడియోలజీ మరియు పాథాలజీలో ఉపయోగించబడతాయి.
- వినియోగదారుల ప్రవర్తనపై గత డేటాను ఉపయోగించి మరింత ప్రభావవంతమైన క్రాస్-సెల్లింగ్ వ్యూహాలను రూపొందించడానికి ఉపయోగించే డేటా ట్రెండ్లను గుర్తించడంలో పర్యవేక్షించబడని అభ్యాసం సహాయపడుతుంది. చెక్అవుట్ ప్రక్రియ సమయంలో, క్లయింట్లకు సరైన యాడ్-ఆన్లను సూచించడానికి ఆన్లైన్ వ్యాపారాలు దీనిని ఉపయోగిస్తాయి.
- పర్యవేక్షించబడని అభ్యాస పద్ధతులు అవుట్లయర్లను కనుగొనడానికి అపారమైన డేటాను జల్లెడ పట్టవచ్చు. ఈ అసాధారణతలు పనిచేయని పరికరాలు, మానవ తప్పిదాలు లేదా భద్రతా ఉల్లంఘనల నోటీసును పెంచుతాయి.
పర్యవేక్షించబడని అభ్యాసంతో సమస్యలు
పర్యవేక్షించబడని అభ్యాసం ముఖ్యమైన అంతర్దృష్టులను కనుగొనే సామర్థ్యం నుండి వివిధ మార్గాల్లో ఆకర్షణీయంగా ఉంటుంది ఖరీదైన డేటా లేబులింగ్ను నివారించడానికి డేటా ఆపరేషన్లు. అయితే, శిక్షణ కోసం ఈ వ్యూహాన్ని ఉపయోగించడంలో అనేక లోపాలు ఉన్నాయి యంత్ర అభ్యాస నమూనాలు మీరు తెలుసుకోవాలి అని. ఇవి కొన్ని ఉదాహరణలు.
- ఇన్పుట్ డేటాలో ప్రతిస్పందన కీలుగా పనిచేసే లేబుల్లు లేనందున, పర్యవేక్షించబడని అభ్యాస నమూనాల ఫలితాలు తక్కువ ఖచ్చితమైనవి కావచ్చు.
- పర్యవేక్షించబడని అభ్యాసం తరచుగా భారీ డేటాసెట్లతో పని చేస్తుంది, ఇది గణన సంక్లిష్టతను పెంచుతుంది.
- ఈ విధానానికి మానవులు, విచారణ విషయంలో అంతర్గత లేదా బాహ్య నిపుణుల ద్వారా అవుట్పుట్ నిర్ధారణ అవసరం.
- అల్గారిథమ్లు శిక్షణా దశ అంతటా సాధ్యమయ్యే ప్రతి దృష్టాంతాన్ని తప్పనిసరిగా పరిశీలించాలి మరియు గణించాలి, దీనికి కొంత సమయం పడుతుంది.
ముగింపు
నిర్దిష్ట మార్కెట్లో పోటీతత్వాన్ని నెలకొల్పడానికి సమర్థవంతమైన డేటా వినియోగం కీలకం.
మీ లక్ష్య ప్రేక్షకుల ప్రాధాన్యతలను పరిశీలించడానికి లేదా నిర్దిష్ట చికిత్సకు నిర్దిష్ట ఇన్ఫెక్షన్ ఎలా స్పందిస్తుందో తెలుసుకోవడానికి మీరు పర్యవేక్షించబడని మెషీన్ లెర్నింగ్ అల్గారిథమ్లను ఉపయోగించి డేటాను విభజించవచ్చు.
అనేక ఆచరణాత్మక అనువర్తనాలు ఉన్నాయి మరియు డేటా శాస్త్రవేత్తలు, ఇంజనీర్లు మరియు ఆర్కిటెక్ట్లు మీ లక్ష్యాలను నిర్వచించడంలో మరియు మీ కంపెనీ కోసం ప్రత్యేకమైన ML పరిష్కారాలను అభివృద్ధి చేయడంలో మీకు సహాయపడగలరు.
సమాధానం ఇవ్వూ