Гарчиг[Нуух][Үзүүлэх]
Өгөгдөл таны эргэн тойронд хаа сайгүй байдаг. Жинхэнэ утгаараа энэ нь таны бизнесийн бүх тал дээр нөлөөлдөг. Өгөгдлөө хэрхэн зохицуулах талаар шийдвэр гаргахад санаа зовсон үед энэ нь таны бизнест хэр сайн үйлчилж байгааг судлах хангалттай цаг хугацаа байхгүй мэт санагдаж магадгүй юм.
Үүнийг ажиглаарай. Танай байгууллага 24 цагийн турш дата ашиглаж байна. Тиймээс энэ нь хаанаас ирсэн, яаж тэнд очсон, компанийг дамжин хэрхэн явж байгааг ойлгох нь түүний үнэ цэнийг ойлгоход маш чухал юм.
Энэ нөхцөлд өгөгдлийн удам угсаа чухал болно. Өгөгдлийн гарал үүсэл, шилжилт хөдөлгөөн, өөрчлөлтийг хянах боломжтой бол өгөгдөл хэрхэн үүссэн, хаанаас ирсэн, хаашаа явж байгааг ойлгоход хялбар байдаг.
Энэ нийтлэлд бид Data Lineage, энэ нь хэрхэн ажилладаг, ашиглах тохиолдол, арга техник болон бусад зүйлийг нарийвчлан авч үзэх болно.
Data Lineage гэж юу вэ?
Мэдээллийн удам угсаа нь дижитал паспортын нэг төрөл болдог. Энэ бол өгөгдлийн аяллын хамгийн дэлгэрэнгүй мэдээлэл бөгөөд түүний бүх зогсолт, тойруу зам, гарал үүслээс нь эцсийн хүрэх газар хүртэлх өөрчлөлтийг нарийвчлан тусгасан болно.
IҮндсэндээ өгөгдлийн шугам гэдэг нь олон систем, платформ дээрх өгөгдлийн гарал үүсэл, өөрчлөлт, ашиглалтыг тодорхойлдог. Энэ нь хэрэглэгчдэд өгөгдөл хэрхэн үйлдвэрлэсэн, хаанаас үүссэн, хэрхэн ашигласан талаарх мэдээллийг өгөх замаар мөрдөгчний үүрэг гүйцэтгэдэг. Энэ мэдээлэл нь хэрэглэгчдэд аливаа болзошгүй асуудлыг таньж, шийдвэрлэх боломжийг олгодог.
Мэдээллийн удам угсаа нь хэн, юу, хэзээ, хаана гэх мэт чухал асуултуудад хариулах боломжийг хэрэглэгчдэд олгодог учраас үйл ажиллагаагаа явуулахдаа өгөгдөлд тулгуурладаг компаниудын хувьд үнэлж баршгүй нөөц юм.
Өгөгдлийн удам угсаа нь энгийнээр хэлбэл өгөгдлийн үнэн зөв, бүрэн бүтэн байдал, тууштай байдлыг баталгаажуулж, өгөгдлийн бүрэн замыг тодорхой бөгөөд товчоор харах боломжийг олгодог мэдээллийн эцсийн зам юм.
Data Lineage хэрхэн ажилладаг вэ?
Өгөгдлийн шугам гэдэг нь өгөгдлийн эхэн цэгээс эцсийн цэг хүртэл дагах боломжийг бидэнд олгодог замын зураглал юм. Дата цэгийг аялагчийн хувьд, паспорт нь түүний өгөгдлийн удам гэж үзээд энэ нь хэрхэн ажилладагийг илүү сайн ойлгох болно.
Өгөгдлийн эх үүсвэр, өгөгдөл хувиргах, өгөгдөл хадгалах, мэдээллийн гаралт нь паспортын үндсэн дөрвөн бүрэлдэхүүн хэсгийг бүрдүүлдэг.
Өгөгдөл үүссэн олон систем, программууд, платформууд нь өгөгдлийн аяллын эхлэлийн цэг болдог өгөгдлийн эх сурвалжаар илэрхийлэгддэг. Өгөгдлийн хувиргалт нь дараагийн үе шат бөгөөд өгөгдлийн удам угсаа нь эдгээр эх сурвалжаас өгөгдлийн явцын графикийг харуулдаг.
Өгөгдлийн хувиргалт нь хэрэглэгчийн хэрэгцээнд нийцүүлэн өгөгдлийг хэлбэржүүлэх, өөрчлөх, удирдахыг хэлнэ. Энэ нь өгөгдлийн аяллын үеэр амрах зогсоол болж, дараагийн хөлд бэлддэг.
Дараа нь өгөгдөл нь эцсийн байршил руугаа орохоос өмнө хадгалагдана. Үүнийг үүлэн сервер, мэдээллийн сан эсвэл өөр төрлийн хадгалах төхөөрөмж дээр хадгалах боломжтой. Өгөгдлийн удам угсаа нь өгөгдөл хаана хадгалагдаж байгаа, түүнчлэн хэрхэн хамгаалагдсан, нөөцлөгдсөн, сэргээгдсэн зэргийг хянаж байдаг.
Эцсийн алхам бол өгөгдлийн гаралт бөгөөд энэ нь өгөгдлийг ашиглахаар илгээдэг. Тайлан, инфографик эсвэл бусад төрлийн өгөгдлийн бүтээгдэхүүнийг танилцуулахад ашиглаж болно. Өгөгдлийн шугам нь гаралтыг хянаж, өгөгдлийн тууштай, үнэн зөв, бүрэн бүтэн байдлыг баталгаажуулдаг.
Өгөгдлийн шугам нь үндсэндээ өгөгдлийн эхлэлээс гарах хүртэлх үе шат бүрийг бүртгэж, найдвартай, тууштай, зөв хэвээр байгаа эсэхийг баталгаажуулах замаар ажилладаг. Өгөгдлийн удам угсаа нь байгууллагуудад өгөгдлийн оршин тогтнолыг бүрэн дүүрэн харуулах замаар боловсролтой шийдвэр гаргах, асуудлыг засах, хууль ёсны үүргээ биелүүлэхэд тусалдаг.
Өгөгдлийн хөрөнгө болон тэдгээр нь мэдээллийн шугамаар хэрхэн дамждагийг ойлгохын тулд мета өгөгдөл нь өгөгдлийн удам угсааны үйл явцын чухал хэсэг юм.
Та өгөгдлийн урсгалыг дүрслэн харуулахын тулд мета өгөгдлийг ашигладаг өгөгдлийн шугамын хэрэгслийг ашиглан байгууллага дотор өгөгдлийг хэрхэн хөрвүүлж, ашиглаж байгааг харж болно. Энэ нь хэрэглэгчдэд өгөгдлийн боломжуудыг үнэлэх боломжийг олгодог бөгөөд ингэснээр илүү сайн мэдээлэлтэй шийдвэр гаргахад тусалдаг.
Өгөгдлийн удам угсааны төрлүүд
Өгөгдлийн шугамын үндсэн гурван хэлбэр байдаг: өгөгдлийн урд шугам, хоцрогдсон өгөгдлийн шугам, хоёр чиглэлтэй мэдээллийн шугам.
Өгөгдлийн удам дамжсан
Нэг чиглэлтэй гудамжны нэгэн адил өгөгдлийн дамжлага нь өгөгдлийн хэсгийг эхлэлээс нь төгсгөл хүртэл нь хянах явдал юм. Өгөгдлийн эх сурвалжаас эхлээд гаралтдаа хүрэхийн тулд хэд хэдэн хувиргалт, хадгалалтын системээр дамжин өгөгдлийг дагаж мөрддөг.
Мэдээллийн боловсруулалт, хувиргалт, түүнчлэн замд гарч болзошгүй аливаа асуудлыг ойлгох нь ийм төрлийн өгөгдлийн удам угсаатай байх нь хялбар болно. Алхам бүр дараагийн алхам руу хөтөлдөг; энэ нь талхны үйрмэгийн мөрөөр явахтай адил юм.
Өгөгдлийн хоцрогдсон удам угсаа
Өгөгдлийн удам угсаа нь урвуу аялалтай төстэй бөгөөд бид өгөгдлийн гаралтыг эх сурвалж руу нь буцаадаг. Процесс нь өгөгдлийн эцсийн байршлаас эхэлж, мэдээллийн эх үүсвэрт хүрэх хүртэл янз бүрийн хадгалах, хувиргах техникээр хойш урагшилдаг.
Мэдээллийн эх сурвалжийг тодорхойлох, түүний хувиргалтыг ойлгох, үнэн зөв, бүрэн эсэхийг шалгах нь энэ төрлийн өгөгдлийн шугамын тусламжтайгаар боломжтой юм. Энэ нь мөрдөгчний хэрэгсэл шиг ажилладаг бөгөөд бидэнд өгөгдлийн замыг буцаах боломжийг олгодог.
Хоёр чиглэлтэй өгөгдлийн шугам
Хоёр чиглэлтэй, хоёр чиглэлтэй өгөгдлийн шугам нь урагш болон хойшлогдсон мэдээллийн шугамын давуу талыг хослуулсан. Энэ нь өгөгдлийн эх сурвалжаас хүрэх газар, мөн тухайн газраас эхлэх цэг хүртэлх замыг хянах замаар өгөгдлийн чиг хандлагыг иж бүрэн харах боломжийг олгодог.
Өгөгдлийн эх сурвалжийг тодорхойлох, хэрхэн өөрчлөгдсөнийг ойлгох, чанар, тууштай байдал, бүрэн бүтэн байдлыг хангахын тулд өгөгдлийн удам угсааг хянах нь тустай. Байршил, статусын талаарх бодит мэдээлэлтэй бол энэ нь өгөгдөлд зориулсан GPS трекертэй адил юм.
Data Lineage-ийн хэрэгжилт
Байгууллагад мэдээллийн шугамыг хэрэгжүүлэх нь ихэвчлэн дараах үе шатуудыг агуулдаг.
Өгөгдлийн эх үүсвэрийг тодорхойлох
Таны хянахыг хүсч буй өгөгдлийг агуулсан систем, мэдээллийн санг бүгдийг нь тодорхойлсон байх ёстой. Үүнийг хийхийн тулд та эхлээд файл, API, үүлэн үйлчилгээ зэрэг янз бүрийн мэдээллийн эх сурвалжийг тодорхойлох ёстой.
Мета өгөгдлийг цуглуул
Дараагийн шат нь өгөгдлийн байршил, хэлбэр, зохион байгуулалт зэрэг дэлгэрэнгүй мэдээллийг олж авах явдал юм. Мэдээллийн онцлог, түүнийг хэрхэн ашиглах талаар ойлгох нь энэхүү мета өгөгдлийн тусламжтайгаар боломжтой болно.
Өгөгдлийн дутагдлыг тодорхойлох
Хэрэв өгөгдлийн урсгалыг эх сурвалжаас нь хүрэх газар хүртэл нь, тэр дундаа маршрутын дагуу хийгдэж буй аливаа өөрчлөлт, боловсруулалтыг оруулбал өгөгдөл хэрхэн шинэчлэгдэж, байгууллагын дотор ашиглагдаж байгааг ойлгоход хялбар болно.
Өгөгдлийн хандалтыг хянах
Өгөгдлийн аюулгүй байдал, нийцлийг хангахын тулд өгөгдөлд хэн нэвтэрч байгааг хянаж, бүртгээрэй.
Удам угсааг хадгалж, дүрслэн харуулах
Удам угсаагаа танилцуулахын тулд дүрслэх хэрэгслийг ашиглан энгийн ойлголт, дүн шинжилгээ хийх. Цуглуулсан мета өгөгдөл болон өгөгдлийн урсгалын мэдээллийг нэг санд хадгална.
Автоматжуулсан шийдлийг хэрэгжүүлэх
Та автоматжуулалтаар дамжуулан өгөгдөл цуглуулж, хянаж байгаа эсэхийг шалгах боломжтой бөгөөд энэ нь алдааг багасгаж, бүтээмжийг нэмэгдүүлэхэд тусална.
Хянах, шинэчлэх
Удам угсааны бүртгэлийг тогтмол, зөв, шинэчилж, зохих ёсоор шинэчилж байх.
Байгууллага бүрийн өвөрмөц шаардлага, хязгаараас хамааран хэрэгжүүлэх үйл явцыг өөрчлөх эсвэл үе шаттайгаар нэмэх шаардлагатай байж болно.
Өгөгдлийн удам угсааны техник
Загвар дээр суурилсан удам угсаа
Энэ аргын тусламжтайгаар өгөгдлийг үүсгэсэн эсвэл өөрчилсөн программчлалтай харилцах шаардлагагүйгээр удам угсаа гарна. Хүснэгт, багана, бизнесийн тайлангийн мета өгөгдлийн үнэлгээ нь бүгд түүний нэг хэсэг юм. Энэ мета өгөгдлийг ашиглан чиг хандлагыг хайж, удам угсааг судалдаг.
Жишээлбэл, ижил нэртэй, ижил өгөгдлийн утгатай хоёр өгөгдлийн багц дахь багана нь оршин тогтнох янз бүрийн үе шатанд ижил өгөгдлийг төлөөлөх магадлал өндөр байдаг. Дараа нь эдгээр хоёр баганыг холбохын тулд өгөгдлийн шугамын диаграммыг ашиглана.
Загварт суурилсан удам угсаа нь өгөгдөл боловсруулах аргыг биш зөвхөн өгөгдлийг шалгадаг тул технологиос хараат бус байх нь чухал ач холбогдолтой юм. Oracle, MySQL, Spark зэрэг өгөгдлийн сангийн ямар ч технологи үүнийг ижил аргаар хэрэгжүүлж чадна. Сул тал нь энэ арга нь үргэлж нарийн байдаггүй.
Мэдээллийн боловсруулалтын логик нь компьютерийн кодонд нуугдаж, хүний унших боломжтой мета өгөгдөлд тийм ч тод харагдахгүй байгаа тохиолдолд энэ нь өгөгдлийн багц хоорондын харилцааг хааяа үл тоомсорлодог.
Өгөгдлийн шошгололтоор удам угсаа
Энэ арга нь хувиргах хөдөлгүүр нь өгөгдлийг тэмдэглэдэг эсвэл өөр аргаар тэмдэглэдэг гэсэн ойлголт дээр тулгуурладаг. Энэ нь удам угсаа олохын тулд шошгыг эхнээс нь дуустал мөрддөг. Хэрэв танд бүх өгөгдөл дамжуулах найдвартай хувиргах хэрэгсэл байгаа бөгөөд уг хэрэгсэлд ашигладаг шошгын бүтцийг мэддэг бол энэ арга нь амжилтанд хүрч чадна.
Ийм хэрэгсэл байх байсан ч түүнгүйгээр үүсгэгдсэн эсвэл өөрчилсөн ямар ч өгөгдөл нь өгөгдлийн шошгололтоор удам угсаатай байх боломжгүй. Энэ нь хаалттай мэдээллийн систем дээр өгөгдлийн шугамыг гүйцэтгэхэд хязгаарлагдмал.
Бие даасан удам угсаа
Зарим бизнесүүд мета өгөгдөл хадгалах, боловсруулах логик, мастер өгөгдлийн менежмент (MDM) зэрэг мэдээллийн орчинтой байдаг. Эдгээр тохиргоонд ихэвчлэн a мэдээллийн нуур бүх өгөгдөл нь амьдралынхаа туршид хадгалагддаг.
Удам угсаа нь нэмэлт эх үүсвэр шаардахгүйгээр ийм бие даасан системээр байгалийн жамаар хангагдах боломжтой. Гэсэн хэдий ч, өгөгдөл шошголох аргын нэгэн адил удам угсаа нь энэхүү зохицуулалттай орчноос гадуур тохиолддог аливаа зүйлийг мэддэггүй.
Шинжилгээгээр өгөгдлийн удам угсаа
Удам угсааны хамгийн боловсронгуй төрөл бол өгөгдөл боловсруулах логикийг автоматаар уншдаг төрөл юм. Нарийвчилсан, төгсгөл хүртэл мөрдөхийн тулд энэ арга нь өгөгдлийг хувиргах логикийг урвуу инженерчилдэг.
Учир нь энэ шийдэл нь бүх зүйлийг ойлгох ёстой програмчлалын хэл болон өгөгдлийг хөрвүүлэх, зөөвөрлөхөд ашигладаг хэрэгслүүд, тэдгээрийн байршуулалт нь төвөгтэй байдаг. Энэ нь задлах-хувиргах ачааллын (ETL) логик, SQL болон Java-д суурилсан шийдлүүд, хуучин өгөгдлийн форматууд, XML-д суурилсан шийдлүүд болон бусад аргуудыг ашиглаж болно.
Өгөгдлийн удам угсаа ашиглах тохиолдол
Өгөгдлийн загварчлал
Компаниуд олон тооны өгөгдлийн зүйл, тэдгээрийн хоорондын холболтыг харуулахын тулд тэдгээрийг дэмжих үндсэн мэдээллийн бүтцийг бий болгох ёстой. Эдгээр холболтыг өгөгдлийн шугамыг ашиглан загварчилсан бөгөөд энэ нь өгөгдлийн экосистемд байгаа олон хамаарлыг харуулдаг.
Өгөгдөл цаг хугацааны явцад өөрчлөгддөг тул шинэ өгөгдлийн эх үүсвэрүүд байнга гарч ирдэг бөгөөд энэ нь шинэ өгөгдлийн интеграцчлал гэх мэтийг шаарддаг. Ийм учраас пүүсүүдийн өгөгдлөө удирдах ерөнхий өгөгдлийн загвар нь хүрээлэн буй орчныг харгалзан өөрчлөх ёстой.
Дагаж мөрдөх
Өгөгдлийн удам угсаа нь аудит хийх, эрсдэлийн удирдлагыг сайжруулах, өгөгдлийг мэдээллийн засаглалын бодлого, хууль тогтоомжийн дагуу хадгалж, боловсруулахад нийцлийн аргыг санал болгодог.
Нөлөөллийн шинжилгээ
Бизнесийн тодорхой өөрчлөлтүүдийн үр нөлөө, тухайлбал, өгөгдлийн удам угсааны хэрэгслүүдийг ашиглан доод урсгалын тайлангуудыг харж болно. Жишээлбэл, өгөгдлийн удам угсаа нь нэрийн өөрчлөлт нь хэдэн хяналтын самбарт нөлөөлж, улмаар хэчнээн хүн энэ тайланд хандахыг тодорхойлоход удирдах ажилтнуудад тусална.
Өгөгдлийн шилжилт
Байгууллагууд өгөгдлийг шинэ хадгалах системд шилжүүлэх эсвэл шинэ программ хангамжийг хэрэгжүүлэхээс өмнө хаана байрлаж, хэр удаан байгааг ойлгохын тулд өгөгдөл шилжүүлэх аргыг ашигладаг.
Өгөгдлийн удам угсаа нь багуудад өгөгдөл нь байгууллага даяар хэрхэн шилжсэн талаар тоймлон харуулах замаар системийг шинэчлэх эсвэл шилжүүлэхэд бэлтгэхэд тусалдаг. Энэ нь ерөнхийдөө шинэ хадгалах орчинд шилжүүлэхийг хурдасгадаг.
Нэмж дурдахад, энэ нь хуучирсан эсвэл хэрэггүй өгөгдлийг архивлах, устгах замаар өгөгдлийн системийг устгах боломжийг багуудад олгодог. Ингэснээр өгөгдлийн систем ерөнхийдөө илүү сайн ажиллаж, мэдээллийн менежмент бага шаарддаг.
Өгөгдлийн шугамыг хэрэгжүүлэхэд тулгарч буй бэрхшээлүүд
- Өгөгдлийн аюулгүй байдал: Өгөгдлийн удам угсаа үүсгэх үед мэдээллийн аюулгүй байдал нь хамгийн чухал асуудал юм. Өгөгдлийн аяллыг эхнээс нь эцсийн цэг хүртэл дагахын тулд нууц өгөгдөлд хандах эрх олгох ёстой бөгөөд энэ өгөгдлийг зөвшөөрөлгүй нэвтрэх, зөрчлөөс хамгаалах ёстой.
- Стандартчилал дутмаг: Мэдээллийн удам угсааг нэвтрүүлэхэд тулгарч буй гол бэрхшээлүүдийн нэг нь стандарт дутагдалтай байдаг. Олон платформууд, програмууд болон системүүд нь өгөгдлийн гарал үүслийг хянах, бүртгэх өвөрмөц аргуудыг ашигладаг тул өгөгдлийн аяллын нэгдсэн зургийг нэгтгэхэд хэцүү байж болно.
- Өгөгдлийн силос: Мэдээллийн силос нь өгөгдлийн шугамыг хэрэгжүүлэх явцад үүсдэг өөр нэг асуудал юм. Өгөгдөл нь хэд хэдэн програм, системд тархсан үед нэгээс нөгөө рүү шилжих замыг хянахад бэрхшээлтэй байж болно. Энэ нь өгөгдлийн удам угсаа буруу эсвэл бүрэн бус байдалд хүргэж болзошгүй.
Дүгнэлт
Дүгнэж хэлэхэд, мэдээллийн удам угсаа нь өгөгдөлд суурилсан аж ахуйн нэгж бүрийн чухал хэсэг юм. Энэ нь өгөгдлийн эхлэл цэгээс дуусах цэг хүртэлх замыг иж бүрэн харах боломжийг санал болгож, түүний үнэн зөв, бүрэн бүтэн байдал, тууштай байдлыг баталгаажуулдаг.
Ирээдүйд өгөгдлийн шугамын автоматжуулалт, стандартчилал нэмэгдэж, байгууллагын хэрэгжилт, засвар үйлчилгээ илүү хялбар болно. Эцэст нь өгөгдлийн удам угсааны ач холбогдлыг онцолж болохгүй.
Энэ нь компаниудад ухаалаг сонголт хийх, үйл ажиллагаагаа илүү үр ашигтай явуулах, амжилтанд хүрэхэд шаардлагатай арга хэрэгслийг өгдөг.
хариу үлдээх