ডেটা প্ল্যাটফর্ম সম্পর্কে চিন্তা করার সময় উপলব্ধ সমস্ত পরিষেবা এবং স্থাপত্য বিকল্পগুলি বিবেচনা করা একটু কঠিন হতে পারে।
একটি এন্টারপ্রাইজ ডেটা প্ল্যাটফর্মে প্রায়শই ডেটা গুদাম, ডেটা মডেল, ডেটা লেক এবং রিপোর্ট থাকে, যার প্রত্যেকটির একটি নির্দিষ্ট উদ্দেশ্য এবং প্রয়োজনীয় দক্ষতা রয়েছে। বিপরীতে, গত কয়েক বছরে ডেটা লেকহাউস নামে একটি নতুন নকশা আবির্ভূত হয়েছে।
ডাটা লেক এবং ডাটা গুদাম ডাটা ম্যানেজমেন্টের বহুমুখীতা একটি বৈপ্লবিক ডেটা স্টোরেজ আর্কিটেকচারে একত্রিত হয় যাকে "ডেটা লেকহাউস" বলা হয়।
আমরা এই পোস্টে ডেটা লেকহাউস এর উপাদান, বৈশিষ্ট্য, স্থাপত্য এবং অন্যান্য দিকগুলি সহ গভীরভাবে পরীক্ষা করব।
ডেটা লেকহাউস কি?
নাম থেকে বোঝা যায়, একটি ডেটা লেকহাউস হল একটি নতুন ধরণের ডেটা আর্কিটেকচার যা একটি ডেটা লেককে একটি ডেটা গুদামের সাথে একত্রিত করে প্রতিটির ত্রুটিগুলি আলাদাভাবে সমাধান করতে।
সারমর্মে, লেকহাউস সিস্টেমটি ডাটা লেকের মতো তাদের মূল আকারে প্রচুর পরিমাণে ডেটা বজায় রাখতে সস্তা স্টোরেজ ব্যবহার করে। স্টোরের উপরে মেটাডেটা লেয়ার যোগ করা ডাটা স্ট্রাকচারও দেয় এবং ডেটা ওয়ারহাউসে পাওয়া ডেটা ম্যানেজমেন্ট টুলসকে ক্ষমতা দেয়।
এটি তাদের প্রতিষ্ঠান জুড়ে ব্যবহৃত বিভিন্ন ব্যবসায়িক অ্যাপ্লিকেশন, সিস্টেম এবং গ্যাজেট থেকে পাওয়া বিপুল পরিমাণে সংগঠিত, আধা-কাঠামোগত এবং অসংগঠিত ডেটা সংরক্ষণ করে।
বেশিরভাগ সময়, ডেটা লেকগুলি খোলা, জেনেরিক ফাইল ফর্ম্যাটে ডেটা সংরক্ষণ করতে একটি ফাইল অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস (API) সহ কম খরচে স্টোরেজ অবকাঠামো ব্যবহার করে।
এটি অনেক দলের জন্য বিভিন্ন উদ্যোগের জন্য একটি একক সিস্টেমের মাধ্যমে কোম্পানির সমস্ত ডেটা অ্যাক্সেস করা সম্ভব করে তোলে, যেমন ডেটা সায়েন্স, মেশিন লার্নিং, এবং ব্যবসায়িক বুদ্ধিমত্তা।
বৈশিষ্ট্য
- কম খরচে স্টোরেজ। একটি ডেটা লেকহাউস অবশ্যই সস্তা বস্তু স্টোরেজে ডেটা সঞ্চয় করতে সক্ষম হবে, যেমন গুগল ক্লাউড স্টোরেজ, Azure ব্লব স্টোরেজ, অ্যামাজন সিম্পল স্টোরেজ সার্ভিস, বা স্থানীয়ভাবে ORC বা Parquet ব্যবহার করে।
- ডেটা অপ্টিমাইজেশানের জন্য ক্ষমতা: ডেটা লেআউট অপ্টিমাইজেশান, ক্যাশিং এবং ইনডেক্সিং হল কয়েকটি উদাহরণ যে কীভাবে একটি ডেটা লেকহাউস ডেটার আসল ফর্ম্যাট বজায় রেখে ডেটা অপ্টিমাইজ করতে সক্ষম হবে।
- লেনদেন সংক্রান্ত মেটাডেটার একটি স্তর: প্রয়োজনীয় স্বল্প-মূল্যের স্টোরেজের উপরে, এটি ডেটা গুদাম কার্যক্ষমতার জন্য গুরুত্বপূর্ণ ডেটা পরিচালনার ক্ষমতা সক্ষম করে।
- ঘোষণামূলক ডেটাফ্রেম API-এর জন্য সমর্থন: বেশিরভাগ AI সরঞ্জামগুলি কাঁচা অবজেক্ট স্টোর ডেটা পুনরুদ্ধার করতে ডেটাফ্রেম ব্যবহার করতে পারে। Declarative DataFrame API-এর জন্য সমর্থন নির্দিষ্ট ডেটা সায়েন্স বা AI টাস্কের প্রতিক্রিয়ায় ডাটাগুলির উপস্থাপনা এবং কাঠামোকে গতিশীলভাবে উন্নত করার ক্ষমতা বাড়ায়।
- ACID লেনদেনের জন্য সমর্থন: সংক্ষিপ্ত ACID, যা পরমাণু, সামঞ্জস্য, বিচ্ছিন্নতা এবং স্থায়িত্ব বোঝায়, একটি লেনদেন সংজ্ঞায়িত করার এবং ডেটার ধারাবাহিকতা এবং নির্ভরযোগ্যতা নিশ্চিত করার জন্য একটি গুরুত্বপূর্ণ উপাদান। এই ধরনের লেনদেন আগে শুধুমাত্র ডাটা গুদামে সম্ভব ছিল, কিন্তু লেকহাউস ডেটা লেকের সাথে তাদের ব্যবহার করার বিকল্প অফার করে যেমন. সমসাময়িক ডেটা রিড এবং রাইট সহ বেশ কয়েকটি ডেটা পাইপলাইন সহ, এটি পরবর্তীটির কম ডেটা মানের সমস্যা সমাধান করে।
ডেটা লেকহাউসের উপাদান
ডেটা লেকহাউসের স্থাপত্য একটি উচ্চ স্তরে দুটি প্রধান স্তরে বিভক্ত। স্টোরেজ লেয়ারের ডেটা গ্রহণ লেকহাউস প্ল্যাটফর্ম (অর্থাৎ, ডেটা লেক) দ্বারা নিয়ন্ত্রিত হয়।
ডেটা গুদামে ডেটা লোড করার প্রয়োজন ছাড়াই বা এটিকে একটি মালিকানাধীন বিন্যাসে রূপান্তর করার প্রয়োজন ছাড়াই, প্রক্রিয়াকরণ স্তরটি তখন সরাসরি বিভিন্ন সরঞ্জাম ব্যবহার করে স্টোরেজ স্তরে ডেটা অনুসন্ধান করতে সক্ষম হয়।
তারপর, BI অ্যাপস, সেইসাথে AI এবং ML প্রযুক্তি, ডেটা ব্যবহার করতে পারে৷ একটি ডেটা লেকের অর্থনীতি এই নকশা দ্বারা উপলব্ধ করা হয়, কিন্তু যেহেতু যেকোন প্রক্রিয়াকরণ ইঞ্জিন এই ডেটা পড়তে পারে, তাই ব্যবসায়গুলি বিভিন্ন সিস্টেমের দ্বারা বিশ্লেষণের জন্য প্রস্তুত ডেটা অ্যাক্সেসযোগ্য করার স্বাধীনতা রাখে৷ প্রক্রিয়াকরণ এবং বিশ্লেষণের জন্য এই পদ্ধতি ব্যবহার করে প্রসেসরের কর্মক্ষমতা এবং খরচ উভয়ই উন্নত করা যেতে পারে।
নিম্নলিখিত ACID (পরমাণু, সামঞ্জস্য, বিচ্ছিন্নতা এবং স্থায়িত্ব) মানদণ্ড মেনে চলা ডাটাবেস লেনদেনের জন্য সমর্থনের কারণে, আর্কিটেকচার অনেক পক্ষকে সিস্টেমের মধ্যে একসাথে ডেটা অ্যাক্সেস এবং লিখতে সক্ষম করে:
- পারমাণবিকতা একটি লেনদেন সম্পূর্ণ করার সময় সম্পূর্ণ লেনদেন বা এর কোনটিই সফল হয় না তা বোঝায়। একটি প্রক্রিয়া বাধাগ্রস্ত হলে, এটি ডেটা ক্ষতি বা দুর্নীতি এড়াতে সহায়তা করে।
- ঐক্য গ্যারান্টি লেনদেন একটি অনুমানযোগ্য, সামঞ্জস্যপূর্ণ পদ্ধতিতে ঘটে। এটি নিশ্চিত করে যে প্রতিটি ডেটা পূর্বনির্ধারিত নিয়ম অনুসারে বৈধ তা নিশ্চিত করে ডেটার অখণ্ডতা বজায় রাখে।
- অন্তরণ নিশ্চিত করে যে, এটি শেষ না হওয়া পর্যন্ত, সিস্টেমের মধ্যে অন্য কোনো লেনদেনের দ্বারা কোনো লেনদেন প্রভাবিত হবে না। এটি অসংখ্য পক্ষকে একে অপরের সাথে হস্তক্ষেপ না করে একই সিস্টেম থেকে একই সাথে পড়তে এবং লিখতে দেয়।
- স্থায়িত্ব গ্যারান্টি দেয় যে একটি সিস্টেমের ডেটাতে পরিবর্তনগুলি একটি লেনদেন শেষ হওয়ার পরেও বিদ্যমান থাকবে, এমনকি সিস্টেম ব্যর্থতার ক্ষেত্রেও। একটি লেনদেনের মাধ্যমে আনা যেকোনো পরিবর্তন চিরকালের জন্য ফাইলে রাখা হয়।
ডেটা লেকহাউস আর্কিটেকচার
ডেটাব্রিক্স (তাদের ডেল্টা লেক ধারণার উদ্ভাবক এবং ডিজাইনার) এবং AWS হল একটি ডেটা লেকহাউসের ধারণার জন্য দুটি প্রধান উকিল। আমরা এইভাবে লেকহাউসের স্থাপত্য বিন্যাস বর্ণনা করতে তাদের জ্ঞান এবং অন্তর্দৃষ্টির উপর নির্ভর করব।
একটি ডেটা লেকহাউস সিস্টেমে সাধারণত পাঁচটি স্তর থাকে:
- গ্রাস স্তর
- স্টোরেজ স্তর
- মেটাডেটা স্তর
- API স্তর
- খরচ স্তর
গ্রাস স্তর
সিস্টেমের প্রথম স্তরটি বিভিন্ন উত্স থেকে ডেটা সংগ্রহ করে স্টোরেজ স্তরে পাঠানোর দায়িত্বে রয়েছে। স্তরটি ব্যাচ এবং স্ট্রিমিং ডেটা প্রক্রিয়াকরণ ক্ষমতার সমন্বয় সহ অসংখ্য অভ্যন্তরীণ এবং বাহ্যিক উত্সের সাথে সংযোগ করতে বিভিন্ন প্রোটোকল ব্যবহার করতে পারে, যেমন
- NoSQL ডাটাবেস,
- ফাইল শেয়ার
- CRM অ্যাপ্লিকেশন,
- ওয়েবসাইট,
- আইওটি সেন্সর,
- সামাজিক মিডিয়া,
- একটি পরিষেবা হিসাবে সফ্টওয়্যার (SaaS) অ্যাপ্লিকেশন, এবং
- রিলেশনাল ডাটাবেস ম্যানেজমেন্ট সিস্টেম, ইত্যাদি
এই মুহুর্তে, ডেটা স্ট্রিমিংয়ের জন্য অ্যাপাচি কাফকা এবং RDBMS এবং NoSQL ডাটাবেস থেকে ডেটা আমদানির জন্য Amazon Data Migration Service (Amazon DMS) এর মতো উপাদানগুলি নিযুক্ত করা যেতে পারে।
স্টোরেজ স্তর
লেকহাউস আর্কিটেকচারের উদ্দেশ্য হল AWS S3-এর মতো সস্তা বস্তুর দোকানে অবজেক্ট হিসেবে বিভিন্ন ধরনের ডেটা সঞ্চয় করা। খোলা ফাইল ফরম্যাট ব্যবহার করে, ক্লায়েন্ট টুলগুলি স্টোর থেকে সরাসরি এই আইটেমগুলি পড়তে পারে।
এটি অনেক APIs এবং খরচ স্তর উপাদানগুলির জন্য একই ডেটা অ্যাক্সেস এবং ব্যবহার করা সম্ভব করে তোলে। মেটাডেটা স্তর স্ট্রাকচার্ড এবং সেমি-স্ট্রাকচার্ড ডেটাসেটের জন্য স্কিমাগুলি সংরক্ষণ করে যাতে উপাদানগুলি ডেটা পড়ার সাথে সাথে সেগুলিকে প্রয়োগ করতে পারে।
Hadoop ডিস্ট্রিবিউটেড ফাইল সিস্টেম (HDFS) প্ল্যাটফর্ম, উদাহরণস্বরূপ, ক্লাউড রিপোজিটরি পরিষেবাগুলি তৈরি করতে ব্যবহার করা যেতে পারে যা কম্পিউটিং এবং স্টোরেজ অন-প্রিমিসেসকে বিভক্ত করে। লেকহাউস এই পরিষেবাগুলির জন্য আদর্শভাবে উপযুক্ত।
মেটাডেটা স্তর
মেটাডেটা স্তর একটি ডেটা লেকহাউসের মৌলিক উপাদান যা এই নকশাটিকে আলাদা করে। এটি একটি একক ক্যাটালগ যা হ্রদে সঞ্চিত সমস্ত আইটেমের জন্য মেটাডেটা (অন্যান্য ডেটা টুকরা সম্পর্কে তথ্য) অফার করে এবং ব্যবহারকারীদের প্রশাসনিক ক্ষমতা নিয়োগ করতে দেয় যেমন:
- ডাটাবেসের একটি সামঞ্জস্যপূর্ণ সংস্করণ এসিআইডি লেনদেনের জন্য সমসাময়িক লেনদেন দ্বারা দেখা যায়;
- ক্লাউড অবজেক্ট স্টোর ফাইল সংরক্ষণ করতে ক্যাশিং;
- কোয়েরি প্রক্রিয়াকরণের গতি বাড়ানোর জন্য ইন্ডেক্সিং ব্যবহার করে ডেটা স্ট্রাকচার ইনডেক্স যোগ করা;
- শূন্য-কপি ক্লোনিং ব্যবহার করে ডেটা অবজেক্টের নকল করা; এবং
- ডেটার নির্দিষ্ট সংস্করণ সংরক্ষণ করতে, ইত্যাদি, ডেটা সংস্করণ ব্যবহার করুন।
অতিরিক্তভাবে, মেটাডেটা স্তরটি স্কিমা ব্যবস্থাপনার বাস্তবায়ন, স্টার/স্নোফ্লেক স্কিমার মতো DW স্কিমা টপোলজির ব্যবহার এবং ডেটা লেকে সরাসরি ডেটা গভর্নেন্স এবং অডিটিং ক্ষমতার বিধান, সমগ্র ডেটা পাইপলাইনের অখণ্ডতা বাড়াতে সক্ষম করে।
স্কিমা বিবর্তন এবং প্রয়োগের বৈশিষ্ট্যগুলি স্কিমা ব্যবস্থাপনায় অন্তর্ভুক্ত করা হয়েছে। টেবিলের স্কিমা পূরণ করে না এমন কোনো লেখা প্রত্যাখ্যান করে, স্কিমা প্রয়োগকারী ব্যবহারকারীদের ডেটা অখণ্ডতা এবং গুণমান বজায় রাখতে সক্ষম করে।
স্কিমা বিবর্তন টেবিলের বর্তমান স্কিমা পরিবর্তন করা ডেটা মিটমাট করার অনুমতি দেয়। ডেটা লেকের উপরে একটি একক প্রশাসনিক ইন্টারফেসের কারণে, অ্যাক্সেস নিয়ন্ত্রণ এবং অডিট করার সম্ভাবনাও রয়েছে।
API স্তর
আর্কিটেকচারের আরেকটি গুরুত্বপূর্ণ স্তর এখন উপস্থিত, অনেকগুলি API হোস্ট করে যা সমস্ত শেষ ব্যবহারকারীরা আরও দ্রুত কাজ সম্পাদন করতে এবং আরও পরিশীলিত পরিসংখ্যান পেতে ব্যবহার করতে পারে।
মেটাডেটা API-এর ব্যবহার প্রদত্ত অ্যাপ্লিকেশনের জন্য প্রয়োজনীয় ডেটা আইটেমগুলি সনাক্ত করা এবং অ্যাক্সেস করা সহজ করে তোলে।
মেশিন লার্নিং লাইব্রেরির পরিপ্রেক্ষিতে, তাদের মধ্যে কিছু, যেমন TensorFlow এবং Spark MLlib, Parquet-এর মতো খোলা ফাইল ফরম্যাট পড়তে পারে এবং সরাসরি মেটাডেটা স্তর অ্যাক্সেস করতে পারে।
একই সময়ে, ডেটাফ্রেম এপিআইগুলি অপ্টিমাইজেশনের জন্য আরও বেশি সুযোগ দেয়, যা প্রোগ্রামারদের বিচ্ছুরিত ডেটা সংগঠিত করতে এবং পরিবর্তন করতে সক্ষম করে।
খরচ স্তর
পাওয়ার BI, মূকনাট্য, এবং অন্যান্য সরঞ্জাম এবং অ্যাপগুলি ব্যবহার স্তরের অধীনে হোস্ট করা হয়৷ লেকহাউস ডিজাইনের সাথে, সমস্ত মেটাডেটা এবং একটি লেকে রাখা সমস্ত ডেটা ক্লায়েন্ট অ্যাপগুলিতে অ্যাক্সেসযোগ্য।
লেকহাউসটি সমস্ত ধরণের সঞ্চালনের জন্য একটি কোম্পানির মধ্যে সমস্ত ব্যবহারকারীদের দ্বারা ব্যবহার করা যেতে পারে বিশ্লেষণ অপারেশনব্যবসায়িক বুদ্ধিমত্তা ড্যাশবোর্ড তৈরি করা এবং এসকিউএল কোয়েরি এবং মেশিন লার্নিং টাস্ক চালানো সহ।
ডেটা লেকহাউসের সুবিধা
সংস্থাগুলি তাদের বর্তমান ডেটা প্ল্যাটফর্মকে একত্রিত করতে এবং তাদের পুরো ডেটা ব্যবস্থাপনা প্রক্রিয়াটিকে অপ্টিমাইজ করতে একটি ডেটা লেকহাউস তৈরি করতে পারে। বিভিন্ন উত্সের সাথে সংযোগকারী সাইলো বাধাগুলি ভেঙে দিয়ে, একটি ডেটা লেকহাউস স্বতন্ত্র সমাধানের প্রয়োজনীয়তা প্রতিস্থাপন করতে পারে।
কিউরেটেড ডেটা উত্সের তুলনায়, এই ইন্টিগ্রেশনটি একটি উল্লেখযোগ্যভাবে আরও কার্যকর এন্ড-টু-এন্ড পদ্ধতি তৈরি করে। এটির বেশ কয়েকটি সুবিধা রয়েছে:
- কম প্রশাসন: কাঁচা ডেটা থেকে ডেটা বের করে ডেটা গুদামের মধ্যে ব্যবহারের জন্য প্রস্তুত করার পরিবর্তে, একটি ডেটা লেকহাউস এটির সাথে যুক্ত যেকোন উত্সকে তাদের ডেটা উপলব্ধ এবং ব্যবহারের জন্য সংগঠিত করার অনুমতি দেয়।
- বর্ধিত ব্যয়-কার্যকারিতা: ডেটা লেকহাউসগুলি সমসাময়িক অবকাঠামো ব্যবহার করে তৈরি করা হয় যা গণনা এবং স্টোরেজকে বিভক্ত করে, যা কম্পিউট পাওয়ার না বাড়িয়ে স্টোরেজ প্রসারিত করা সহজ করে তোলে। শুধুমাত্র সস্তা ডেটা স্টোরেজ ব্যবহারের ফলে মাপযোগ্যতা পাওয়া যায় যা খরচ-কার্যকর।
- আরও ভাল ডেটা শাসন: ডেটা লেকহাউসগুলি মানসম্মত ওপেন আর্কিটেকচারের সাথে তৈরি করা হয়, যা নিরাপত্তা, মেট্রিক্স, ভূমিকা-ভিত্তিক অ্যাক্সেস এবং অন্যান্য গুরুত্বপূর্ণ ব্যবস্থাপনা উপাদানগুলির উপর আরও নিয়ন্ত্রণের অনুমতি দেয়। সংস্থান এবং ডেটা উত্স একত্রিত করে, তারা শাসনকে সরল করে এবং উন্নত করে।
- সরলীকৃত মান: যেহেতু সংযোগটি 1980-এর দশকে অত্যন্ত সীমাবদ্ধ ছিল, যখন ডেটা গুদামগুলি প্রথম বিকশিত হয়েছিল, স্থানীয়কৃত স্কিমা মানগুলি প্রায়শই ব্যবসায়, এমনকি বিভাগগুলির মধ্যেও বিকশিত হয়েছিল। ডেটা লেকহাউসগুলি এই সত্যটি ব্যবহার করে যে অনেক ধরণের ডেটাতে এখন স্কিমার জন্য উন্মুক্ত মান রয়েছে এবং পদ্ধতিগুলিকে স্ট্রিমলাইন করার জন্য ওভারল্যাপিং ইউনিফর্ম স্কিমার সাথে অসংখ্য ডেটা উত্স গ্রহণ করে।
ডেটা লেকহাউসের অসুবিধা
ডেটা লেকহাউসের আশেপাশের সমস্ত হুপলা সত্ত্বেও, এটি মনে রাখা গুরুত্বপূর্ণ যে ধারণাটি এখনও খুব নতুন। এই নতুন ডিজাইনে সম্পূর্ণরূপে প্রতিশ্রুতিবদ্ধ হওয়ার আগে অসুবিধাগুলি ওজন করতে ভুলবেন না।
- মনোলিথিক কাঠামো: একটি লেকহাউসের সর্ব-অন্তর্ভুক্ত নকশা বিভিন্ন সুবিধা প্রদান করে, তবে এটি কিছু সমস্যাও উত্থাপন করে। মনোলিথিক আর্কিটেকচার প্রায়শই সমস্ত ব্যবহারকারীদের জন্য খারাপ পরিষেবার দিকে পরিচালিত করে এবং এটি কঠোর এবং বজায় রাখা কঠিন হতে পারে। সাধারণত, স্থপতি এবং ডিজাইনাররা আরও মডুলার আর্কিটেকচার পছন্দ করেন যা তারা বিভিন্ন ব্যবহারের ক্ষেত্রে কাস্টমাইজ করতে পারে।
- প্রযুক্তি এখনও পুরোপুরি সেখানে নেই: চূড়ান্ত লক্ষ্যে উল্লেখযোগ্য পরিমাণে মেশিন লার্নিং এবং কৃত্রিম বুদ্ধিমত্তা অন্তর্ভুক্ত। লেকহাউসগুলি কল্পনার মতো কাজ করার আগে, এই প্রযুক্তিগুলিকে আরও বিকাশ করতে হবে।
- বিদ্যমান কাঠামোর তুলনায় উল্লেখযোগ্য অগ্রগতি নয়: লেকহাউসগুলি আসলে কতটা মূল্যবান অবদান রাখবে তা নিয়ে এখনও যথেষ্ট সংশয় রয়েছে। কিছু বিরোধিতাকারীরা দাবি করেন যে উপযুক্ত স্বয়ংক্রিয় সরঞ্জামের সাথে যুক্ত একটি লেক-গুদাম নকশা তুলনামূলক দক্ষতা অর্জন করতে পারে।
ডেটা লেকহাউসের চ্যালেঞ্জ
ডেটা লেকহাউস কৌশল অবলম্বন করা কঠিন হতে পারে। এর উপাদান অংশগুলির জটিলতার কারণে, ডেটা লেকহাউসকে একটি সর্বাঙ্গীণ আদর্শ কাঠামো বা একজনের জন্য "সবকিছুর জন্য একটি প্ল্যাটফর্ম" হিসাবে দেখা ভুল।
অতিরিক্তভাবে, ডেটা লেকগুলির ক্রমবর্ধমান গ্রহণের কারণে, ব্যবসাগুলিকে তাদের বর্তমান ডেটা গুদামগুলিকে তাদের কাছে স্থানান্তর করতে হবে, শুধুমাত্র সাফল্যের প্রতিশ্রুতির উপর নির্ভর করে কোন প্রদর্শনযোগ্য অর্থনৈতিক সুবিধা ছাড়াই।
যদি স্থানান্তর প্রক্রিয়া জুড়ে কোনো বিলম্বিত সমস্যা বা বিভ্রাট থাকে, তাহলে এটি ব্যয়বহুল, সময়সাপেক্ষ এবং সম্ভবত অনিরাপদ হতে পারে।
ব্যবসায়িক ব্যবহারকারীদের অবশ্যই অত্যন্ত বিশেষায়িত প্রযুক্তি গ্রহণ করতে হবে, নির্দিষ্ট কিছু বিক্রেতাদের মতে যেগুলি ডেটা লেকহাউস হিসাবে স্পষ্টভাবে বা পরোক্ষভাবে বাজার সমাধান করে। এগুলি সবসময় সিস্টেমের কেন্দ্রে ডেটা লেকের সাথে লিঙ্কযুক্ত অন্যান্য সরঞ্জামগুলির সাথে কাজ নাও করতে পারে, সমস্যাগুলি যোগ করে।
উপরন্তু, ব্যবসা-সমালোচনামূলক কাজের চাপ চালানোর সময় 24/7 বিশ্লেষণ সরবরাহ করা কঠিন হতে পারে, যা খরচ-কার্যকর স্কেলেবিলিটি সহ অবকাঠামোর জন্য আহ্বান করে।
উপসংহার
সাম্প্রতিক বছরগুলিতে ডেটা কেন্দ্রগুলির নতুনতম বৈচিত্র্য হল ডেটা লেকহাউস৷. এটি তথ্য প্রযুক্তি, ওপেন সোর্স সফ্টওয়্যার, ক্লাউড কম্পিউটিং, এবং বিতরণ স্টোরেজ প্রোটোকল।
এটি ব্যবসাগুলিকে যে কোনও অবস্থান থেকে কেন্দ্রীয়ভাবে সমস্ত ডেটা সঞ্চয় করতে সক্ষম করে, পরিচালনা এবং বিশ্লেষণকে সহজ করে। ডেটা লেকহাউস একটি চমত্কার আকর্ষণীয় ধারণা।
যেকোন ফার্মের একটি উল্লেখযোগ্য প্রতিযোগিতামূলক প্রান্ত থাকবে যদি এটি একটি অল-ইন-ওয়ান ডেটা প্ল্যাটফর্মে অ্যাক্সেস পায় যা ডেটা গুদামের মতো দ্রুত এবং দক্ষ এবং ডেটা লেকের মতো নমনীয়ও হয়।
ধারণাটি এখনও বিকাশ করছে এবং তুলনামূলকভাবে নতুন রয়েছে। ফলস্বরূপ, কিছু বিস্তৃত হতে পারে কিনা তা নির্ধারণ করতে কিছুটা সময় লাগতে পারে।
লেকহাউস আর্কিটেকচার যে দিকে যাচ্ছে সে সম্পর্কে আমাদের সকলের কৌতূহল হওয়া উচিত।
নির্দেশিকা সমন্ধে মতামত দিন