প্রতিটি মেশিন লার্নিং প্রকল্প একটি ভাল ডেটাসেটের উপর নির্ভর করে। এটি এই বৃহৎ ডেটাসেট যা আপনাকে আপনার এমএল মডেলকে প্রশিক্ষণ ও যাচাই করার অনুমতি দেবে। সুতরাং, একটি এমএল প্রকল্পের কাজের একটি বড় অংশ হল আপনার প্রয়োজনের জন্য নিখুঁত ডেটাসেট খুঁজে বের করা। যাইহোক, আপনার উচ্চাকাঙ্ক্ষার সাথে খাপ খায় এমন একটি বিকল্প খুঁজে পাওয়া সবসময় সম্ভব নয়, কারণ অনেক ফাইল আকর্ষণীয় দেখায়, শেষ পর্যন্ত তা নয়।
আপনি একটি আদর্শ সেটে না পৌঁছানো পর্যন্ত অসংখ্য ডেটাসেট ডাউনলোড করার সময় নষ্ট করা দুঃসাধ্য হতে পারে। এটি মাথায় রেখে, আমরা কিছু বিকল্প সংগ্রহ করেছি যা আকর্ষণীয় বলে মনে হয় এবং আপনাকে আপনার ML প্রকল্প বিকাশে সহায়তা করতে পারে। নোট করুন যে কিছু বাণিজ্যিক ব্যবহারের পরিবর্তে ব্যক্তিগত উদ্দেশ্যে করা হয়েছে, তাই ML মহাবিশ্বে অভিজ্ঞতা অর্জনের উপায় হিসাবে এই বিকল্পগুলি দেখুন।
ডেটাসেটের বেসিক
আমরা ডেটাসেটগুলি উল্লেখ করার আগে, আমাদের কিছু শর্তাদি সংজ্ঞায়িত করা উচিত। কৃত্রিম বুদ্ধিমত্তা প্রকল্পে, বিশেষ করে মেশিন লার্নিং, প্রচুর পরিমাণে ডেটা প্রয়োজন, যা অ্যালগরিদম প্রশিক্ষণের জন্য ব্যবহার করা হবে। এই পরিমাণ ডেটা একটি ডাটাবেসে সংগ্রহ করা হয়, যা একটি অ্যালগরিদম শেখানোর জন্য অত্যন্ত দরকারী।
এই ডেটার সাহায্যে, অ্যালগরিদম প্রশিক্ষিত হয় - এছাড়াও পরীক্ষা করা হয় - এবং প্যাটার্নগুলি খুঁজে পেতে, সম্পর্ক স্থাপন করতে এবং এইভাবে স্বায়ত্তশাসিতভাবে সিদ্ধান্ত নিতে সক্ষম হয়। প্রশিক্ষণ ছাড়া, মেশিন লার্নিং অ্যালগরিদম কোনো ক্রিয়া সম্পাদন করতে অক্ষম। অতএব, প্রশিক্ষণের ডেটা যত ভাল হবে, মডেলটি তত ভাল করবে। একটি ডাটাবেস প্রকল্পের জন্য উপযোগী হওয়ার জন্য, এটি পরিমাণ সম্পর্কে নয়: এটি শ্রেণীবিভাগের বিষয়েও।
আদর্শভাবে, ডেটা ভালভাবে লেবেল করা উচিত। চ্যাটবটগুলির ক্ষেত্রে চিন্তা করুন: ভাষা সন্নিবেশ করা গুরুত্বপূর্ণ, তবে সাবধানে সিনট্যাকটিক বিশ্লেষণ করা উচিত যাতে তৈরি করা অ্যালগরিদম বুঝতে পারে যখন কথোপকথন স্ল্যাং ব্যবহার করছে। তবেই ভার্চুয়াল সহকারী ব্যবহারকারীর অনুরোধ অনুসারে উত্তরটি চালু করতে সক্ষম হবে।
ডেটাসেটগুলি সমীক্ষা, ব্যবহারকারীর ক্রয় ডেটা, পরিষেবাগুলিতে রেখে যাওয়া মূল্যায়ন এবং অন্যান্য অনেক উপায়ে তৈরি করা যেতে পারে যা একটি CSV ফাইলে কলাম এবং সারিতে সংগঠিত দরকারী তথ্য সংগ্রহের অনুমতি দেয়।
আপনি নিখুঁত ডেটাসেটের সন্ধানে বের হওয়ার আগে, আপনার প্রকল্পের উদ্দেশ্য জানা গুরুত্বপূর্ণ, বিশেষ করে যদি এটি একটি নির্দিষ্ট এলাকা থেকে হয়, যেমন আবহাওয়া, অর্থ, স্বাস্থ্য ইত্যাদি ডেটাসেট
ML-এর জন্য ডেটাসেট
চ্যাটবট প্রশিক্ষণ
একটি কার্যকর চ্যাটবট মানুষের হস্তক্ষেপ ছাড়াই দ্রুত ব্যবহারকারীর অনুসন্ধানগুলি সমাধান করার জন্য প্রচুর পরিমাণে প্রশিক্ষণ ডেটার প্রয়োজন। যাইহোক, চ্যাটবট বিকাশের প্রাথমিক বাধা হল এই মেশিন লার্নিং-ভিত্তিক সিস্টেমগুলিকে প্রশিক্ষণের জন্য বাস্তবসম্মত, টাস্ক-ভিত্তিক ডায়ালগ ডেটা প্রাপ্ত করা।
একটি কথোপকথন ডেটাসেট একটি প্রশ্ন এবং উত্তর বিন্যাসে ডেটা সংগ্রহ করে। এটি চ্যাটবট প্রশিক্ষণের জন্য আদর্শ যা দর্শকদের স্বয়ংক্রিয় উত্তর দেবে। এই ডেটা ছাড়া, চ্যাটবট দ্রুত ব্যবহারকারীর জিজ্ঞাসার সমাধান করতে বা মানুষের হস্তক্ষেপের প্রয়োজন ছাড়া ব্যবহারকারীর প্রশ্নের উত্তর দিতে ব্যর্থ হবে।
এই ডেটাসেটগুলি ব্যবহার করে, ব্যবসাগুলি এমন একটি টুল তৈরি করতে পারে যা গ্রাহকদের 24/7 দ্রুত উত্তর প্রদান করে এবং গ্রাহক সমর্থন করে এমন লোকেদের দল থাকার তুলনায় উল্লেখযোগ্যভাবে সস্তা।
1. প্রশ্ন-উত্তর ডেটাসেট
এই ডেটাসেট উইকিপিডিয়া নিবন্ধ, প্রশ্ন এবং তাদের নিজ নিজ ম্যানুয়ালি তৈরি করা উত্তরগুলির একটি সেট প্রদান করে। এটি ব্যবহার করার জন্য 2008 এবং 2010 এর মধ্যে সংগ্রহ করা একটি ডেটাসেট প্রতিষ্ঠানিক গবেষণা.
2. ভাষা ডেটা
ল্যাঙ্গুয়েজ ডেটা হল ইয়াহু দ্বারা পরিচালিত একটি ডাটাবেস যা কোম্পানির কিছু পরিষেবা থেকে উত্পন্ন তথ্য সহ Yahoo! উত্তর, যা ব্যবহারকারীদের প্রশ্ন ও উত্তর পোস্ট করার জন্য একটি উন্মুক্ত সম্প্রদায় হিসেবে কাজ করে।
3. উইকিকিউএ
উইকিকিউএ কর্পাসও প্রশ্ন ও উত্তরের একটি সেট নিয়ে গঠিত। প্রশ্নগুলির উৎস হল Bing, যখন উত্তরগুলি একটি উইকিপিডিয়া পৃষ্ঠার সাথে লিঙ্ক করে যেখানে প্রাথমিক প্রশ্নটি সমাধান করার সম্ভাবনা রয়েছে।
মোট, ডেটাসেটে 3,000টিরও বেশি প্রশ্ন এবং 29,258টি বাক্যের একটি সেট রয়েছে, যার মধ্যে প্রায় 1,400টি একটি সংশ্লিষ্ট প্রশ্নের উত্তর হিসাবে শ্রেণীবদ্ধ করা হয়েছে।
সরকারি তথ্য
সরকার দ্বারা উত্পন্ন ডেটাসেটগুলি ডেমোগ্রাফিক ডেটা নিয়ে আসে, যা সামাজিক প্রবণতা বোঝা, পাবলিক নীতি তৈরি এবং সমাজের উন্নতি সম্পর্কিত প্রকল্পগুলির জন্য দুর্দান্ত ইনপুট। এটি রাজনৈতিক প্রচারণা, লক্ষ্যযুক্ত বিজ্ঞাপন বা বাজার বিশ্লেষণের জন্য উপযোগী হতে পারে।
এই ডেটাসেটগুলিতে সাধারণত বেনামী ডেটা থাকে, তাই মডেলগুলি কাঁচা ডেটা অ্যাক্সেস করতে পারে, ব্যক্তিগত গোপনীয়তার কোনও লঙ্ঘন নেই।
4. Data.gov
2009 সালে চালু করা, Data.gov হল উত্তর আমেরিকার ডেটার উৎস। এর ক্যাটালগ চিত্তাকর্ষক: 218,000 এর বেশি ডেটাসেট যা বিন্যাস, ট্যাগ, প্রকার এবং বিষয় দ্বারা বিভাজন করার অনুমতি দেয়।
5. ইইউ ওপেন ডেটা পোর্টাল
ইইউ ওপেন ডেটা পোর্টাল ইউরোপীয় ইউনিয়নের প্রতিষ্ঠানগুলির দ্বারা ভাগ করা খোলা ডেটাতে অ্যাক্সেস সরবরাহ করে। এগুলি এমন ডেটা যা বাণিজ্যিক এবং অ-বাণিজ্যিক ব্যবহারের উদ্দেশ্যে করা যেতে পারে। ব্যবহারকারীর নিষ্পত্তিতে 15.5 হাজারেরও বেশি ডেটাসেট রয়েছে, যা স্বাস্থ্য, শক্তি, পরিবেশ, সংস্কৃতি এবং শিক্ষার মতো বিষয়গুলিকে কভার করে৷
স্বাস্থ্য তথ্য
বিশ্বব্যাপী চলমান স্বাস্থ্য সংকটের পরিপ্রেক্ষিতে, জীবন বাঁচাতে কার্যকর সমাধান বিকাশের জন্য স্বাস্থ্য সংস্থাগুলির দ্বারা তৈরি ডেটাসেটগুলি অপরিহার্য। এই ডেটাসেটগুলি ঝুঁকির কারণগুলি সনাক্ত করতে, রোগের সংক্রমণের ধরণগুলি তৈরি করতে এবং রোগ নির্ণয়ের গতি বাড়াতে সাহায্য করতে পারে।
এই ডেটাসেটগুলিতে স্বাস্থ্য রেকর্ড, রোগীর জনসংখ্যা, রোগের বিস্তার, ওষুধের ব্যবহার, পুষ্টির মান এবং আরও অনেক কিছু রয়েছে।
6. গ্লোবাল হেলথ অবজারভেটরি
এই ডেটা সেটটি বিশ্ব স্বাস্থ্য সংস্থার (WHO) একটি উদ্যোগ। এটি স্বাস্থ্য ব্যবস্থা, তামাক ব্যবহার নিয়ন্ত্রণ, মাতৃত্ব, এইচআইভি/এইডস, ইত্যাদির মতো থিম দ্বারা সংগঠিত স্বাস্থ্যের বিভিন্ন ক্ষেত্রের সাথে সম্পর্কিত জনসাধারণের ডেটা সরবরাহ করে। এছাড়াও কোভিড-১৯-এর ডেটার সাথে পরামর্শ করার বিকল্প রয়েছে।
7. CORD-19
CORD-19 হল COVID-19 এবং নতুন করোনভাইরাস সম্পর্কিত অন্যান্য নিবন্ধের একাডেমিক প্রকাশনাগুলির একটি কর্পাস। এটি একটি উন্মুক্ত ডেটাসেট যা COVID-19 এর উপর নতুন অন্তর্দৃষ্টি তৈরি করার উদ্দেশ্যে।
অর্থনীতির তথ্য
আর্থিক পরিবেশের সাথে সম্পর্কিত ডেটাসেটগুলি সাধারণত প্রচুর পরিমাণে তথ্য সংগ্রহ করে, যেহেতু এটি সাধারণ যে সেগুলি দীর্ঘদিন ধরে সংগ্রহ করা হয়েছে। তারা অর্থনৈতিক ভবিষ্যদ্বাণী তৈরি বা বিনিয়োগের প্রবণতা প্রতিষ্ঠার জন্য আদর্শ।
সঠিক আর্থিক ডেটাসেট সহ, ক মেশিন লার্নিং মডেল একটি প্রদত্ত সম্পদ আচরণ ভবিষ্যদ্বাণী করতে সক্ষম হতে পারে. এই কারণেই আর্থিক খাত একটি কার্যকর এমএল মডেল তৈরি করার জন্য তার ক্ষমতায় সবকিছু করছে, কারণ যে কোনও কিছু যা এমনকি যুক্তিসঙ্গতভাবে ভালভাবে ভবিষ্যদ্বাণী করতে পারে তার মিলিয়ন ডলার উপার্জন করার সম্ভাবনা রয়েছে। মেশিন লার্নিং ইতিমধ্যে নাগরিকদের আচরণের পূর্বাভাস দিচ্ছে, যা নীতিনির্ধারকদের তাদের কাজ করার পদ্ধতিকে প্রভাবিত করছে।
8. আন্তর্জাতিক মুদ্রা তহবিল
IMF ডেটাসেটে অর্থনৈতিক ও আর্থিক সূচক, সদস্য দেশের পরিসংখ্যান এবং অন্যান্য ঋণ ও বিনিময় হারের ডেটা রয়েছে।
9. বিশ্ব ব্যাংক
বিশ্বব্যাংকের ভান্ডারে বিভিন্ন দেশের অর্থনৈতিক তথ্য সহ বিভিন্ন ডেটাসেট রয়েছে। মহাদেশ দ্বারা বিভক্ত 17,000 টিরও বেশি ডেটাসেট রয়েছে।
পণ্য এবং পরিষেবা পর্যালোচনা
সেন্টিমেন্ট বিশ্লেষণ বিভিন্ন ক্ষেত্রে এর অ্যাপ্লিকেশন খুঁজে পেয়েছে যা এখন এন্টারপ্রাইজগুলিকে তাদের ক্লায়েন্ট বা গ্রাহকদের কাছ থেকে সঠিকভাবে অনুমান করতে এবং শিখতে সাহায্য করছে। সামাজিক মিডিয়া পর্যবেক্ষণ, ব্র্যান্ড পর্যবেক্ষণ, গ্রাহকের ভয়েস (VoC), গ্রাহক পরিষেবা এবং বাজার গবেষণার জন্য সেন্টিমেন্ট বিশ্লেষণ ক্রমবর্ধমানভাবে ব্যবহৃত হচ্ছে।
সেন্টিমেন্ট বিশ্লেষণ এনএলপি ব্যবহার করে (নিউরো-ভাষাগত প্রোগ্রামিং) পদ্ধতি এবং অ্যালগরিদম যা হয় নিয়ম-ভিত্তিক, হাইব্রিড, অথবা ডেটাসেট থেকে ডেটা শেখার জন্য মেশিন লার্নিং কৌশলগুলির উপর নির্ভর করে।
অনুভূতি বিশ্লেষণে প্রয়োজনীয় ডেটা বিশেষায়িত হওয়া উচিত এবং প্রচুর পরিমাণে প্রয়োজন। অনুভূতি বিশ্লেষণ প্রশিক্ষণ প্রক্রিয়া সম্পর্কে সবচেয়ে চ্যালেঞ্জিং অংশ বড় পরিমাণে তথ্য খুঁজে পাওয়া যায় না; পরিবর্তে, এটি প্রাসঙ্গিক ডেটাসেটগুলি খুঁজে বের করতে হবে। এই ডেটা সেটগুলি অবশ্যই সেন্টিমেন্ট অ্যানালাইসিস অ্যাপ্লিকেশানগুলির একটি বিস্তৃত ক্ষেত্র কভার করবে এবং কেসগুলি ব্যবহার করবে৷
10. আমাজন পর্যালোচনা
এই ডেটাসেটে প্রায় 35 মিলিয়ন অ্যামাজন রিভিউ রয়েছে, যা 18 বছরের সংগৃহীত তথ্যের সময়সীমায় বিস্তৃত। এটি পণ্য, ব্যবহারকারী এবং পর্যালোচনা সামগ্রীর একটি ডেটাসেট।
11. Yelp পর্যালোচনা
Yelp তার পরিষেবা থেকে সংগৃহীত তথ্যের উপর ভিত্তি করে একটি ডেটাসেটও অফার করে। এখানে 8 মিলিয়নেরও বেশি পর্যালোচনা, 1 মিলিয়ন টিপস এবং ব্যবসার সাথে সম্পর্কিত প্রায় 1.5 মিলিয়ন বৈশিষ্ট্য রয়েছে, যেমন খোলার সময় এবং উপলব্ধতা।
12. IMDB পর্যালোচনা
এই ডাটাবেসটিতে প্রশিক্ষণের জন্য 25 হাজারেরও বেশি মুভি রিভিউ এবং IMDB পৃষ্ঠা থেকে অনানুষ্ঠানিকভাবে নেওয়া পরীক্ষার জন্য আরও 25 হাজারেরও বেশি মুভি রেটিং-এর একটি সেট রয়েছে। এটি অতিরিক্ত হিসাবে লেবেলবিহীন ডেটা অফার করে।
ML-এর প্রথম ধাপগুলির জন্য ডেটাসেট
13. ওয়াইন মানের ডেটাসেট
এই ডেটাসেটটি উত্তর পর্তুগালে উত্পাদিত লাল এবং সবুজ উভয় ওয়াইন সম্পর্কিত তথ্য প্রদান করে। উদ্দেশ্য হল ভৌত রাসায়নিক পরীক্ষার উপর ভিত্তি করে ওয়াইনের গুণমান নির্ধারণ করা। একটি ভবিষ্যদ্বাণী সিস্টেম তৈরি অনুশীলন করতে চান যারা জন্য আকর্ষণীয়.
14. টাইটানিক ডেটাসেট
এই ডেটাসেটটি টাইটানিক থেকে 887 জন প্রকৃত যাত্রীর তথ্য নিয়ে আসে, প্রতিটি কলামে তারা বেঁচে আছে কিনা, তাদের বয়স, যাত্রীর শ্রেণী, লিঙ্গ এবং তারা যে বোর্ডিং ফি প্রদান করেছে তা নির্ধারণ করে। এই ডেটাসেটটি কাগল প্ল্যাটফর্মের দ্বারা চালু করা একটি চ্যালেঞ্জের অংশ ছিল, যার লক্ষ্য ছিল এমন একটি মডেল তৈরি করা যা ভবিষ্যদ্বাণী করতে পারে যে কোন যাত্রীরা টাইটানিকের ডুবে বেঁচে গেছে।
অন্যান্য ডেটাসেট খোঁজার জন্য প্ল্যাটফর্ম
আপনি যদি আরও এগিয়ে যেতে চান এবং আপনার নিজস্ব ডেটাসেট খুঁজে পেতে চান, তাহলে সবচেয়ে বিখ্যাত সংগ্রহস্থলগুলির মাধ্যমে ব্রাউজ করা সর্বোত্তম উপায় মেশিন লার্নিং বিশ্বব্রহ্মাণ্ড:
Kaggle
Kaggle, Google LLC-এর একটি সহযোগী, ডেটা বিজ্ঞানী এবং মেশিন লার্নিং পেশাদারদের একটি অনলাইন সম্প্রদায়। Kaggle ব্যবহারকারীদের একটি ওয়েব-ভিত্তিক ডেটা বিজ্ঞান পরিবেশে ডেটাসেটগুলি খুঁজে বের করতে এবং প্রকাশ করতে, অন্বেষণ করতে এবং মডেল তৈরি করতে দেয়; অন্যান্য ডেটা বিজ্ঞানীদের সাথে কাজ করুন এবং মেশিন লার্নিং ইঞ্জিনিয়ার, এবং ডেটা বিজ্ঞানের চ্যালেঞ্জগুলি সমাধান করতে প্রতিযোগিতায় অংশগ্রহণ করুন।
Kaggle 2010 সালে মেশিন লার্নিং প্রতিযোগিতার অফার দিয়ে শুরু করে এবং এখন একটি সর্বজনীন অফার করে ডেটা প্ল্যাটফর্ম, ডেটা সায়েন্স এবং কৃত্রিম বুদ্ধিমত্তা শিক্ষার জন্য একটি ক্লাউড-ভিত্তিক ওয়ার্কবেঞ্চ।
ডেটাসেট অনুসন্ধান
ডেটাসেট অনুসন্ধান হল Google-এর একটি সার্চ ইঞ্জিন যা গবেষকদের অনলাইন ডেটা সনাক্ত করতে সাহায্য করে যা ব্যবহারের জন্য অবাধে উপলব্ধ। ওয়েব জুড়ে, আপনার আগ্রহের প্রায় যেকোনো বিষয়ে লক্ষ লক্ষ ডেটাসেট রয়েছে।
আপনি যদি একটি কুকুরছানা কিনতে খুঁজছেন, আপনি কুকুরছানা ক্রেতাদের অভিযোগ সংকলন বা কুকুরছানা জ্ঞান অধ্যয়ন ডেটাসেট খুঁজে পেতে পারেন. অথবা আপনি যদি স্কিইং পছন্দ করেন, আপনি স্কি রিসর্টের আয় বা আঘাতের হার এবং অংশগ্রহণের সংখ্যার ডেটা খুঁজে পেতে পারেন। ডেটাসেট অনুসন্ধান এই ডেটাসেটগুলির মধ্যে প্রায় 25 মিলিয়নকে ইন্ডেক্স করেছে, আপনাকে ডেটাসেটগুলি অনুসন্ধান করতে এবং ডেটা কোথায় রয়েছে তার লিঙ্কগুলি খুঁজে পেতে একটি একক স্থান দেয়৷
ইউসিআই মেশিন লার্নিং রিপোজিটরি
UCI মেশিন লার্নিং রিপোজিটরি হল ডেটাবেস, ডোমেন তত্ত্ব এবং ডেটা জেনারেটরের একটি সংগ্রহ যা মেশিন লার্নিং সম্প্রদায়ের দ্বারা মেশিন লার্নিং অ্যালগরিদমের অভিজ্ঞতামূলক বিশ্লেষণের জন্য ব্যবহৃত হয়। সংরক্ষণাগারটি 1987 সালে ডেভিড আহা এবং ইউসি আরভিনের সহকর্মী স্নাতক ছাত্রদের দ্বারা একটি এফটিপি সংরক্ষণাগার হিসাবে তৈরি করা হয়েছিল।
সেই সময় থেকে, এটি ML ডেটাসেটের প্রাথমিক উত্স হিসাবে সারা বিশ্বে ছাত্র, শিক্ষাবিদ এবং গবেষকরা ব্যাপকভাবে ব্যবহার করে আসছে। সংরক্ষণাগারের প্রভাবের একটি ইঙ্গিত হিসাবে, এটি 1000 বারের বেশি উদ্ধৃত করা হয়েছে, এটিকে সমস্ত কম্পিউটার বিজ্ঞানের শীর্ষ 100টি সবচেয়ে উদ্ধৃত "পেপার" এর মধ্যে একটি করে তুলেছে৷
কোয়ান্ডল
Quandl হল একটি প্ল্যাটফর্ম যা তার ব্যবহারকারীদের অর্থনৈতিক, আর্থিক এবং বিকল্প ডেটাসেট প্রদান করে। ব্যবহারকারীরা বিনামূল্যে ডেটা ডাউনলোড করতে, অর্থপ্রদানের ডেটা কিনতে বা Quandl-এর কাছে ডেটা বিক্রি করতে পারেন। এটি উন্নয়নের জন্য একটি দরকারী টুল হতে পারে ট্রেডিং অ্যালগরিদম, এই ক্ষেত্রে.
উপসংহার
এই সরঞ্জামগুলি অন্বেষণ করে, আপনি নিশ্চিত যে আপনার প্রকল্পগুলির জন্য দুর্দান্ত ইনপুটগুলি খুঁজে পাবেন৷ আপনার নির্দিষ্ট প্রয়োজনের জন্য সবচেয়ে উপযোগী ডেটাসেটটি বেছে নিতে ভুলবেন না এবং সর্বদা মনে রাখবেন: এটি কেবল পরিমাণের বিষয়ে নয়, গুণমানেরও। ডেটাসেট যে কোনোটির ভিত্তি মেশিন লার্নিং প্রকল্প এবং ত্রুটিপূর্ণ সিদ্ধান্তে পৌঁছানোর ঝুঁকি এড়াতে মানসম্পন্ন ডেটা তৈরি করা অপরিহার্য।
নির্দেশিকা সমন্ধে মতামত দিন