মেশিন লার্নিং মডেলগুলির প্রযোজ্যতা এবং ব্যবহারযোগ্যতা ডেটাতে পরীক্ষা করা হয়। পরীক্ষার নির্ভরযোগ্যতা এই মডেলগুলি প্রয়োগ করা হয় এমন ডেটার পরিমাণ এবং মানের উপর নির্ভর করে। আপনার 'পরীক্ষা করার জন্য একটি উপযুক্ত বড় ডেটাসেট তৈরি করা, প্রাপ্ত করা এবং পরিষ্কার করা একটি সম্পূর্ণ কাজ।' স্বাভাবিক ভাষা প্রক্রিয়াকরণ (NLP) 'মেশিন লার্নিং মডেল।
আলিঙ্গন মুখ এটির জন্য একটি পরিচ্ছন্ন সমাধান প্রদান করে তার ব্যতিক্রমীভাবে বিশাল ডেটাসেটের লাইব্রেরি থেকে বেছে নিতে এবং আপনার প্রয়োজনীয়তাগুলির সাথে পুরোপুরি ফিট করে এমন একটি খুঁজে বের করতে৷ এখানে, আমরা আপনাকে দেখাব কিভাবে আদর্শ ডেটাসেট খুঁজে বের করতে হয় এবং আপনার মডেলকে পর্যাপ্তভাবে পরীক্ষা করার জন্য প্রস্তুত করতে হয়।
হাগিং ফেস ডেটাসেট কীভাবে ব্যবহার করবেন?
আমরা আপনাকে দেখাব কিভাবে আলিঙ্গন ফেস ডেটাসেট ব্যবহার করবেন টিনিস্টোরিজ আলিঙ্গন মুখ থেকে ডেটাসেট।
উদাহরণ
টিনিস্টোরিজ ডেটাসেটে ট্রেন বিভাজনে 2 মিলিয়নেরও বেশি সারি ডেটা রয়েছে এবং এটি হাগিং ফেস প্ল্যাটফর্মে 2 হাজারেরও বেশি ডাউনলোড হয়েছে। নিচে দেওয়া Google Colab-এর কোডে আমরা এটি ব্যবহার করব:
! পিপ ইনস্টল ট্রান্সফরমার
! পিপ ইনস্টল ডেটাসেট
ডেটাসেট থেকে লোড_ডেটাসেট আমদানি করুন
ডেটাসেট = লোড_ডেটাসেট ( 'রনেনেল্ডান/টিনিস্টোরিস' )
TinyStories_Story = 3
উদাহরণ_স্ট্রিং = ডেটাসেট [ 'ট্রেন' ] [ ছোটগল্প_গল্প ] [ 'পাঠ্য' ]
ছাপা ( উদাহরণ_স্ট্রিং )
এই কোডে, নীচে বর্ণিত পদক্ষেপগুলি বিবেচনা করুন:
ধাপ 01 : প্রথম ধাপ হল ' স্থাপন ” ট্রান্সফরমার ডেটাসেটের।
ধাপ 02 : এরপর, প্রয়োজনীয় ডেটাসেট আমদানি করুন, “ টিনিস্টোরিজ 'আপনার প্রকল্পে।
ধাপ 03 : এরপর, ' ব্যবহার করে নির্বাচিত ডেটাসেট লোড করুন লোড_ডেটাসেট() ' ফাংশন।
ধাপ 04 : এখন, আমরা TinyStories ডেটাসেট থেকে যে গল্প নম্বরটি চাই তা নির্দিষ্ট করি। আমরা আমাদের কোড উদাহরণে 03 নম্বরটি উল্লেখ করেছি।
ধাপ 05 : সবশেষে, আমরা আউটপুট দেখানোর জন্য “print()” পদ্ধতি ব্যবহার করব।
আউটপুট
বিঃদ্রঃ: কোড এবং আউটপুট সরাসরি আমাদের Google Colab-এও দেখা যাবে .
উপসংহার
' আলিঙ্গন মুখ ডেটাসেট ” ব্যবহারকারীদের তাদের অনলাইন লাইব্রেরি থেকে সরাসরি বড় ডেটাসেট আমদানি করার সময় তাদের মেশিন লার্নিং মডেলগুলি পরীক্ষা করা অবিশ্বাস্যভাবে দক্ষ করে তোলে৷ ফলস্বরূপ, এনএলপি অ্যালগরিদমগুলির প্রয়োগ সহজ এবং দ্রুততর হয়েছে কারণ প্রোগ্রামাররা তাদের প্রকল্পগুলিকে একটি ডেটাসেটের বিরুদ্ধে পরীক্ষা করতে সক্ষম হয় যার গুণমান এবং পরিমাণ উভয়ই রয়েছে৷