ট্রান্সফরমার ব্যবহার করে পাঠ্য শ্রেণীবিভাগ কিভাবে সম্পাদন করবেন

এই যুগে, ট্রান্সফরমার হল সবচেয়ে শক্তিশালী মডেল যা একাধিক এনএলপি (ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং) অপারেশনে সেরা ফলাফল প্রদান করেছে। প্রাথমিকভাবে, এটি পাঠ্য তৈরির পাশাপাশি শ্রেণিবিন্যাস, মেশিন অনুবাদ এবং আরও অনেক কিছু সহ ভাষার মডেলিং কাজের জন্য ব্যবহার করা হয়েছিল। কিন্তু এখন, এটি অবজেক্ট রিকগনিশন, ইমেজ শ্রেণীবিভাগ এবং একাধিক অন্যান্য কম্পিউটার ভিশন কাজের জন্যও ব্যবহৃত হয়।

এই টিউটোরিয়ালে, আমরা ট্রান্সফরমার ব্যবহার করে পাঠ্য শ্রেণিবিন্যাস সম্পাদন করার পদ্ধতি প্রদান করব।

কিভাবে ট্রান্সফরমার ব্যবহার করে পাঠ্য শ্রেণীবিভাগ সঞ্চালন?

ট্রান্সফরমার ব্যবহার করে পাঠ্য শ্রেণিবিন্যাস সম্পাদন করতে, প্রথমে ইনস্টল করুন “ ট্রান্সফরমার 'প্রদত্ত কমান্ড কার্যকর করে লাইব্রেরি:

আপনি দেখতে পাচ্ছেন, নির্দিষ্ট লাইব্রেরি সফলভাবে ইনস্টল করা হয়েছে:

তারপর, আমদানি করুন ' পাইপলাইন ' থেকে ' ট্রান্সফরমার লাইব্রেরী:

এখানে ' পাইপলাইন টোকেনাইজার সহ এই অপারেশনের জন্য আমাদের যে এনএলপি টাস্কটি সম্পাদন করতে হবে এবং পছন্দসই ট্রান্সফরমার মডেল অন্তর্ভুক্ত থাকবে।

বিঃদ্রঃ: টোকেনাইজারটি পাঠ্যকে টোকেনে পৃথক করে মডেলের ইনপুট প্রদানের জন্য পাঠ্যের উপর প্রক্রিয়াকরণ করতে ব্যবহৃত হয়।

এর পরে, ব্যবহার করুন ' পাইপলাইন() ' ফাংশন এবং এটি পাস করুন ' শূন্য-শট-শ্রেণীবিন্যাস 'একটি যুক্তি হিসাবে। এর পরে, অন্য একটি প্যারামিটার পাস করুন যা আমাদের মডেল। আমরা ফেসবুক ব্যবহার করছি ' BART 'ট্রান্সফরমার মডেল। এখানে, আমরা টোকেনাইজার ব্যবহার করি না কারণ এটি নির্দিষ্ট মডেল দ্বারা স্বয়ংক্রিয়ভাবে অনুমান করা যেতে পারে:

এখন, ঘোষণা করুন ' seq ” ভেরিয়েবল যা আমাদের ইনপুট টেক্সট ধারণ করে যাকে শ্রেণীবদ্ধ করা দরকার। তারপর, আমরা সেই বিভাগগুলি প্রদান করি যেগুলি আমরা পাঠ্যকে শ্রেণীবদ্ধ করতে চাই এবং “ ল্যাব যা লেবেল হিসাবে পরিচিত:

অবশেষে, ইনপুট সহ পাইপলাইন চালান:

পাইপলাইনটি কার্যকর করার পরে, আপনি দেখতে পাচ্ছেন যে মডেলটি আমাদের প্রদত্ত ক্রমটি শ্রেণিবদ্ধ করার পূর্বাভাস দিয়েছে:

অতিরিক্ত তথ্য: আপনি যদি মডেলের কর্মক্ষমতা দ্রুত করতে চান, তাহলে আপনাকে GPU ব্যবহার করতে হবে। যদি হ্যাঁ, তাহলে, সেই উদ্দেশ্যে, আপনি পাইপলাইনে একটি ডিভাইস আর্গুমেন্ট নির্দিষ্ট করতে পারেন এবং এটি সেট করতে পারেন “ 0 GPU ব্যবহার করতে।

আপনি যদি একাধিক সিকোয়েন্স/ইনপুট টেক্সট স্টেটমেন্টে টেক্সটকে শ্রেণীবদ্ধ করতে চান, তাহলে আপনি সেগুলিকে একটি তালিকায় যোগ করতে পারেন এবং পাইপলাইনে ইনপুট হিসাবে এটি পাস করতে পারেন। সেই উদ্দেশ্যে, কোড স্নিপেটটি দেখুন:

আউটপুট

এটাই! আমরা ট্রান্সফরমার ব্যবহার করে পাঠ্য শ্রেণিবিন্যাস সম্পাদনের সবচেয়ে সহজ উপায়টি সংকলন করেছি।

উপসংহার

ট্রান্সফরমারগুলি ভাষা মডেলিং কাজগুলি সম্পাদন করতে ব্যবহৃত হয়, যেমন পাঠ্য তৈরি, পাঠ্য শ্রেণিবিন্যাস এবং মেশিন অনুবাদ, সেইসাথে বস্তুর স্বীকৃতি এবং চিত্র শ্রেণীবিভাগ সহ কম্পিউটার দৃষ্টি সংক্রান্ত কাজগুলি। এই টিউটোরিয়ালে, আমরা ট্রান্সফরমার ব্যবহার করে পাঠ্য শ্রেণিবিন্যাস সম্পাদন করার প্রক্রিয়াটি চিত্রিত করেছি।