পাইপলাইন() ফাংশন ট্রান্সফরমার লাইব্রেরির একটি অবিচ্ছেদ্য অংশ। এটিতে বেশ কিছু ইনপুট লাগে যাতে আমরা একটি ইনফরেন্স টাস্ক, মডেল, টোকেনাইজেশন মেকানিজম ইত্যাদি সংজ্ঞায়িত করতে পারি। একটি পাইপলাইন() ফাংশন প্রধানত এক বা একাধিক টেক্সটে এনএলপি কাজ সম্পাদন করতে ব্যবহৃত হয়। এটি মানব-পঠনযোগ্য আউটপুট এবং সর্বোচ্চ নির্ভুলতার সাথে সঠিক ভবিষ্যদ্বাণী তৈরি করতে মডেলের উপর ভিত্তি করে ইনপুট এবং পোস্ট-প্রসেসিং-এর উপর প্রাক-প্রক্রিয়াকরণ করে।
এই নিবন্ধটি নিম্নলিখিত দিকগুলি কভার করে:
আলিঙ্গন মুখ ডেটাসেট লাইব্রেরি কি?
একটি আলিঙ্গন ফেস ডেটাসেট লাইব্রেরি হল একটি API যা বেশ কয়েকটি পাবলিক ডেটাসেট ধারণ করে এবং সেগুলি ডাউনলোড করার একটি সহজ উপায় প্রদান করে৷ এই লাইব্রেরিটি '' ব্যবহার করে অ্যাপ্লিকেশনটিতে আমদানি এবং ইনস্টল করা যেতে পারে পিপ 'আদেশ। হাগিং ফেস লাইব্রেরির ডেটাসেট ডাউনলোড এবং ইনস্টল করার জন্য একটি ব্যবহারিক প্রদর্শনের জন্য, এখানে যান Google Colab লিঙ্ক। আপনি থেকে একাধিক ডেটাসেট ডাউনলোড করতে পারেন আলিঙ্গন ফেস ডেটাসেট হাব।
এই নিবন্ধটি উল্লেখ করে পাইপলাইন() ফাংশনের কার্যকারিতা সম্পর্কে আরও জানুন ' ট্রান্সফরমারগুলিতে পাইপলাইন() ফাংশনটি কীভাবে ব্যবহার করবেন? ”
আলিঙ্গন মুখে একটি ডেটাসেটে পাইপলাইন কিভাবে প্রয়োগ করবেন?
আলিঙ্গন মুখ বিভিন্ন পাবলিক ডেটাসেট প্রদান করে যা এক লাইন কোড ব্যবহার করে সহজেই ইনস্টল করা যেতে পারে। এই নিবন্ধে, আমরা এই ডেটাসেটগুলিতে পাইপলাইন প্রয়োগ করার একটি ব্যবহারিক প্রদর্শন দেখব। ডেটাসেটে পাইপলাইনগুলি প্রয়োগ করা যেতে পারে এমন দুটি উপায় রয়েছে।
পদ্ধতি 1: পুনরাবৃত্তি পদ্ধতি ব্যবহার করা
পাইপলাইন() ফাংশনটি একটি ডেটাসেট এবং মডেলেও পুনরাবৃত্তি করা যেতে পারে। এই উদ্দেশ্যে, নীচের উল্লিখিত পদক্ষেপগুলি অনুসরণ করুন:
ধাপ 1: ট্রান্সফরমার লাইব্রেরি ইনস্টল করুন
ট্রান্সফরমার লাইব্রেরি ইনস্টল করতে, নিম্নলিখিত কমান্ড প্রদান করুন:
পাইপ ইনস্টল ট্রান্সফরমার
ধাপ 2: পাইপলাইন আমদানি করুন
আমরা ট্রান্সফরমার লাইব্রেরি থেকে পাইপলাইন আমদানি করতে পারি। এই উদ্দেশ্যে, নিম্নলিখিত কমান্ড প্রদান করুন:
ট্রান্সফরমার থেকে পাইপলাইন আমদানি 
ধাপ 3: পাইপলাইন বাস্তবায়ন করুন
এখানে, পাইপলাইন() ফাংশন মডেলে প্রয়োগ করা হয় ' gpt2 ” আপনি থেকে মডেল ডাউনলোড করতে পারেন আলিঙ্গন ফেস মডেল হাব:
def imp_pipeline():রেঞ্জে x এর জন্য (1000):
ফলন f'ইমপ্লিমেন্টেশন ডেটাসেট{x}'
generate_pipeline= পাইপলাইন(model='gpt2', device=0)
gen_char = 0
generate_pipeline(imp_pipeline()) এ আউটপুটের জন্য:
gen_char += len(output[0]['generated_text'])
এই কোডে, ' generate_pipeline ' একটি পরিবর্তনশীল যা মডেলের সাথে পাইপলাইন() ফাংশন ধারণ করে ' gpt2 ” যখন এটি 'এর সাথে ডাকা হয় imp_pipeline() ” ফাংশন, এটি স্বয়ংক্রিয়ভাবে 1000-এ নির্দিষ্ট পরিসরের সাথে বৃদ্ধি করা ডেটাকে স্বয়ংক্রিয়ভাবে স্বীকৃতি দেয়:
এই প্রশিক্ষণের জন্য কিছু সময় লাগবে। লিঙ্ক Google Co এছাড়াও দেওয়া হয়।
পদ্ধতি 2: ডেটাসেট লাইব্রেরি ব্যবহার করা
এই পদ্ধতিতে, আমরা 'ডেটাসেট' লাইব্রেরি ব্যবহার করে পাইপলাইন বাস্তবায়ন প্রদর্শন করব:
ধাপ 1: ট্রান্সফরমার ইনস্টল করুন
ট্রান্সফরমার লাইব্রেরি ইনস্টল করতে, নিম্নলিখিত কমান্ড প্রদান করুন:
পাইপ ইনস্টল ট্রান্সফরমার 
ধাপ 2: ডেটাসেট লাইব্রেরি ইনস্টল করুন
হিসাবে ' ডেটাসেট লাইব্রেরিতে সমস্ত পাবলিক ডেটাসেট রয়েছে, আমরা নিম্নলিখিত কমান্ডটি ব্যবহার করে এটি ইনস্টল করতে পারি। ইনস্টল করার মাধ্যমে ' ডেটাসেট ” লাইব্রেরি, আমরা তার নাম প্রদান করে সরাসরি কোনো ডেটাসেট আমদানি করতে পারি:
পিপ ইনস্টল ডেটাসেট 
ধাপ 3: ডেটাসেট পাইপলাইন
ডেটাসেটে একটি পাইপলাইন তৈরি করতে, নিম্নলিখিত কোডটি ব্যবহার করুন। KeyDataset হল এমন একটি বৈশিষ্ট্য যা শুধুমাত্র সেই মানগুলিকে আউটপুট করে যা ব্যবহারকারীকে আগ্রহী করে:
transformers.pipelines.pt_utils থেকে কী-ডেটাসেট আমদানি করুনট্রান্সফরমার থেকে পাইপলাইন আমদানি
ডেটাসেট থেকে লোড_ডেটাসেট আমদানি করুন
gen_pipeline = পাইপলাইন(model='hf-internal-testing/tiny-random-wav2vec2', ডিভাইস=0)
loaddataset = load_dataset('hf-internal-testing/librispeech_asr_dummy', 'clean', split='validation[:10]')gen_pipeline(KeyDataset(loaddataset, 'audio') এ আউটপুটের জন্য):
মুদ্রণ ('এখন মুদ্রণ আউটপুট')
ছাপা ('----------------')
মুদ্রণ (আউটপুট)
উপরের কোডের আউটপুট নীচে দেওয়া হল:
যে এই গাইড থেকে সব. লিঙ্ক Google Co এছাড়াও এই নিবন্ধে উল্লেখ করা হয়
উপসংহার
ডেটাসেটে পাইপলাইন প্রয়োগ করতে, আমরা একটি পাইপলাইন() ফাংশন ব্যবহার করে ডেটাসেটের উপর পুনরাবৃত্তি করতে পারি বা ' ডেটাসেট 'লাইব্রেরি। আলিঙ্গন মুখ তার ব্যবহারকারীদের ডেটাসেট এবং মডেল উভয়ের জন্য GitHub সংগ্রহস্থলের লিঙ্ক সরবরাহ করে যা প্রয়োজনীয়তার ভিত্তিতে ব্যবহার করা যেতে পারে। এই নিবন্ধটি ট্রান্সফরমারে একটি ডেটাসেটে পাইপলাইন প্রয়োগ করার জন্য একটি ব্যাপক নির্দেশিকা প্রদান করেছে।