AWS এ তালিকা-ক্রলার কি?

এই গাইড AWS-এ তালিকা ক্রলার ব্যাখ্যা করবে।

AWS এ তালিকা-ক্রলার কি?

একটি ক্রলার হল AWS Glue এর একটি উপাদান যা ডেটা অবস্থানের উপর ক্রল করতে ব্যবহৃত হয় এবং সেই তথ্যটি ক্যাটালগে ফিরে আসে। একটি ক্রলার যে তথ্য সংগ্রহ করে তা হতে পারে ডেটার ধরনের ডেটা, স্কিমা স্ট্রাকচার বা অন্য কথায়, এটি মেটাডেটা সংগ্রহ করে। ক্রলারকে ডেটা ক্যাটালগের সাথেও ব্যবহার করা যেতে পারে যা ETL কাজগুলি ব্যবহার করার সময় আঠালো ইকোসিস্টেমের ভিতরে ডেটা সরানো হলে ব্যবহৃত হয়।

আমাজন আঠালো পরিষেবা কি?

AWS Glue হল একটি অ্যামাজন এক্সট্র্যাক্ট ট্রান্সফর্ম এবং লোড পরিষেবা যা ব্যবহারকারীকে সমস্ত ডেটা সংগঠিত করতে, সনাক্ত করতে, সরাতে এবং রূপান্তর করতে দেয়৷ AWS আঠালো সার্ভারহীন কারণ ব্যবহারকারীর সার্ভারের ব্যবস্থা এবং কনফিগার বা জীবন চক্র পরিচালনা করার প্রয়োজন হয় না। ডেটা ক্যাটালগ এবং ক্রলারগুলি হল AWS Glue-এর উপাদান যা স্থায়ী মেটাডেটা সংগ্রহস্থল হিসাবে কাজ করে:

কিভাবে AWS এ একটি ক্রলার তৈরি করবেন?

AWS-এ একটি ক্রলার তৈরি করতে, AWS ম্যানেজমেন্ট কনসোল থেকে AWS Glue পরিষেবাতে যান:

প্রবেশ করুন ' ক্রলার বাম প্যানেল থেকে এর নামের উপর ক্লিক করে পৃষ্ঠা:

ক্লিক করুন ' ক্রলার তৈরি করুন 'বোতাম:

ক্রলারের নাম টাইপ করুন এবং 'এ ক্লিক করুন পরবর্তী 'বোতাম:

আঠালো টেবিলের জন্য ম্যাপিং বিকল্পটি নির্বাচন করুন এবং 'এ ক্লিক করুন একটি উৎস যোগ করুন ' থেকে ডেটা পেতে বোতাম:

S3 পরিষেবা নির্বাচন করুন এবং 'এ ক্লিক করুন S3 ব্রাউজ করুন ' উৎসের অবস্থান পেতে বোতাম:

শুধু S3 ফোল্ডার নির্বাচন করুন এবং 'এ ক্লিক করুন পছন্দ করা 'বোতাম:

স্থানটি উৎসে যোগ হয়ে গেলে, কেবল 'এ ক্লিক করুন একটি S3 ডেটা উৎস যোগ করুন 'বোতাম:

ক্লিক করুন ' পরবর্তী 'বোতাম:

ক্লিক করুন ' নতুন IAM ভূমিকা তৈরি করুন ' থেকে ' বোতাম নিরাপত্তা সেটিংস কনফিগার করুন ' অধ্যায়:

ভূমিকার নাম লিখুন এবং 'এ ক্লিক করুন সৃষ্টি 'বোতাম:

এর পরে, কেবল 'এ ক্লিক করুন' পরবর্তী 'বোতাম:

টার্গেট ডাটাবেস নির্বাচন করুন এবং টেবিলের জন্য যে নামটি ব্যবহার করা হবে তা টাইপ করুন:

'এর জন্য ক্রলারের সময়সূচী করুন চাহিদা সাপেক্ষে 'এবং 'এ ক্লিক করুন পরবর্তী 'বোতাম:

কনফিগারেশন পর্যালোচনা করুন এবং 'এ ক্লিক করুন ক্রলার তৈরি করুন 'বোতাম:

ক্রলারটি সফলভাবে তৈরি করা হয়েছে এবং এটি 'এ ক্লিক করে উৎস থেকে ডেটা আনতে ব্যবহার করা যেতে পারে চালান 'বোতাম:

এটি AWS-এর তালিকা ক্রলার সম্পর্কে।

উপসংহার

ListCrawler হল AWS Glue পরিষেবার উপাদান যা উৎস থেকে তথ্য ক্রল করতে এবং ক্যাটালগে ফিরে যেতে ব্যবহার করা যেতে পারে। ডেটা ক্যাটালগ এবং ক্রলারগুলি ডেটা সংগ্রহ করতে ব্যবহার করা যেতে পারে ডেটা সম্পর্কে তথ্য পেতে যা মেটাডেটা নামে পরিচিত। ব্যবহারকারী S3 পরিষেবা বা অন্যান্য উত্স থেকে ডেটা পেতে এবং ডাটাবেসে তৈরি টেবিল স্থাপন করতে AWS Glue থেকে একটি ক্রলারও তৈরি করতে পারেন। এই নির্দেশিকাটি AWS-এ ListCrawlers এবং কীভাবে সেগুলি তৈরি করতে হয় তা ব্যাখ্যা করেছে।