কাইনেসিস কি কাফকার মতোই?

মোবাইল বা ওয়েব অ্যাপ্লিকেশন, বাণিজ্য কেনাকাটা, গেম প্লেয়ার কার্যকলাপ এবং আরও অনেক উত্স ব্যবহার করে গ্রাহকদের দ্বারা তৈরি লগ ফাইলের আকারে ডেটা আমাদের চারপাশে রয়েছে। আরও বিশেষভাবে, AWS Kinesis এবং Kafka পরিষেবাগুলি ডেটার স্ট্রিমগুলি পরিচালনা এবং নিয়ন্ত্রণ করতে এবং AWS স্টোরেজ পরিষেবাগুলিতে সংরক্ষণ করার জন্য SQL ব্যবহার করে প্রস্তুত করতে ব্যবহার করা হয়।

এই গাইড কাইনেসিস এবং কাফকাকে বিস্তারিতভাবে ব্যাখ্যা করবে।

Kinesis কি?

বিপুল পরিমাণ ডেটা পরিচালনা করা বেশ জটিল কাজ যার জন্য এটি সংগ্রহ, সংরক্ষণ এবং বিশ্লেষণ প্রয়োজন। AWS Kinesis পরিষেবা এই উচ্চ-থ্রুপুট তথ্য নিয়ন্ত্রণ করতে এবং ব্যবহারকারীকে তাদের ব্যবসা, প্রতিষ্ঠান এবং গ্রাহকদের সাথে আপ টু ডেট থাকতে সাহায্য করতে ব্যবহৃত হয়:

কাইনেসিসের পরিষেবা

Kinesis নিম্নলিখিত পরিষেবাগুলি নিয়ে গঠিত:

কাইনেসিস স্ট্রীম : কাইনেসিস স্ট্রিম স্কেলে কম লেটেন্সি স্ট্রিমিং ইনজেস্ট অফার করে।

কাইনেসিস অ্যানালিটিক্স : এটি বিভিন্ন সংস্থান থেকে ডেটা ক্যাপচার করতে এবং স্ট্রিমগুলিতে রিয়েল-টাইম বিশ্লেষণ সম্পাদন করতে SQL প্রয়োগ করতে ব্যবহৃত হয়:

কাইনেসিস ফায়ারহোজ : এটি S3, Redshift, ElasticSearch, ইত্যাদির মতো AWS পরিষেবাগুলিতে ধারাবাহিকভাবে স্ট্রিমগুলি প্রস্তুত এবং লোড করতে ব্যবহার করা হয়:

কাফকা কি?

কাফকা একটি বিতরণ করা বার্তা স্ট্রিমিং প্ল্যাটফর্ম যা ডেটা স্ট্রিম করার জন্য প্রকাশ এবং সাবস্ক্রাইব পদ্ধতি ব্যবহার করে। আমাজনের ' অ্যাপাচি কাফকার জন্য পরিচালিত স্ট্রিমিং ” (MSK) হল একটি সম্পূর্ণরূপে পরিচালিত পরিষেবা যা রিয়েল টাইম স্ট্রিমিং পাইপলাইন তৈরি করতে ব্যবহৃত হয়। যাইহোক, অপ্রত্যাশিত এবং অজানা কাজের চাপের জন্য, অ্যামাজন MSK সার্ভারহীন প্ল্যাটফর্ম দ্বারা চালু করা হয়েছে:

কাফকার মূল ধারণা

কাফকার কিছু মূল ধারণা নিচে উল্লেখ করা হলো:

কিউ : এটি অ্যাসিঙ্ক্রোনাস বার্তা প্রেরণ এবং গ্রহণ করার একটি প্রক্রিয়া প্রদান করে এবং পরিষেবা থেকে পরিষেবা যোগাযোগের প্রস্তাব দেয়:

পাবসাব : এটি একটি অ্যাসিঙ্ক্রোনাস মেসেজিং পরিষেবা, যার মানে এটি ব্যবহারকারীকে ডেটা স্ট্রিম পাঠাতে, গ্রহণ করতে এবং ফিল্টার করতে সাহায্য করে: