Kafka یک پلتفرم Streaming می باشد که به شما این امکان را می دهد تا بتوانید برنامه های کاربردی رویداد محور را در زمان واقعی خودشان توسعه دهید.

Kafka یک سیستم پردازش پیام با کارایی بالا بوده که شما را قادر می‌سازد تا یک جریان پیوسته از اطلاعات را برای ساخت Pipeline های داده یا برنامه‌های Real-Time پردازش، تجزیه و تحلیل کنید.

این پلتفرم در ابتدا توسط تیم مهندسی LinkedIn، در سال 2010 برای ردیابی رویداد فعالیت های مختلف در یک صفحه وب یا اپلیکیشن مانند تبادل پیام، بازدید از صفحه، تبلیغات ارائه شده و… ایجاد شده است.

با این حال بعد ها در سال 2011، از طریق نرم افزار Apache مجدداً به صورت Open-Source ساخته شد، Apache Kafka را یک سیستم پیام رسانی publish-subscribe نیز می نامند، زیرا شامل انتشار و همچنین اشتراک پیام ها به سمت و سوی سرور Kafka توسط تولیدکنندگان و مصرف کنندگان نیز می شود.

چنین قابلیت های کارآمدی به Kafka اجازه می دهد تا توسط برجسته ترین شرکت ها در سراسر جهان استفاده شود، در حال حاضر Kafka توسط بیش از 20500 سازمان در سراسر جهان، از جمله 80٪ از 500 شرکت Fortune مانند Netflix، Airbnb، Uber و Walmart از Apache Kafka استفاده می کنند.

ما نیز در این آموزش شما را با بهترین شیوه نصب Apache Kafka در ویندوز آشنا خواهیم کرد، اگر شما هم قصد راه اندازی آن را دارید با مقاله جدید ما همراه باشید.

پیش نیازهای نصب Apache Kafka

در ابتدا مثل هر نصب دیگری باید پیش نیاز های مورد نیاز نصب را فرآهم کنیم تا بتوانیم مراحل را شروع کنیم، قبل از نصب Kafka باید دو برنامه از قبل در دستگاه محلی خود نصب کنید:

• Java Development Kit (JDK)

جاوا مهم ترین پیش نیاز قبل از نصب Kafka بر روی رایانه شما است، می توانید JDK را با دانلود آن از وب سایت رسمی Oracle نصب کنید، نصب کننده مناسب را با توجه به نوع سیستم خود یعنی 32 بیت یا 64 بیت انتخاب کرده و دانلود کنید.

پس از دانلود با دنبال کردن دستورالعمل های روی صفحه نصب کننده را اجرا کنید، مسیر فایل و متغیرهای محیط Java_Home را پیکربندی کنید تا سیستم عامل خود را قادر به مکان یابی ابزارهای جاوا کند.

در نهایت نصب JDK خود را با اجرای دستور Java -Version در خط فرمان خود آزمایش کنید.

• 7-Zip or WinRAR

برنامه‌های 7-Zip or WinRAR به شما امکان می‌دهند فایل‌های دانلود شده Kafka را از حالت فشرده خارج کرده یا استخراج کنید.

مراحل  دانلود، نصب و پیکربندی Apache Kafka در ویندوز

اکنون که با ماهیت Apache Kafka آشنا شدیم و پیش نیاز های آن را اجرا کردیم، آماده نصب هستیم و زمان آن رسیده تا مراحل نصب Apache Kafka در ویندوز را شروع کنیم.

برای نصب Kafka در ویندوز ابتدا به صفحه رسمی Apache Kafka https://kafka.apache.org/downloads مراجعه کرده و Kafka را از وب سایت رسمی آن دانلود کنید.

پس از دانلود فایل ها، Apache Kafka را استخراج یا از حالت فشرده خارج کنید و سپس پوشه استخراج شده را به هر یک از دایرکتوری های دلخواه خود منتقل کنید تا از طریق خط فرمان به آن دسترسی داشته باشید.

اکنون باید تنظیماتی که در فایل های Kafka استخراج شده را انجام دهید تا به درستی بر روی ویندوز نصب شود، توجه کنید که معمولاً فایل‌های Kafka استخراج‌شده دارای فایل‌های Zookeeper می باشند و به طور همزمان با Kafka برای مدیریت تمام پیکربندی ها و تنظیمات سرورهای Kafka اجرا می‌شوند.

همچنین به جای ذخیره آن ها در پوشه های موقت پیش فرض می توانید هر دو فایل Kafka و ZooKeeper را برای ذخیره داده های Kafka و ZooKeeper در پوشه های جداگانه پیکربندی کنید.

در این مرحله یک پوشه جدید به نام Data در داخل پوشه Kafka ایجاد کرده، مجدداً درون پوشه Data دو پوشه مجزا به نام‌های Kafka و Zookeeper ایجاد کنید.

پس از ایجاد پوشه های جداگانه برای Kafka و Zookeeper باید تغییراتی در فایل های پیکربندی برای اشاره به پوشه های جدید ایجاد کرده و برای این کار در ابتدا مسیر فایل پوشه Zookeeper ایجاد شده در داخل پوشه داده را کپی کنید.

از پوشه پیکربندی موجود در فایل های Kafka استخراج شده، فایل Zookeeper.properties را با یک برنامه ویرایشگر متنی مانند Notepad یا Notepad++ باز کنید.

در فایل باز شده مکان Datadir را با مسیر پوشه Zookeeper کپی شده جایگزین کنید، سپس مطمئن شوید که مسیر را با اسلش های فوروارد به جای اسلش های عقب تغییر می دهید.

در نهایت فایل را ذخیره کنید تا تغییرات ایجاد شده در تنظیمات فایل بروز شود، پس از پیکربندی ویژگی های Zookeeper باید ویژگی های سرور Kafka را پیکربندی کنید.

برای این کار مسیر فایل پوشه Kafka ایجاد شده در داخل پوشه داده را کپی و فایل Server.properties را از پوشه Config موجود در فایل های Kafka استخراج شده باز کنید.

در فایل Server.properties مکان Logs.dirs را با مسیر پوشه Kafka کپی شده جایگزین کنید سپس مطمئن شوید که مسیر را با اسلش های جلو به جای اسلش های عقب تغییر داده اید.

اسلش های عقب را با اسلش های رو به جلو در مسیر فایل جایگزین کرده و فایل را ذخیره کنید، اکنون شما تغییرات و تنظیمات لازم در فایل های Kafka را انجام داده اید و آماده راه اندازی Apache Kafka در رایانه خود هستید.

راه اندازی Zookeeper و Apache Kafka

پس از پیکربندی Zookeeper و Kafka باید هر یک را به طور جداگانه از پنجره Command Prompt راه اندازی و اجرا کنید، برای این کار 3 مرحله زیر را پیش ببرید.

1- راه اندازی Zookeeper

خط فرمان را باز کرده و به مسیر D:Kafka بروید، سپس دستور زیر را وارد کنید:

zookeeper-server-start.bat ....configzookeeper.properties

اکنون Zookeeper راه اندازی شده و به پورت 2181 متصل شده است، با این کار می توانید تأیید کنید که سرور Zookeeper با موفقیت راه اندازی شده است همچنین برای فعال نگه داشتن Zookeeper خط فرمان را نبندید.

2- راه اندازی Apache Kafka

پنجره فرمان دیگری را باز کرده و دستور زیر را وارد کنید:

kafka-server-start.bat ....configserver.properties

در حال حاضر Zookeeper و Kafka راه اندازی شده و با موفقیت در حال اجرا هستند، برای تأیید آن به پوشه‌های جدید ایجاد شده Kafka و Zookeeper بروید.

وقتی پوشه Zookeeper و Kafka مربوطه را باز کردید، می توانید متوجه شوید که فایل های جدیدی در داخل پوشه ها ایجاد شده اند.

3- بررسی Apache Kafka با ایجاد Topic 

همانطور که Kafka و Zookeeper را با موفقیت راه اندازی کرده اید، می توانید با ایجاد موضوعات جدید و سپس انتشار پیام ها با استفاده از نام موضوع، آن ها را بررسی کنید.

موضوع ها کانتینرهای مجازی هستند که جریانی از پیام ها را تحت چندین دسته به نام پارتیشن ذخیره و سازماندهی می کنند، هر موضوع Kafka همیشه با یک نام دلخواه و منحصر به فرد در کل Kafka Cluster مشخص می شود.

برای ایجاد موضوع یک command prompt جدید باز کرده و دستور زیر را وارد کنید:

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TestTopic

در دستور بالا TestTopic نام منحصر به فردی است که به Topic داده شده است و zookeeper localhost:2181 پورتی است که Zookeeper را اجرا می کند.

پس از اجرای دستور موضوع جدیدی با موفقیت ایجاد می شود و هنگامی که نیاز به ایجاد یک موضوع جدید با نام دیگری دارید، می توانید همان کد را با نام موضوع دیگری جایگزین کنید، مانند مثال زیر:

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic

در این دستور شما فقط نام موضوع را جایگزین کرده اید، در حالی که سایر قسمت های دستور ثابت می ماند و برای فهرست کردن تمام موضوعات موجود، می‌توانید دستور زیر را اجرا کنید:

.binwindowskafka-topics.bat --list --zookeeper localhost:2181

با این روش ساده ایجاد موضوع، می توانید تأیید کنید که Kafka با موفقیت بر روی ویندوز نصب شده و به خوبی کار می کند.

اگر به سرور مجازی ویندوز پر قدرت جهت مدیریت و یک میزبانی پایدار بارهای پردازشی سنگین، اجرا انواع سرویس ها و برنامه های مختلف نیاز دارید آذرسیس در اختیار شما است.

آذرسیس همواره خدمات خود را در سطح جهانی با قیمت های مقرون به صرفه ارائه می کند و به حدی به خدمات خود اعتماد دارد که در صورت اعلام نا رضایتی، کاربر می تواند تا 7 روز از گارانتی بازگشت وجه استفاده کند.

سخن آخر

از آنجایی که Apache Kafka می‌تواند عملیات پیشرفته‌تری از جمله تجزیه و تحلیل داده‌های Real-Time، پردازش Stream، ایجاد Pipeline داده، ردیابی فعالیت و موارد دیگری را انجام دهد.

یکی از ابزارهای پیشرو برای کار با Streaming Data به شمار می آید، همچنین از طرف دیگر استخراج داده های پیچیده از Apache Kafka می تواند دشوار و زمان بر باشد.

اما شما به راحتی می توانید از طریق این آموزش Apache Kafka را دانلود، نصب و راه اندازی کنید بنابراین اصلاً نگران نباشید و کار را به ما بسپارید، فقط خطوط بالا را بخوانید و اجرا کنید.

ممنون که تا آخر این مقاله نیز با ما همراه بودید، می توانید نظرات خود را با ما به اشتراک بگذارید و برای اطلاعات بیشتر به وبلاگ های آموزشی آذرسیس سر بزنید.