آموزش نصب Apache Kafka در ویندوز

Kafka یک پلتفرم streaming می باشد که به شما امکان می دهد برنامه های کاربردی رویداد محور را در زمان واقعی توسعه دهید. در این آموزش نحوه نصب Apache Kafka در ویندوز را مورد بررسی قرار خواهیم داد. تا آخر مقاله همراه ما باشید.

Kafka چیست؟

Kafka یک سیستم پردازش پیام با کارایی بالا بوده که شما را قادر می‌سازد تا یک جریان پیوسته از اطلاعات را برای ساخت pipeline های داده یا برنامه‌های real-time پردازش و تجزیه و تحلیل کنید. Kafka در ابتدا توسط تیم مهندسی LinkedIn در سال 2010 برای ردیابی رویدادهای فعالیت های مختلف در یک صفحه وب یا اپلیکیشن LinkdIn، مانند تبادل پیام، بازدید از صفحه، تبلیغات ارائه شده و… ایجاد شده است. با این حال، در سال 2011، از طریق نرم افزار Apache به صورت open-source ساخته شد.

Kafka را یک سیستم پیام رسانی publish-subscribe نیز می نامند، زیرا شامل انتشار و همچنین اشتراک پیام ها به سمت و سوی سرور Kafka توسط تولیدکنندگان و مصرف کنندگان می باشد. چنین قابلیت های کارآمدی به Kafka اجازه می دهد تا توسط برجسته ترین شرکت ها در سراسر جهان استفاده شود. در حال حاضر Kafka توسط بیش از 20500 سازمان در سراسر جهان، از جمله 80٪ از 500 شرکت Fortune مانند Netflix، Airbnb، Uber و Walmart استفاده می شود.

پیش نیازهای نصب Kafka

در ابتدا قبل از نصب Kafka، باید دو برنامه از قبل در دستگاه محلی خود نصب کنید:

• Java Development Kit (JDK): جاوا مهم ترین پیش نیاز قبل از نصب Kafka بر روی رایانه شما است. همچنین می توانید JDK را با دانلود آن از وب سایت رسمی Oracle نصب کنید. نصب کننده مناسب را با توجه به نوع سیستم خود، یعنی 32 بیت یا 64 بیت، انتخاب کرده و دانلود کنید. پس از دانلود، می توانید با دنبال کردن دستورالعمل های روی صفحه، نصب کننده را اجرا کنید. همچنین باید مسیر فایل و متغیرهای محیط Java_Home را پیکربندی کنید تا سیستم عامل خود را قادر به مکان یابی ابزارهای جاوا کند. در نهایت، نصب JDK خود را با اجرای دستور java -version در خط فرمان خود آزمایش کنید.
• 7-Zip or WinRAR: برنامه‌های 7-Zip or WinRAR به شما امکان می‌دهند فایل‌های دانلود شده Kafka را از حالت فشرده خارج کرده یا استخراج کنید.

مراحل نصب Apache Kafka در ویندوز

اکنون که تا حدودی با Kafka آشنا شدید، در ادامه به نحوه نصب Apache Kafka در ویندوز می پردازیم.

دانلود Kafka 

برای نصب Kafka در ویندوز، ابتدا به صفحه رسمی Apache Kafka https://kafka.apache.org/downloads مراجعه کرده و Kafka را دانلود کنید.

نصب و پیکربندی Kafka

• پس از دانلود فایل ها، Kafka را استخراج یا از حالت فشرده خارج کنید و سپس پوشه استخراج شده را به هر یک از دایرکتوری های دلخواه خود منتقل کنید تا از طریق خط فرمان به آن دسترسی داشته باشید.
• اکنون باید تنظیماتی را در فایل های Kafka استخراج شده انجام دهید تا به درستی روی ویندوز نصب شود.
• معمولاً فایل‌های Kafka استخراج‌شده دارای فایل‌های Zookeeper می باشند که به طور همزمان با Kafka برای مدیریت تمام پیکربندی ها و تنظیمات سرورهای Kafka اجرا می‌شوند.
• همچنین به جای ذخیره آن ها در پوشه های موقت پیش فرض، می توانید هر دو فایل Kafka و ZooKeeper را برای ذخیره داده های Kafka و ZooKeeper در پوشه های جداگانه پیکربندی کنید.

یک پوشه جدید به نام data در داخل پوشه Kafka ایجاد کرده و در داخل پوشه Data، دو پوشه مجزا به نام‌های Kafka و Zookeeper ایجاد کنید. پس از ایجاد پوشه های جداگانه برای Kafka و Zookeeper، باید تغییراتی در فایل های پیکربندی برای اشاره به پوشه های جدید ایجاد کرده و برای این کار، در ابتدا مسیر فایل پوشه Zookeeper ایجاد شده در داخل پوشه داده را کپی کنید.

از پوشه پیکربندی موجود در فایل های Kafka استخراج شده، فایل Zookeeper.properties را با یک برنامه ویرایشگر متنی مانند Notepad یا Notepad++ باز کنید. در فایل باز شده، مکان datadir خود را با مسیر پوشه Zookeeper کپی شده جایگزین کنید، سپس مطمئن شوید که مسیر را با اسلش های فوروارد به جای اسلش های عقب تغییر می دهید. در نهایت، فایل را ذخیره کنید تا تغییرات ایجاد شده در تنظیمات فایل بروز شود.
پس از پیکربندی ویژگی های Zookeeper، باید ویژگی های سرور Kafka را پیکربندی کنید. برای این کار، مسیر فایل پوشه Kafka ایجاد شده در داخل پوشه داده را کپی کرده و فایل server.properties را از پوشه Config موجود در فایل های Kafka استخراج شده باز کنید.

در فایل server.properties، مکان logs.dirs را با مسیر پوشه Kafka کپی شده جایگزین کنید سپس مطمئن شوید که مسیر را با اسلش های جلو به جای اسلش های عقب تغییر داده اید. اسلش های عقب را با اسلش های رو به جلو در مسیر فایل جایگزین کرده و فایل را ذخیره کنید. اکنون، شما تغییرات و تنظیمات لازم را در فایل های Kafka انجام داده اید و آماده راه اندازی Kafka در رایانه خود هستید.

راه اندازی Zookeeper و Kafka

پس از پیکربندی Zookeeper و Kafka، باید هر یک را به طور جداگانه از پنجره command prompt راه اندازی و اجرا کنید.

راه اندازی Zookeeper

خط فرمان را باز کرده و به مسیر D:Kafka بروید. سپس دستور زیر را وارد کنید:

zookeeper-server-start.bat ....configzookeeper.properties

اکنون Zookeeper راه اندازی شده و به پورت 2181 متصل شده است. با این کار، می توانید تأیید کنید که سرور Zookeeper با موفقیت راه اندازی شده است. همچنین برای فعال نگه داشتن Zookeeper، خط فرمان را نبندید.

راه اندازی Kafka

پنجره فرمان دیگری را باز کرده و دستور زیر را وارد کنید:

kafka-server-start.bat ....configserver.properties

در حال حاضر Zookeeper و Kafka راه اندازی شده و با موفقیت در حال اجرا هستند. برای تأیید آن، به پوشه‌های جدید ایجاد شده Kafka و Zookeeper بروید. وقتی پوشه Zookeeper و Kafka مربوطه را باز کردید، می توانید متوجه شوید که فایل های جدیدی در داخل پوشه ها ایجاد شده اند.

بررسی Kafka با ایجاد Topic 

همانطور که Kafka و Zookeeper را با موفقیت راه اندازی کرده اید، می توانید با ایجاد موضوعات جدید و سپس انتشار پیام ها با استفاده از نام موضوع، آن ها را بررسی کنید. موضوع ها کانتینرهای مجازی هستند که جریانی از پیام ها را تحت چندین دسته به نام پارتیشن ذخیره و سازماندهی می کنند. هر موضوع Kafka همیشه با یک نام دلخواه و منحصر به فرد در کل Kafka cluster مشخص می شود.

برای ایجاد موضوع، یک command prompt جدید باز کرده و دستور زیر را وارد کنید:

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TestTopic

در دستور بالا TestTopic نام منحصر به فردی است که به Topic داده شده است و zookeeper localhost:2181 پورتی است که Zookeeper را اجرا می کند. پس از اجرای دستور، موضوع جدیدی با موفقیت ایجاد می شود. هنگامی که نیاز به ایجاد یک موضوع جدید با نام دیگری دارید، می توانید همان کد را با نام موضوع دیگری جایگزین کنید. مانند مثال زیر:

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic

در دستور، شما فقط نام موضوع را جایگزین کرده اید در حالی که سایر قسمت های دستور ثابت می ماند. برای فهرست کردن تمام موضوعات موجود، می‌توانید دستور زیر را اجرا کنید:

.binwindowskafka-topics.bat --list --zookeeper localhost:2181

با این روش ساده ایجاد موضوع، می توانید تأیید کنید که Kafka با موفقیت بر روی ویندوز نصب شده و به خوبی کار می کند.

نتیجه گیری

در این آموزش نحوه نصب Apache Kafka در ویندوز را مورد بررسی قرار دادیم. از آنجایی که Kafka می‌تواند عملیات پیشرفته‌تری از جمله تجزیه و تحلیل داده‌های real-time، پردازش stream، ایجاد pipeline داده، ردیابی فعالیت و موارد دیگر را انجام دهد، یکی از ابزارهای پیشرو برای کار با streaming data است. همچنین از طرف دیگر استخراج داده های پیچیده از Apache Kafka می تواند دشوار و زمان بر باشد. ممنون که تا آخر مقاله با ما همراه بودید. نظرات خود را با ما به اشتراک بگذارید.