آموزش نصب Apache Kafka در ویندوز

با توجه به اینکه Apache Kafka یک پلتفرم Streaming می باشد و می توانید برنامه های کاربردی رویداد محور را در زمان واقعی خودشان توسعه دهید. این سیستم پردازش پیام با کارایی بالا در ابتدا توسط تیم مهندسی LinkedIn، در سال 2010 برای ردیابی رویداد فعالیت های مختلف در یک صفحه وب یا اپلیکیشن مانند تبادل پیام، بازدید از صفحه، تبلیغات ارائه شده و … ایجاد شد و بعدها به صورت Open-Source در اختیار کاربران قرار گرفت. همین ویژگی های منحصر بفرد این پلتفرم را به یک برنامه کاربردی در برجسته ترین شرکت های سراسر جهان تبدیل کرده است. در ادامه نحوه درست نصب Apache Kafka در ویندوز را به دقت به شیوه آذرسیس بازگو خواهیم کرد.

پیش نیازهای نصب Apache Kafka در ویندوز

در ابتدا مثل هر نصب دیگری باید پیش نیاز ها را فرآهم کنیم تا به مراحل نصب برسیم، قبل از نصب Kafka باید دو برنامه از قبل در دستگاه Local خود نصب کنید:

1- Java Development Kit (JDK)

جاوا مهم ترین پیش نیاز است که می توانید JDK را با دانلود آن از وب سایت رسمی Oracle نصب کنید، نصب کننده مناسب را با توجه به نوع سیستم خود یعنی 32 بیت یا 64 بیت انتخاب کرده و دانلود کنید. پس از دانلود با دنبال کردن دستورالعمل های روی صفحه نصب کننده را اجرا کنید، مسیر فایل و متغیرهای محیط Java_Home را پیکربندی کنید تا سیستم عامل خود را قادر به مکان یابی ابزارهای جاوا کند. در نهایت نصب JDK خود را با اجرای دستور Java -Version در خط فرمان خود آزمایش کنید.

2- 7-Zip or WinRAR

برنامه‌های 7-Zip or WinRAR به شما امکان می‌دهند فایل‌های دانلود شده Kafka را از حالت فشرده خارج کرده یا استخراج کنید. پس به عنوان دومین پش نیاز باید آن ها را نصب کنید.

مراحل دانلود، نصب و پیکربندی Apache Kafka در ویندوز

اکنون که با ماهیت Apache Kafka آشنا شدیم و پیش نیاز های آن را اجرا کردیم، آماده نصب هستیم و زمان آن رسیده تا مراحل نصب Apache Kafka در ویندوز را شروع کنیم. برای نصب Kafka در ویندوز ابتدا به صفحه رسمی Apache Kafka مراجعه کرده و Kafka را از وب سایت رسمی آن دانلود کنید. پس از دانلود فایل ها، Apache Kafka را استخراج یا از حالت فشرده خارج کنید و سپس پوشه استخراج شده را به هر یک از دایرکتوری های دلخواه خود منتقل کنید تا از طریق خط فرمان به آن دسترسی داشته باشید.

اکنون باید تنظیماتی که در فایل های Kafka استخراج شده را انجام دهید تا به درستی بر روی ویندوز نصب شود، توجه کنید که معمولاً فایل‌های Kafka استخراج‌شده دارای Zookeeper می باشند و به طور همزمان با Kafka برای مدیریت تمام پیکربندی ها و تنظیمات سرورهای Kafka اجرا می‌شوند. همچنین به جای ذخیره آن ها در پوشه های موقت پیش فرض می توانید هر دو فایل Kafka و ZooKeeper را برای ذخیره داده های Kafka و ZooKeeper در پوشه های جداگانه پیکربندی کنید.

در این مرحله یک پوشه جدید به نام Data در داخل پوشه Kafka ایجاد کرده، مجدداً درون پوشه Data دو پوشه مجزا به نام‌های Kafka و Zookeeper ایجاد کنید. پس از ایجاد پوشه های جداگانه برای Kafka و Zookeeper باید تغییراتی در فایل های پیکربندی برای اشاره به پوشه های جدید ایجاد کرده و برای این کار در ابتدا مسیر فایل پوشه Zookeeper ایجاد شده در داخل پوشه داده را کپی کنید.

از پوشه پیکربندی موجود در فایل های Kafka استخراج شده، فایل Zookeeper.Properties را با یک برنامه ویرایشگر متنی مانند Notepad یا Notepad++ باز کنید. در فایل باز شده مکان Datadir را با مسیر پوشه Zookeeper کپی شده جایگزین کنید، سپس مطمئن شوید که مسیر را با اسلش های فوروارد به جای اسلش های عقب تغییر می دهید. در نهایت فایل را ذخیره کنید تا تغییرات ایجاد شده در تنظیمات فایل بروز شود، پس از پیکربندی ویژگی های Zookeeper باید ویژگی های سرور Kafka را پیکربندی کنید.

برای این کار مسیر فایل پوشه Kafka ایجاد شده در داخل پوشه داده را کپی و فایل Server.Properties را از پوشه Config موجود در فایل های Kafka استخراج شده باز کنید. در فایل Server.Properties مکان Logs.dirs را با مسیر پوشه Kafka کپی شده جایگزین کنید سپس مطمئن شوید که مسیر را با اسلش های جلو به جای اسلش های عقب تغییر داده اید. اسلش های عقب را با اسلش های رو به جلو در مسیر فایل جایگزین کرده و فایل را ذخیره کنید، اکنون شما تغییرات و تنظیمات لازم در فایل های Kafka را انجام داده اید و آماده راه اندازی Apache Kafka در رایانه خود هستید.

راه اندازی Zookeeper و Apache Kafka

پس از پیکربندی Zookeeper و Kafka باید هر یک را به طور جداگانه از پنجره Command Prompt راه اندازی و اجرا کنید، برای این کار 3 مرحله زیر را پیش ببرید:

1- راه اندازی Zookeeper

خط فرمان را باز کرده و به مسیر D:Kafka بروید، سپس دستور زیر را وارد کنید:

zookeeper-server-start.bat ....configzookeeper.properties

اکنون Zookeeper راه اندازی شده و به پورت 2181 متصل شده است، با این کار می توانید تأیید کنید که سرور Zookeeper با موفقیت راه اندازی شده است همچنین برای فعال نگه داشتن Zookeeper خط فرمان را نبندید.

2- راه اندازی Apache Kafka

پنجره فرمان دیگری را باز کرده و دستور زیر را وارد کنید:

kafka-server-start.bat ....configserver.properties

در حال حاضر Zookeeper و Kafka راه اندازی شده و با موفقیت در حال اجرا هستند، برای تأیید آن به پوشه‌های جدید ایجاد شده Kafka و Zookeeper بروید. وقتی پوشه Zookeeper و Kafka مربوطه را باز کردید، می توانید متوجه شوید که فایل های جدیدی در داخل پوشه ها ایجاد شده اند.

3- بررسی Apache Kafka با ایجاد Topic 

همان طور که Kafka و Zookeeper را با موفقیت راه اندازی کرده اید، می توانید با ایجاد موضوعات جدید و سپس انتشار پیام ها با استفاده از نام موضوع، آن ها را بررسی کنید. موضوع ها کانتینرهای مجازی هستند که جریانی از پیام ها را تحت چندین دسته به نام پارتیشن ذخیره و سازماندهی می کنند، هر موضوع Kafka همیشه با یک نام دلخواه و منحصر به فرد در کل Kafka Cluster مشخص می شود. برای ایجاد موضوع یک Command Prompt جدید باز کرده و دستور زیر را وارد کنید:

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TestTopic

در دستور بالا TestTopic نام منحصر به فردی است که به Topic داده شده است و Zookeeper Localhost:2181 پورتی است که Zookeeper را اجرا می کند. پس از اجرای دستور موضوع جدیدی با موفقیت ایجاد می شود و هنگامی که نیاز به ایجاد یک موضوع جدید با نام دیگری دارید، می توانید همان کد را با نام موضوع دیگری جایگزین کنید. مانند مثال زیر:

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic

در این دستور شما فقط نام موضوع را جایگزین کرده اید، در حالی که سایر قسمت های دستور ثابت می ماند و برای فهرست کردن تمام موضوعات موجود، می‌توانید دستور زیر را اجرا کنید. با این روش ساده ایجاد موضوع می توانید تأیید کنید که Kafka با موفقیت بر روی ویندوز نصب شده و به خوبی کار می کند:

.binwindowskafka-topics.bat --list --zookeeper localhost:2181

پیشنهاد کارشناس! اگر به سرور مجازی ویندوز پر قدرت جهت مدیریت و یک میزبانی پایدار بارهای پردازشی سنگین، اجرا انواع سرویس ها و برنامه های مختلف نیاز دارید آذرسیس در اختیار شما است. آذرسیس همواره خدمات خود را در سطح جهانی با قیمت های مقرون به صرفه ارائه می کند و به حدی به خدمات خود اعتماد دارد که در صورت اعلام نارضایتی، کاربر می تواند از گارانتی بازگشت وجه تا 7 روز کاری استفاده کند.

سخن آخر

جالب است بدانید که در حال حاضر Kafka توسط بیش از 20500 سازمان در سراسر جهان، از جمله 80٪ از 500 شرکت های Fortune مانند Netflix، Airbnb، Uber و Walmart از Apache Kafka استفاده می شود! و چون عملیات پیشرفته‌ از جمله تجزیه و تحلیل داده‌های Real-Time، پردازش Stream، ایجاد Pipeline داده، ردیابی فعالیت و موارد دیگری را انجام می دهد، ممکن است کار با Apache Kafka می تواند دشوار و زمان بر باشد. اما شما از طریق این آموزش Apache Kafka می توانید این دغدغه ها را فراموش کنید! نگران نباشید و کار را به ما بسپارید! فقط خطوط بالا را بخوانید و اجرا کنید!