Apache Kafka là một open-source distributed event streaming platform giúp chúng ta có thể tạo và process data stream real-time. Các bạn có thể hình dung đến những hệ thống mà mỗi giây, data đều được sinh ra và cần được xử lý ví dụ như hệ thống quản lý giao thông, quản lý thời tiết, data sẽ được tạo ra từ nhiều nơi khác nhau và cần được collect để xử lý. Sử dụng Apache Kafka với high scalable có thể giúp chúng ta giải quyết những bài toán như vậy.

Apache Kafka là một hệ thống enterprise messaging, hoạt động với cơ chế Pub-Sub messaging architecture. Chúng ta có Message Publisher, Message Consumer và Message Broker. Message Publisher là nơi produce các message và emit các message vào Message Broker, Message Consumer là nơi nhận, nó sẽ subscribe Message Broker và nhận các message của Message Publisher thông qua Message Broker.

Apache Kafka Server sẽ đóng vai trò là một Message Broker.

Apache Kafka cung cấp cho chúng ta các library để làm việc với Publisher và Subscriber. Ngoài ra, Apache Kafka còn có thêm các component khác như Kafka Connect, Kafka Streams.

Apache Kafka được xây dựng từ đầu bởi LinkedIn, một mạng xã hội về việc làm, và được open-source từ năm 2011.