Apache Kafka простыми словами — это распределённая система обмена сообщениями между серверными приложениями в режиме реального времени. 1
Её можно сравнить с почтой: одни сервисы передают туда сообщения-письма, а другие — получают. 4
Некоторые задачи, которые решает Kafka:
- Связь микросервисов. Kafka обеспечивает связующее звено между отдельными функциональными модулями большой системы. Например, с её помощью можно подписать микросервис на другие компоненты для регулярного получения обновлений. 1
- Потоковая передача данных. Высокая пропускная способность системы позволяет поддерживать непрерывные потоки информации. 1
- Ведение журнала событий. Kafka сохраняет данные в строго организованную структуру, в которой всегда можно отследить, когда произошло то или иное событие. 1
Apache Kafka — распределённый программный брокер сообщений с открытым исходным кодом
Kafka хранит сообщения, которые поступают от других процессов, называемых «производителями» (producers), в формате «ключ — значение». Данные могут быть разбиты на разделы (англ. partitions) в рамках разных тем (topics). Внутри раздела сообщения строго упорядочены по своим смещениям (offset), то есть по положению сообщения внутри раздела, а также индексируются и сохраняются вместе с временем создания. Другие процессы, называемые «потребителями» (consumers), могут считывать сообщения из разделов. Для потоковой обработки Kafka предлагает Streams API, позволяющий разрабатывать Java-приложения, которые получают из Kafka и записывают данные в Kafka. Система также работает с внешними системами обработки потоков, такими как Apache Apex, Apache Beam, Apache Flink, Apache Spark, Apache Storm и Apache NiFi.
Система работает в кластере из одного или нескольких узлов-брокеров, где разделы всех тем распределены по узлам кластера. Для обеспечения отказоустойчивости разделы реплицируются на несколько брокеров. Начиная с версии 0.11.0.0 система позволяет использовать транзакционную модель, близкую к используемым моделям в базах данных, которая обеспечивает обработку потока ровно один раз с использованием Streams API.
Apache Kafka — распределенная система обмена сообщениями между серверными приложениями в режиме реального времени.
- Применение Kafka Apache
- Как устроена и работает Kafka Apache
- Преимущества Kafka
Apache Kafka — это распределённая система, предназначенная для обработки потоков данных в режиме реального времени.
Как работает брокер сообщений Apache Kafka
Преимущества Apache Kafka
Где применяется Apache Kafka
Apache Kafka — распределенный брокер сообщений, работающий в стриминговом режиме.
Что такое брокер сообщений
Шаги передачи данных
Какие сложности решает распределенная система
Managed service для Apache Kafka
Преимущества Apache Kafka
Комментариев нет:
Отправить комментарий