Кафка для самых маленьких

Результат модуля

Понимаешь, какие задачи решает Kafka, когда её стоит использовать, а когда она только усложнит систему. Разбираешься, где физически лежат сообщения и что происходит с ними внутри кластера.

• Понимаешь, зачем нужны очереди сообщений и какие проблемы они решают
• Понимаешь устройство топиков, партиций и кластера в целом
• Объясняешь, почему Kafka быстро работает
• Настраиваешь срок хранения сообщений и понимаешь разницу между DELETE и COMPACT
• Понимаешь, зачем Kafka раньше был нужен ZooKeeper и как его заменил KRaft
• Объясняешь, чем Kafka отличается от RabbitMQ
• Можешь аргументированно решить, подходит ли Kafka для конкретной задачи
• Умеешь пользоваться UI-инструментами для Кафки, можешь поднять Кафку локально, отправлять и просматривать сообщения через UI

Результат модуля

Умеешь спроектировать запись в Kafka так, чтобы сообщения не терялись и сохраняли требуемый порядок.

• Умеешь выбирать стратегию распределения данных по партициям
• Понимаешь, от чего зависит порядок сообщений и в каких случаях он может нарушиться
• Настраиваешь подтверждение записи и понимаешь компромисс между скоростью и надёжностью
• Объясняешь, почему сообщения могут потеряться или задублироваться как это предотвратить
• Знаешь, от каких параметров зависит скорость записи и умеешь их настраивать
• Решаешь проблему надежной записи в БД и Kafka через Transactional Outbox
• Понимаешь, как работает идемпотентный продюсер и какие гарантии он даёт
• Сам проектируешь (и по желанию пишешь) продюсер, который сохраняет запись в БД и отправляет сообщение в Kafka

Результат модуля

Понимаешь жизненный цикл сообщения после записи в Kafka и умеешь построить надёжную обработку даже при сбоях и высокой нагрузке.

• Понимаешь consumer groups и то, как партиции распределяются между экземплярами консьюмера
• Объясняешь, почему сообщение может потеряться или обработаться несколько раз и как с этим работать
• Умеешь проектировать идемпотентный консьюмер
• Проектируешь retries и DLQ и понимаешь, какие ошибки стоит повторять, а какие нет
• Понимаешь, когда происходит ребалансировка, какие проблемы она может вызвать и как уменьшить её влияние на обработку сообщений
• Умеешь настраивать static membership и знаешь, когда он может пригодиться
• Рассчитываешь количество партиций под заданную нагрузку
• Знаешь, как повторно обработать старые сообщения при необходимости
• Понимаешь, когда использовать обычные consumer groups, а когда share groups
• Понимаешь, как работают транзакции Kafka и какие гарантии они дают
• Сам проектируешь (и по желанию пишешь) консьюмер с дедупликацией, сохранением данных в БД и обработкой невалидных сообщений через DLQ

Результат модуля

Понимаешь, когда интеграцию с Kafka можно не писать вручную, а собрать на Kafka Connect, и как это сделать технически

• Понимаешь устройство и назначение Kafka Connect
• Подключаешь внешние системы к Kafka без разработки отдельного приложения
• Понимаешь, что такое CDC и как Debezium превращает изменения в базе данных в события
• Используешь Single Message Transformations для простых преобразований сообщений
• Можешь выбрать между собственным продюсером/консьюмером и готовым Kafka Connector
• На практике настраиваешь CDC с помощью Debezium: подключаешь базу данных к Kafka и наблюдаешь, как изменения в таблицах превращаются в сообщения в топике.

Результат модуля

Можешь спроектировать Kafka-интеграцию целиком: от требований и контракта до безопасности и дальнейшего развития.

• Знаешь, на что обратить внимание при проектировании интеграции
• Выбираешь структуру сообщения и подходящий формат данных
• Проектируешь контракт так, чтобы его можно было безопасно развивать
• Понимаешь, что такое совместимость и умеешь учитывать ее при изменении схем
• Разбираешься в типах защиты подключений к Кафка и понимаешь, какие механизмы безопасности работают на уровне кластера, пользователя и топика
• Используешь Schema Registry для управления схемами сообщений
• Понимаешь назначение REST Proxy и когда он может быть полезен

Результат модуля

Понимаешь, как тестировать интеграцию и как разбираться, если что-то сломалось. Знаешь о возможностях Кафки, которые выходят за рамки обычной схемы "producer → topic → consumer".

• Тестируешь продюсеров, консьюмеров и интеграцию целиком
• Понимаешь, какие метрики показывают состояние Kafka и работу консьюмеров
• Следишь за consumer lag и понимаешь, когда отставание становится проблемой
• Отличаешь Kafka Streams от Apache Flink и выбираешь подходящий инструмент под задачу
• Понимаешь, зачем нужен Tiered Storage и как он меняет хранение больших объёмов данных
• Представляешь идею Diskless Topics и то, как развивается архитектура Kafka