Запись [Школа Больших Данных] KAFKA: Курс Администрирование кластера Kafka

​

Программа курса Администрирование кластера Kafka

1. Введение в Kafka

• Что такое Apache Kafka?
• Сценарии использования Kafka
• Компоненты Kafka и Kafka экосистемы
• Архитектура Kafka
• Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)

2. Основные концепции Kafka

• Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
• Брокеры (Brokers): Развертывание. Конфигурация Multibroker
• Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
• Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

• Требования по установке кластера Kafka
• Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
• Установка кластера Kafka без использования Zookeeper KIP-500
• Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
• Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
• Конфигурация Listeners. Отказоустойчивость кластера Kafka.
• Установка кластера Kafka на Yandex Cloud

4. Базовые операции в Apache Kafka

• Операции с Топиками (Topic)
• Публикация данных с консольного Producer
• Получение данных с консольного Consumer
• Пользовательские интерфейсы для работы с Kafka

5. Оптимизация кластера Apache Kafka

• Оптимизация производительности компонент кластера
• Масштабирование кластера
• Балансировка разделов(partition) и использование Partition Reassignment Tools
• Best Practices Kafka/Confluent
• Мониторинг кластера Kafka
• Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana

6. Интеграция с Apache Kafka (обзорно)

• Использование Apache NiFi
• Интеграция Apache Hadoop с Kafka
• Сценарии интеграции с Apache Kafka

7. Расширенная конфигурация кластера Kafka

• Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
• Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
  логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
• Confluent REST Proxy. Confluent Schema Registry (обзорно)
• Репликация кластера с использованием Mirror Maker 2

8. Безопасность в Kafka

• Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и
  клиентов
• Аутентификация SSL/SASL
• Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
• Авторизация в Kafka
• Управление списками управления доступом (ACL)

Продолжительность: 3 дня, 24 академических часа.
Соотношение теории к практике 50/50

Курс предназначен для специалистов, которые хотят изучить:

• методы администрирования и настройки кластера Apache Kafka;
• настройку безопасности Kafka с SSL и Kerberos;
• примеры интеграции;
• мониторинг и оптимизацию кластера Apache Kafka с использованием практических примеров;
• практику развертывания кластера Kafka в облаке Yandex;
• особенности использования Yandex Manager Service для Apache Kafka

Предварительная подготовка

• Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)