LCC 193 - Interview Apache Kafka avec Florent Ramière

Posté par Emmanuel Bernard le 30/07/2018

Florent Ramière vient discuter avec Emmanuel d'Apache Kafka, de ses usages, son fonctionnement, son écosystème. Et roule ma poule sur piste noire.

Enregistré le 19 juillet 2018

Téléchargement de l'épisode LesCastCodeurs-Episode-193.mp3

Interview

Ta vie, ton œuvre

Florent Ramière
@framiere
LinkedIn
Confluent

Kafka

Kafka en deux phrases
Apache Kafka
AMQP

Quels sont ses caractéristiques spécifiques Pourquoi pas A-MQ Discussion only-once delivery, at-least-once, exactly once

Les cas d’utilisations

• captation des logs
• event sourcing et le podcast sur l'event sourcing
• stream processing
• bus message
• microservices

Apache Spark Streaming
Apache flink

Partition

Discussion sur la dualité change event / table

Les blogs de Ben Stopford
Debezium - Change Data Capture

La compétition

• MQ
• Apache Pulsar
• AWS Kinesis

L’utilisation

Comment Kafka s’utilise
Comment on l’installe

• Déployer la stack via ansible

Definition des partitions

• A quoi ça sert fonctionnellement le sharding
• Comment choisir sa clé de sharding

Apache Zookeeper

Comment je publie un message ?
Je dois stocker l’index?

Protocol Kafka

Processing avec Kafka Streams
vs Spark Stream et Flink

Supervision
Démo de monitoring

Golden ratio

• lag
• partitions non répliquées
• plusieurs leaders

Devoxx France Comment monitorer Kafka like a pro
Un tour de l'environnement Kafka

Sous la capot

Apache Zookeeper

Pourquoi ça scale ?
Réplication
Batching
Latence

Les top 5/10 problèmes que tu vois chez les clients

• pas de monitoring
• pas compris le système de partition: sous provisionner
• gestion de l’ordre: lié à la production
• codec: snappy

Producteurs
Présentation sur le producteur Kafka
Format des messages
Schema registry

Retention:

• en temps
• en byte

Compaction: avantages / inconvénients fonctionnels
Crypto-shredding

L’écosystème et la communauté

Kafka Connect
A Kafka Story

Kafka Stream
KSQL et son GitHub

Confluent Inc vs Apache Kafka

Apache Pulsar

Kafka Improvement Process

Ressources

Monitoring demo
A Kafka Story
Une démo complete kafka, broker, ksql, connect etc
Déployer la stack via ansible
KSQL
Microservices
Resources Kafka
Bouquin Kafka the definitive guide gratuit
Kafka Improvment process
Kafka protocol
Le blog de confluent
Apache Pulsar
Debezium

Nous contacter

Faire un crowdcast ou une crowdquestion
Contactez-nous via twitter https://twitter.com/lescastcodeurs
sur le groupe Google https://groups.google.com/group/lescastcodeurs
ou sur le site web https://lescastcodeurs.com/