O objetivo desse projeto é estudar a integração do Kafka com Pyspark e Cassandra. Os dados são gerados pelo producer.py usando a lib Faker e enviados para o consumer.py pelo Kafka. Após o filtro do Pyspark, os dados entregues pelo Kafka são inseridos em outro tópico do mesmo e inseridos em um banco de dados do Cassandra.
-
Notifications
You must be signed in to change notification settings - Fork 0
AquilaMS/kafka-cassandra
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
Projeto de estudo sobre o uso do Kafka para fonte de dados, Spark para processamento e Cassandra para sink.
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published