BIG DATA ECOSYSTEM - MODERN DATA STACK COM DOCKER

Ambiente para estudo dos principais framework de um ambiente moderno de dados utilizando docker.

SOFTWARES NECESSÁRIOS

Para a criação e uso do ambiente vamos utilizar o git e o Docker

• Instalação do Docker Desktop no Windows Docker Desktop ou o docker no Linux
• Instalação do git

SETUP

• OBS: A primeira vez que o ambiente for iniciado, todas as imagens serão baixadas para a maquina local.
• Para executar todo o ambiente, o servidor/host deve possuir pelo menos 16GB de memória.
• É indicado subir apenas os containers para o worload que será utilizado/testado.

INICIANDO O AMBIENTE*

Em um terminal/DOS/PowerShell, realizar o clone do projeto no github.

      git clone https://github.com/fabiogjardim/mds.git

Ao realizar o clone do repositório, o diretória mds será criado em sua máquina local.

EXEMPLOS DE COMO INICIR O AMBIENTE

No Windows abrir PowerShell, do Linux um terminal e acessar o diretório mds

Para iniciar um ambiente com Data Lake e Spark

      docker-compose up -d minio spark-worker        

Para iniciar um ambiente com Ingestão de dados com CDC no Postgres utilizando Kafka

     docker-compose up -d minio kafka-broker kafka-connect nifi postgres

SOLUCIONANDO PROBLEMAS

Parar verificar os containers em execução

     docker ps 

Parar um containers

     docker stop [nome do container]      

Parar todos containers

     docker stop $(docker ps -a -q)

Remover um container

     docker rm [nome do container]

Remover todos containers

     docker rm $(docker ps -a -q)         

Dados do containers

     docker container inspect [nome do container]

Iniciar um container específico

     docker-compose up -d [nome do container]

Iniciar todos os containers (CUIDADO, é muito pesado)

     docker-compose up -d 

Acessar log do container

     docker container logs [nome do container] 

Acesso WebUI dos Frameworks

• Minio http://localhost:9051
• Jupyter Spark http://localhost:8889
• Pinot http://localhost:9000
• Nifi http://localhost:9090
• Kafka Control Center http://localhost:9021
• Airflow http://localhost:8180
• Elastic http://localhost:9200
• Metabase http://localhost:3000
• Kibana http://localhost:5601
• Superset http://localhost:8088
• Trino http://localhost:8080
• CloudBeaver http://localhost:8010

Usuários e senhas

Superset

Usuário: admin
Senha: admin

Metabase

Usuário: admin@mds.com
Senha: admin 

Postgres

Usuário: admin
Senha: admin

Minio

Usuário: admin
Senha: minioadmin

Pinot

Usuário: admin
Senha: admin

Kibana

Usuário: admin
Senha: admin

CloudBeaver

Usuário: admin
Senha: admin

Imagens

Docker Hub

Documentação oficial dos ambientes em container

• Cloudbeave
• Trino
• Superset
• Metabase
• DeltaLake
• Minio
• Elastic
• Postgres
• Pinot
• Jupyter Spark
• Airflow
• Kafka Confluent
• Debezium
• Nifi