Imersao-Azure-Big-Data

Treinamento Azure Data Factory + Azure Databricks + Azure Analysis Services + Power BI realizado em janeiro de 2022 com o objetivo de abordar técnicas para ingestão e tratamento de dados utilizando a suíte Azure. O treinamento foi ministrado por:

• Luiz Santana
• Fábio Santos
• Matheus Andrade

Conteúdos Azure Data Factory

1. Apresentação do Azure Data Factory (ADF)
2. Conceitos de ETL X ELT
3. Conceitos de Spark
4. Provisionamento dos serviços da Azure
   • Data Factory
   • Data Lake
   • Key Vault
   • Azure SQL Database
5. Configuração do ADF
   • Integration Runtime
   • Integration Runtime Self-Hosted
   • Linked Services
   • Datasets
6. Integrações
   • Azure Key Vault
   • GitHub
7. Activities
   • Conhecendo as Activities
   • Praticando as Activities
8. Data Flow
   • Conhecendo o Data Flow
   • Praticando o Data Flow

Conteúdos Azure Databricks

1. Conceitos do Azure Databricks
2. Conceitos do Apache Spark
   • Data Frame
   • Aprendizado de máquina
3. Conhecendo a plataforma do Databricks
4. Conceitos de Python
   • Listas
   • Função
5. Provisionando Azure Databricks
6. Integrações do Databricks
   • Key Vault
   • Data Factory
   • Data Lake
7. Conceitos de Delta Lake
8. Aplicabilidade Python x SQL X Delta
9. Notebooks
   • Criando conexão com o Data Lake
   • Lendo arquivo da camada Raw
   • Ajustando o dado e escrevendo arquivo na camada Trusted
   • Agregando valor ao dado e escrevendo na Refined
   • Criando conexão com o SQL DB
   • Escrevendo no SQL DB

Conteúdos Azure Analysis Services

1. Entendendo o processo de tomada de decisão com o BI
2. A necessidade de um modelo semântico
3. Conceitos ETL x ELT
4. O que é o Analysis Services ?
5. Onde o Analysis Services se encaixa num projeto de BI ?
6. Porque utilizar o Analysis Services ? Quando utilizar ?
7. Precificação do Analysis Services
8. Laboratório Analysis Services:
   • MS Visual Studio
   • SQL Server Management Studio
   • Fontes de dados
   • Power Query (Linguagem M)
   • Modelagem
   • DAX
   • Colunas Calculadas
   • Medidas
   • Segurança (Row Level Security)
   • Processamento
   • Particionamento
   • Boas Práticas
   • Deploy

Power BI

1. Entendendo a necessidade da visualização e compartilhamento dos dados
2. O que é o Power BI ?
3. Fontes de Dados
4. Tipos de Conexão
5. Power BI Desktop
6. Power BI Service
7. Power BI Mobile
8. Modelagem
9. Compartilhamento (Apps, Dashboards, Reports)
10. Licenciamento do Power BI (planos e capacidades)
11. Laboratório Power BI:
    • Ingestão
    • Power Query (Linguagem M)
    • DAX
    • Analysis Services
    • Gráficos
    • Compartilhamento
    • Workspaces
    • Conjunto de dados
    • Fluxo de Dados
    • On Premises Data Gateway
    • Atualização Agendada
    • Alertas
    • Assinaturas