Neste projeto, são realizadas transformações nos dados da empresa Northwind utilizando a ferramenta dbt. Nele, está sendo conduzido o processo abrangente de entendimento, modelagem, transformação e visualização dos dados de uma empresa fictícia denominada Northwind.
- Realizar a transformação e análise dos dados brutos da Northwind para extrair insights relevantes e coerentes.
- Aplicar conceitos de Business Intelligence para visualização e compreensão dos dados, a fim de extrair insights para orientar decisões estratégicas e impulsionar o crescimento da empresa, fortalecendo sua posição competitiva no mercado.
- Desenvolver e implementar uma infraestrutura de dados flexível, adaptável e acessível, alinhada à metodologia Modern Data Stack (MDS).
- Promover a cultura data driven e aumentar a capacidade analítica da empresa.
- Aplicar conceitos de Businees Inteligence para visualização e entendimento dos daods.
- Criar ambiente virtual:
python -m venv venv- Ativar ambiente virtual:
source venv/bin/activate
- Instalar dependências:
pip install -r requirements.txt- Entrar na pasta do projeto:
cd northwind/- Executar os modelos:
dbt run- Executar os testes:
dbt testPara implementação do projeto e criação de infraestruturas de dados foi utilizada uma combinação de boas práticas e ferramentas, definida como Modern Data Stack (MDS).
Com o objetivo de agregar valor e fornecer respostas precisas às principais perguntas de negócio, foi desenvolvido um Data Planning abrangente. Este plano aborda um dicionário dos dados, dimensões e métricas analisadas, KPIs e questões estratégicas essenciais para impulsionar o sucesso da organização.
Para acessar o Data Planning completo: Link
| KPI | Descrição |
|---|---|
| Total de Pedidos | Número total de pedidos |
| Receita Total | Valor obtido pela empresa com as vendas (faturamento bruto ou renda total) |
| Receita Líquida | Valor obtido pela empresa com as vendas após a redução de descontos |
| Média de Itens | por Pedido Quantidade média de produtos em cada pedido |
| Margem de Lucro | Produto Define a margem de lucro média por produto |
| Produto mais recorrente | O produto mais recorrente em pedidos |
| Descontinuado | Quantidade de produtos que não estão mais disponível para venda |
| Produtos por Fornecedor | Quantidade de produtos fornecidos por cada fornecedor |
| Valor Médio de Compra por Cliente | Valor médio gasto por um cliente específico em suas compras durante um período |
| Ticket Médio | Valor médio gasto em todas as transações |
| Razão Cliente/Funcionário | Número de Clientes Atendidos por Funcionário |
| Tempo Médio de Entrega | Define o Tempo Médio de Entrega por Transportadora |
| Perguntas de Negócio |
|---|
| Existem padrões sazonais nas vendas de determinados produtos? |
| Quais produtos têm a maior margem de lucro? |
| É possível analisar quais são os clientes que têm maior impacto nas vendas totais da empresa? |
| Quais são os diferentes segmentos de clientes com base em seu histórico de compras? |
| Quais são os vendedores mais produtivos em termos de vendas ou número de pedidos? |
| Quais são os países que apresentam os melhores desempenhos? |
| Quais são os principais motivos para atrasos ou problemas na entrega de pedidos aos clientes? |
| É possivel identificar se existem diferença na venda de produtos com desconto ou sem desconto? |
Foi criado o modelo star schema, uma estrutura de banco de dados comumente usada em Data Warehousing. Nesse modelo, foram definida a tabela fato que contêm as métricas de negócios principais e tabelas de dimensões que fornecem contextos adicionais para análises mais profundas. A implementação deste modelo foi realizada utilizando a ferramenta dbt, garantindo uma organização eficiente e fácil acesso aos dados para análises avançadas.
Para implementação do projeto e criação de infraestruturas de dados foi utilizada uma combinação de boas práticas e ferramentas, definida como Modern Data Stack (MDS). Dessa forma, é possível combinar ferramentas que executam funções distintas para construir uma estrutura de dados moderna, mutável e mais independente. Logo, para execução do projeto foram seguidas etapas e atribuições específicas ao longo de uma pipeline. A metodologia utilizada no planejamento e execução do projeto pode ser resumida no diagrama a seguir.
Para garantir armazenamento dos dados e consultas de grandes volumes de dados, foi utilizado o Data Warehouse Google BigQuery, que possibilita análises e o gerenciamento de informações em larga escala.
Para ganhos de eficiência no projeto, foi realizada a abordagem ELT (Extract-Load-Transform), na qual, os dados foram extraídos, carregados e em seguida, transformados. Trata-se de uma abordagem mais rápida e flexível para a transformação de dados brutos em dados modelados dentro do Data Warehouse. A principal ferramenta utilizada para a transformação dos dados foi o DBT (data build tool). A tecnologia permite executar o processo de ELT para a transformação dos dados brutos em dados modelados, garantindo um código analítico, capaz de produzir resultados de maior qualidade, realizar testes e documentar consultas.
Para fornecer a visualização, as análises de informações e gerar insights que agregam valor à tomada de decisão empresarial foi utilizada a ferramenta de Business Intelligence Power BI, com intuito de analisar os principais indicadores, otimizar processos e tomar decisões assertivas.
Para acessar o Dashboard completo: Link.
Neste projeto foi realizado a transformação de dados da empresa fictícia Northwind. A partir da exploração e análise dos dados brutos, foram extraídos insights relevantes e coerentes que podem orientar decisões estratégicas e impulsionar o crescimento da empresa, fortalecendo sua posição competitiva no mercado. Durante o projeto, foram explorados os principais KPIs e perguntas de negócio, definido um Data Planning abrangente que serviu como guia para nossas análises. Além disso, foi implementado um modelo star schema, garantindo uma organização eficiente e fácil acesso aos dados para análises avançadas. Na arquitetura do projeto, foram utilizadas ferramentas, tais como, o Google BigQuery para armazenamento e gerenciamento de dados e adotando a abordagem ELT para transformação de dados brutos em dados modelados, utilizando o dbt como ferramenta principal. Por fim, usou-se o conceito de Business Intelligence, por meio da ferramenta Power BI, para visualização e análise das informações, que contribuem para a tomada de decisões estratégicas.
Andressa Gomes Moreira - andressagomesm26@gmail.com