O projeto de Engenharia de Dados proposto visa implementar uma infraestrutura robusta e escalável para processamento e análise de dados em várias fontes e formatos. Utilizando as principais ferramentas do mercado, como Airflow, Snowflake, dbt, PostgreSQL, Looker Studio e Power BI, objetivo é fornecer uma solução completa para as necessidades de análise de dados da organização.
O fluxo de trabalho será gerenciado pelo Airflow, permitindo agendar e executar tarefas de forma automática e programada. Com o Airflow, podemos orquestrar fluxos de trabalho complexos, garantindo a execução de tarefas na ordem correta e lidando com possíveis falhas de forma eficiente.
Os dados serão armazenados no Snowflake, um data warehouse moderno e altamente escalável. O Snowflake oferece desempenho excepcional e suporta cargas de trabalho analíticas de grande escala. Além disso, sua arquitetura em nuvem permite escalabilidade automática e gerenciamento simplificado.
Para transformação de dados e modelagem dimensional, faremos uso do dbt (data build tool). O dbt simplifica o processo de transformação de dados, permitindo aos analistas escreverem consultas SQL e transformações de dados de forma modular e fácil de manter. Isso nos permitirá criar modelos de dados consistentes e atualizados automaticamente.
O PostgreSQL será utilizado para armazenamento de dados transacionais e como fonte de dados para alimentar o Snowflake. Sua confiabilidade e capacidade de manipulação de transações serão fundamentais para garantir a integridade dos dados.
Para visualização e análise de dados, faremos uso do Looker Studio e do Power BI. Essas ferramentas nos permitirão criar dashboards interativos e relatórios personalizados, fornecendo insights acionáveis para os usuários finais em toda a organização.
Em resumo, este projeto de Engenharia de Dados busca fornecer uma solução completa e integrada para captura, armazenamento, transformação, análise e visualização de dados, capacitando a organização a tomar decisões informadas e impulsionar o crescimento e a inovação.