Skip to content

Thiago-code-lab/aws-data-engineering-course

Repository files navigation

Banner do curso Engenharia de Dados na AWS

Engenharia de Dados na AWS: do Zero aos Projetos Reais

Curso na Udemy

Livro técnico complementar oficial do curso, com aulas completas, PDFs, laboratórios, desafios, quizzes, datasets, projetos executáveis e trilhas de estudo.

Repositório oficial · LinkedIn do instrutor · CloudStudy

Cupom GitHub: use GITHUB no link promocional do curso: acessar com desconto.

O que você vai estudar

A trilha cobre fundamentos de AWS para dados, Data Lake com Amazon S3, ingestão com Python e Boto3, pipelines serverless com Lambda, catálogo e ETL com AWS Glue, consultas com Amazon Athena, infraestrutura como código com Terraform, CI/CD, observabilidade, custos e uso de IA como apoio técnico.

Jornada visual

flowchart LR
    A[Começando] --> B[Fundamentos AWS]
    B --> C[Segurança e custos]
    C --> D[Ambiente local]
    D --> E[S3 e Data Lake]
    E --> F[Python e Boto3]
    F --> G[Lambda]
    G --> H[Glue e Parquet]
    H --> I[Athena e SQL]
    I --> J[Projeto serverless]
    J --> K[Terraform]
    K --> L[Pipeline como código]
    L --> M[CI/CD e operação]
    M --> N[IA com validação]
    N --> O[Projeto final]
Loading

Cada etapa depende da anterior e termina em uma entrega verificável. Use a tabela de módulos abaixo para abrir diretamente o capítulo correspondente.

O que você vai construir

  • Uma estrutura de Data Lake no Amazon S3.
  • Um pipeline Python com regras de qualidade, quarentena, manifesto e testes.
  • Uma função Lambda orientada a eventos com idempotência verificável.
  • Processamento Glue, catálogo e consultas Athena sobre dados analíticos.
  • Infraestrutura completa com Terraform e CI/CD com GitHub Actions e OIDC.
  • Um projeto final de analytics de vendas pronto para reconstrução e portfólio.

Módulos

# Módulo
01 Começando em Engenharia de Dados na AWS
02 Fundamentos da AWS para Engenharia de Dados
03 Conta AWS, Segurança e Controle de Custos
04 Preparando o Ambiente de Desenvolvimento
05 Amazon S3 e Construção de um Data Lake
06 Python e Boto3 para Ingestão de Dados
07 Pipeline Orientado a Eventos com AWS Lambda
08 AWS Glue, Catálogo e Processamento de Dados
09 SQL e Análises com Amazon Athena
10 Projeto 1: Pipeline de Dados Serverless
11 Terraform do Zero
12 Projeto 2: Pipeline de Dados com Terraform
13 CI/CD, Observabilidade, Segurança e Custos
14 IA como Copiloto para Cloud e Dados
15 Projeto final: Analytics de Vendas na AWS

PDFs complementares

Os PDFs disponíveis estão linkados nos READMEs dos módulos 01 a 14.

Projetos

Projeto Arquitetura Entrega principal
Data Lake no Amazon S3 Fluxo e decisões zonas raw, processed, curated e quarantine
Pipeline Serverless Fluxo e decisões evento S3, Lambda, qualidade e consulta
Infraestrutura com Terraform Grafo e decisões recursos reproduzíveis e state protegido
CI/CD com GitHub Actions Pipeline e identidade validação automatizada e OIDC
Projeto final de analytics de vendas Arquitetura completa plataforma integrada e portfólio reproduzível

Como usar este repositório

  1. Comece pelo mapa da formação.
  2. Acesse o README do módulo correspondente à aula em andamento.
  3. Nos módulos com PDF, consulte o arquivo complementar indicado em Materiais.
  4. Use os datasets sintéticos somente para fins educacionais.
  5. Consulte o glossário técnico ao encontrar um termo novo.
  6. Antes de qualquer prática com AWS, leia segurança e custos.
  7. Valide a cópia local com powershell -ExecutionPolicy Bypass -File scripts/validar-estrutura.ps1 ou python scripts/validar-estrutura.py.

Cheat sheets

Tema Consulta rápida
AWS AWS CLI e IAM
Código Python, SQL e Git
Dados Lambda, Glue e Athena
Infraestrutura Terraform

Trilhas visuais e roadmaps

Ferramentas necessárias

  • Conta AWS com orçamento e alertas configurados.
  • Git e GitHub.
  • Python 3 e ambiente virtual local.
  • AWS CLI configurada com perfis seguros.
  • Terraform para os módulos de infraestrutura.
  • Editor de código, como VS Code.

Segurança e custos

Os laboratórios podem criar recursos pagos na AWS. Sempre valide conta, região, orçamento, permissões e procedimento de limpeza antes de executar qualquer atividade prática. Nunca publique credenciais, tokens, dados pessoais, estados Terraform sensíveis ou evidências com informações privadas.

Estrutura do repositório

.
|-- architecture/  # Diagramas Mermaid da jornada e dos pipelines
|-- datasets/      # 23 datasets sintéticos documentados
|-- docs/          # Glossário, cheat sheets, preparação e roadmaps públicos
|-- links/         # Biblioteca temática de referências gratuitas
|-- modulos/       # 15 capítulos com aulas e práticas
|-- projetos/      # 5 projetos executáveis e testáveis
`-- scripts/       # Validações locais do material

Contribuição e segurança

About

Repositório oficial do curso Engenharia de Dados na AWS para alunos da Udemy. Acompanhe as aulas em ordem, acesse PDFs, datasets, laboratórios, desafios, soluções, consultas SQL e projetos práticos com Python, S3, Lambda, Glue, Athena, Terraform, GitHub Actions, segurança, custos, automação e boas práticas de Engenharia de Dados com prática real!

Topics

Resources

Code of conduct

Contributing

Security policy

Stars

0 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors