Meu primeiro Pipeline com DATABRICKS

Meu primeiro Pipeline com DATABRICKS

O curso Meu Primeiro Pipeline com Databricks é a escolha ideal para quem deseja aprender de forma prática e direta, desde os conceitos básicos até a construção de um Data Lakehouse completo.

Não importa se você está começando agora, este curso vai te guiar passo a passo, com um enfoque acessível e aplicável ao mundo real.

Ao final do programa você será capaz de:

Manipular Dados

Usar Python, PySpark e SQL para construção dos processos de ingestão e transformação de Dados.

Criar Pipelines

Ler e escrever pipelines de dados usando Batch e o Streaming Streaming no Spark.

Aplicar a teoria na prática

Entender os princípios da Engenharia de Dados e como aplica-los em projetos reais.

Arquitetura de Data Lakehouse

Desenhar arquiteturas completas de ingestão usando o design Pattern do Data Lakehouse.

Arquitetura avançada

Construir um pipeline completo usando a Arquitetura Medalhão (Medallion Architecture).

Delta Lake como storage layer

Usar de maneira eficaz o Delta Lake como storage layer dentro do Data Lakehouse.
Conteúdo do curso

A nossa jornada de conhecimento

Teoria do Big Data

  • Evolução da Análise de Dados
  • O problema dos Silos de Dados
  • Os 3 V's do Big Data
  • Formatos de Arquivos para Big Data
  • Entendendo o Paradigma do Data Lakehouse
  • Arquitetura Lambda
  • Arquitetura Kappa

Conceitos do DATABRICKS

  • Introdução ao Apache Spark
  • Introdução ao Databricks
  • Arquitetura do Databricks
  • Computação no Databricks para Engenharia
  • Overview na Plataforma do Databricks
  • Introdução aos Notebooks no Databricks

Programação no DATABRICKS

  • Introdução ao Python
  • Programação básica no Python
  • Programação básica no PySpark / SQL
  • Write & Read usando o Spark - Batch
  • Entendendo o Spark Structured Streaming
  • Write & Read usando o Spark - Streaming

Usando o Delta Lake na Prática

  • Introdução ao Delta Lake
  • Validação de Schema no Delta Lake
  • Evolução de Schema no Delta Lake
  • Trasações ACID no Delta Lake
  • Otimização para tabelas no Delta Lake
  • Time Travel no Delta Lake

Projeto Final - Construção de um Pipeline de Dados no DATABRICKS

  • Entendendo o User Case
  • Medallion Architecture
  • Carregando Dados para zona Bronze
  • Carregando Dados para zona Silver
  • Carregando Dados para zona Gold

Módulo Especial
CARREIRA PROFISSIONAL

  • LinkedIn - Criando um perfil Campeão
  • Entrevista - Como se preparar
  • Carreira Acadêmica & Certificações
  • Comunidade de TI - Vale a Pena?
  • Mercado de TI no Brasil e no Exterior
  • Mercado de TI na Carreira Pública

Quem é o
Arthur Luz?

Arquiteto em soluções de Analytics e especialista em Engenharia de Dados usando o Databricks, atua hoje como Sr. Data Engineer no time de DataOps da American Airlines. 

Tem mais de 11 anos de jornada profissional, mais de 15 certificações em Advanced Analytics & Cloud Computing e experiência no mercado de TI público e privado no Brasil & exterior. 

É sedento por aprender e apaixonado por compartilhar conhecimento. Foi palestrante em mais de 90 conferências presenciais & online dentro e fora do Brasil.

"Escolha um trabalho que você ame e não terá de trabalhar um único dia de sua vida."

Confúcio
Filósofo Chinês

FAQ

Quais formas de pagamento?

Cartão de crédito a vista parcelado.

O conteúdo é ao vivo?

Aulas do curso Meu Primeiro Pipeline com Databricks são gravadas. 

E se eu tiver dúvidas?

Você poderá tirar suas dúvidas dentro da plataforma de aulas.

Até quando posso acessar as aulas?

Aulas do curso Meu Primeiro Pipeline com Databricks são gravadas. O acesso ao conteúdo é vitalício enquanto a plataforma existir.

O Treinamento possui alguma Comunidade?

Sim, você receberá todas as informações a partir do seu primeiro acesso à área logada.
Criado com