24/09, 09:30–10:10 (America/Recife), Auditório
Vamos explorar os benefícios de adotar a biblioteca python Great Expectations e como utilizá-la em conjunto com pipelines de dados já definidos no Airflow. Veremos como definir e validar expectativas em relação à qualidade dos dados, garantindo consistência e excelência em suas pipelines. Saiba como integrar essa poderosa biblioteca aos fluxos de trabalho orquestrados no Airflow, aproveitando a flexibilidade e escalabilidade da plataforma. Não perca essa oportunidade de aprimorar suas habilidades e impulsionar o desempenho das suas pipelines de dados.
Nessa apresentação será abordado de forma superficial a definição de uma pipeline de processamento de dados usando Airflow e um conector python para uma base de dados local que servirá como destino do dado a ser analisado pelas definições feitas usando Great Expectations. Como cronograma da apresentação teremos:
| 1 min. | Agradecimento |
|---|---|
| 2 min. | Sobre mim |
| 5 min. | Breve contextualização sobre pipelines de dados e Airflow |
| 7 min. | Apresentação da biblioteca Great Expecations: overview de funcionalidades |
| 4 min. | Apresentado a estrutura de uma expectativa para o Great Expectations |
| 10 min | Apresentando o Operador Great Expactations no Airflow e como utiliza-lo |
| 5 min. | Overview sobre o relatório de qualidade que é gerado |
| 1 min. | Listando possíveis próximos passos e encerramento |
