Pipelines e Repositórios de Dados

Um pipeline de dados que larga ou corrompe registos discretamente é pior do que nenhum pipeline, porque as pessoas confiam nos números na mesma. Construo pipelines de ETL e ELT, batch e streaming, com a qualidade dos dados tratada como preocupação de primeira classe — validação, monitorização e idempotência para que o resultado seja correcto e as falhas sejam ruidosas, não silenciosas. O store por baixo é escolhido para os padrões de acesso que serve, com gestão disciplinada de esquema e de migrações para que os dados se mantenham disponíveis e acessíveis à medida que crescem, em vez de se tornarem um estrangulamento frágil e cada vez mais caro.