Pipelines e warehouse: onde o dado mora e como ele viaja

Existe uma parte do trabalho com dados que nunca aparece no dashboard, não rende post no LinkedIn e é responsável por praticamente tudo funcionar: o encanamento. Pipelines, warehouse, agendamentos, reprocessamentos. Se você já ouviu alguém dizer "ah, isso é só ETL", saiba que essa frase costuma vir de quem nunca foi acordado por um pipeline quebrado.

Este post é sobre onde o dado mora na nossa arquitetura e como ele viaja — contado do jeito que a gente gostaria que alguém tivesse contado antes de a gente aprender na prática.

As duas casas do dado

Simplificando o desenho, o dado tem duas moradas, e confundir as duas é a origem de metade dos problemas de performance do mundo:

• O transacional (Postgres). É onde a operação acontece: a venda registrada, o ponto creditado, o cadastro atualizado. Otimizado para escrever e ler registros individuais com consistência. É a memória de curto prazo do negócio — precisa ser rápida e correta, linha a linha.
• O warehouse (colunar). É onde a análise acontece: "some as vendas de todas as lojas dessa rede nos últimos doze meses, agrupado por mês". Bases colunares são desenhadas para varrer milhões de linhas e agregar rápido — o tipo de pergunta que faria o transacional suar.

A regra de ouro é simples de enunciar e exige disciplina para manter: pergunta analítica pesada não roda no banco da operação. Quando alguém quebra essa regra, o sintoma aparece longe da causa — o app fica lento porque um relatório resolveu passear pelo banco errado.

A viagem: o que um pipeline faz de verdade

Entre uma casa e outra, o dado viaja por pipelines que rodam diariamente. No papel, é extrair, transformar, carregar. Na prática, transformar é onde mora o trabalho de verdade:

• Deduplicar. Sistema de posto que caiu e reenviou o lote inteiro? Acontece. O pipeline precisa reconhecer o que já viu.
• Padronizar. O mesmo posto grafado de três jeitos, datas em fusos diferentes, valores com e sem centavos. A transformação é onde o caos vira vocabulário comum.
• Enriquecer. Cruzar a venda com a loja, a loja com a rede, a rede com a carteira do CSM. É esse encadeamento que permite responder perguntas de negócio, não só de tabela.
• Agregar. Pré-calcular as visões que os dashboards e os health scores consomem, para que ninguém precise somar o mundo a cada clique.

E tem as duas propriedades que separam pipeline profissional de script com cron:

• Idempotência. Rodar o mesmo pipeline duas vezes tem que dar o mesmo resultado. Sem isso, todo reprocessamento é uma roleta-russa de dado duplicado.
• Observabilidade. O pior pipeline não é o que quebra — é o que quebra em silêncio. Rodou "com sucesso" e carregou metade dos dados. Semanas depois, alguém percebe que o dashboard estava mentindo. Monitorar volume, atraso e anomalia não é luxo; é o que deixa você dormir.

Atraso, custo e o resto da vida real

Duas tensões permanentes que todo time de dados administra:

• Frescor versus complexidade. Pipeline diário significa que o dashboard mostra ontem. Para a maioria das decisões de CS, ontem é ótimo — e a honestidade de dizer "essa visão atualiza uma vez por dia" vale mais do que prometer tempo real e entregar tempo confuso. Tempo real de verdade custa caro em engenharia; a gente paga esse custo onde ele muda a decisão, não por estética.
• Armazenamento é barato, bagunça é cara. A tentação de guardar tudo "porque um dia pode servir" é real. Mas warehouse sem curadoria vira pântano: ninguém sabe qual tabela é a fonte confiável e cada análise começa com arqueologia. Modelar bem — nomear bem, documentar o mínimo decente, deprecar o que morreu — é trabalho de engenharia tanto quanto escrever o pipeline.

Por que esse trabalho é bom de fazer

Infraestrutura de dados é o tipo de trabalho em que o sucesso é invisível: quando tudo funciona, ninguém nota. Mas é ele que sustenta o health score, o KPI da loja, o dashboard executivo e os agentes de IA que rodam por cima. Errou embaixo, erra tudo em cima.

Se você tem gosto por sistemas — por fazer as coisas serem corretas, resilientes e observáveis, não só funcionarem na demo —, esse é um lugar onde esse gosto é valorizado de verdade. O encanamento não aparece na foto. Mas quem constrói a casa sabe exatamente quem segura o peso dela.