Pipeline de Dados em Tempo Real
Ingestão e processamento de streams com Kafka e Spark Streaming, com dados entregues em um warehouse analítico no S3.
Olá, mundo
Lucas Castro
Data Engineer
Data Engineer & ML Engineer Sênior no F1rst Santander. Construo pipelines de dados, arquiteturas analíticas em Azure Databricks e modelos de machine learning em produção.
Stack
O que faço
Da ingestão de dados à geração de valor com modelos de ML.
⚙️
Engenharia de Dados
Pipelines ETL/ELT, streaming em tempo real e big data em ambientes on-premise e cloud. Mais de 4 anos no setor financeiro (Santander).
🤖
Machine Learning
Migração, treinamento e deployment de modelos em produção. Especialista em Azure Databricks e tracking de experimentos com MLflow.
☁️
Cloud & Infraestrutura
Arquiteturas de dados em Azure com Databricks, orquestração de workflows e infraestrutura como código.
Portfólio
Projetos em Destaque
Alguns projetos que demonstram minha atuação em dados e ML.
Modelo de Previsão de Churn
Modelo de classificação com feature engineering avançado e tracking de experimentos com MLflow, servido via API REST.
Data Warehouse com dbt
Modelagem dimensional em camadas (Bronze/Silver/Gold) com dbt, testes automatizados e documentação gerada automaticamente.
Blog
Últimos Artigos
Escrevendo sobre dados, ML e engenharia de software.