Sobre mim
Currículo
Data Engineer & ML Engineer Sênior com foco em arquiteturas analíticas, pipelines de dados e modelos em produção.
Lucas Fernando de Castro
Azure Databricks Data Engineer & Machine Learning Engineer, Sênior
Resumo
Engenheiro de dados e ML com mais de 4 anos de experiência no setor financeiro (Santander Brasil). Especialista em arquiteturas big data com Azure Databricks, pipelines em PySpark e Scala, e deployment de modelos de machine learning em produção. Já liderou equipes de até 8 engenheiros, atuando na interseção entre tecnologia e negócios.
Experiência
Nov 2021 — Presente
Data Engineer & ML Engineer, Sênior
F1rst Santander · São Carlos, SP · Azure Databricks
Liderou equipe de 8 engenheiros de dados em múltiplos projetos, incluindo recrutamento. Atuou como elo entre desenvolvimento técnico e áreas de negócio no PMO do banco. Migrou códigos de ML on-premise para Azure Databricks, com refatoração e reverse-engineering de artefatos disfuncionais. Implementou paralelização de código e otimizações Spark, resolvendo desafios de migração de versão sem retreinamento de modelos. Desenvolveu template de boas práticas com guias no Confluence, reduzindo o tempo de onboarding da equipe.
Fev 2021 — Out 2021
Data Engineer — Open Finance
F1rst Santander · São Carlos, SP
Liderou o desenvolvimento de múltiplos processos ETL para a iniciativa Open Finance (mandato do Banco Central do Brasil): extração do DataLake, transformações conforme especificações da API e carga em ambientes Azure. Desenvolveu aplicações Spark Streaming de alta performance com RDDs e Dataframe API em Scala. Mentorou novos engenheiros nos processos ETL estabelecidos como padrão no Santander.
Out 2020 — Fev 2021
Data Engineer — Extract Offloading
F1rst Santander · São Carlos, SP
Pioneiro na implementação de fluxo de streaming em tempo real para informações de conta corrente em canais mobile, com Kafka e NiFi para streaming e persistência em ScyllaDB — reduzindo significativamente o consumo de MIPs no banco de dados central. Desenvolveu aplicações Spark Streaming com RDDs em Scala em ambiente clusterizado on-premise.
Mar 2017 — Jul 2020
Software Developer
Luz Soluções Financeiras · São Carlos, SP
Gerenciou acesso a dados de mercado de ações e secundário, realizando ETL para Oracle com Delphi e Python. Refatorou software legado de Delphi para Python, HTML e JavaScript. Colaborou em scripts de relatórios de risco conforme regulamentações do Banco Central. Liderou equipe cross-funcional para releases de versão do sistema.
Fev 2014 — Mar 2017
Software Developer
Eyetec Equipamentos Oftálmicos · São Carlos, SP
Desenvolveu aplicação desktop em C# para geração automatizada de laudos médicos a partir de dados de campimetria, com persistência em Oracle. Introduziu Git para controle de versão, estabelecendo as bases para boas práticas de desenvolvimento de software.
Formação
Concluído em Dez 2022
MBA — Machine Learning em Produção
Universidade Federal de São Carlos (UFSCar)
Desenvolveu um motor de recomendação de vendas dinâmico com Flask, Spark e Airflow, integrando processamento de dados em tempo real e predições de ML para plataformas de e-commerce.
Concluído em Dez 2017
Bacharelado — Engenharia da Computação
Universidade Federal de São Carlos (UFSCar)
Implementou o Método de Monte Carlo em Numpy para modelagem e simulação de precificação de derivativos financeiros.
Reconhecimentos
🏆 F1rst Santander Flex Learning Award
2022 · 2023 · 2024
Premiação anual por desempenho excepcional. Reconhecido entre os melhores funcionários da empresa, com bolsa para desenvolvimento profissional à escolha do premiado.