Engenheiro de Dados em formação. Sólida base em SQL (queries complexas, JOINs, window functions), Python (requests, pandas, web scraping) PostgreSQL, Docker, GIT e Linux. Experiência prática com pipelines de dados e análise de dados em fontes abertas (OSINT).
- Processamento distribuído de datasets governamentais
- Implementação de transformações otimizadas vs. pandas tradicional
- Certificação: Data Engineering on Databricks Community
- Desenvolvimento de pipelines de ETL com tratamento de exceções e logging
- Bibliotecas: pandas, PySpark, requests, SQLAlchemy
- Queries complexas: window functions, CTEs recursivas, subqueries correlacionadas
- Otimização: índices, explain analyze, query planning
- Experiência prática: PostgreSQL, SQLite, Docker