
Neocom Inteligência de Mercado
Sobre a vaga
Estamos em busca de um(a) Engenheiro(a) de Dados para fazer parte da nossa equipe. O profissional será responsável por desenvolver, implementar e manter pipelines de dados robustos e escaláveis, além de contribuir no design e desenvolvimento de APIs REST que suportam nossos produtos e serviços.
Responsabilidades
- Criar e gerenciar pipelines de dados utilizando Apache Airflow.
- Implementar soluções de ingestão, transformação e integração de dados em ambientes variados.
- Desenvolver APIs REST para integração de sistemas e exposição de dados.
- Trabalhar com containers Docker para automação e padronização de ambientes.
- Garantir a qualidade e segurança dos dados em todos os processos.
- Colaborar com equipes multidisciplinares utilizando boas práticas de versionamento de código com Git.
- Requisitos Obrigatórios:
- Experiência sólida em Python e SQL para manipulação e análise de dados.
- Conhecimento prático de Apache Airflow para orquestração de pipelines.
- Experiência em Docker para gerenciamento de ambientes.
- Experiência com Git para versionamento de código.
- Capacidade de projetar e desenvolver APIs REST.
Diferenciais
- Familiaridade com DBT Core para transformação de dados.
- Experiência com DuckDB.
- Conhecimento de Spark.
- Conhecimento em sistemas operacionais Linux.
- Experiência com Google Cloud e/ou Microsoft Azure.
- Experiência com bancos de dados NoSQL.