Engenheiro de Dados

Publicada em: 27 de agosto de 2024

Tipo de contrato: Efetivo

São Paulo

DESCRIÇÃO

-Produzir soluções técnicas simples e eficientes, com base no Backlog de Produtos priorizado e nos padrões de qualidade,
-Determinar a viabilidade técnica e operacional avaliando a definição do problema, requisitos e análises;
-Assegurar a qualidade do produto, aplicando práticas de desenvolvimento ágil (refatoração, code review, código limpo, integração contínua, implantação contínua, testes contínuos, testes unitários…);
-Solucionar problemas, depurando e atualizando software existente;
-Realizar os testes necessários para garantir a qualidade do produto;
-Fornecer recomendações para melhoria contí nua e aplicando consistentemente as melhores práticas;

requisitos / exigências

Ensino Superior completo em TI e afins;
Experiência em Insituição Financeira;
Conhecimento em Microsoft Azure (3 anos mínimo): Experiência com os principais serviços da Microsoft Azure,incluindo o Azure Data Factory, VMs(Maquinas virtuais), Azure StorageAccounts, BlobStorage, Resource groups,Azure Databricks, AKS(Azure Kubernetes),CosmosDB, entre outros;
Processamento Batch e Streaming de Dados: Conhecimento em processamento de dados em lotes e em streaming (mensageria), com a capacidade de projetar, implementar e manter pipelines de processamento dedados uti lizando kubernetes;
Habilidade em Databricks: Experiência em trabalhar com Apache Spark em Databricks, incluindo a criação eoti mização de pipelines de dados;
Experiência em Pyspark (4 anos) e Python e Kedro: Fortes habilidades de programação em Pyspark e Python eKedro para desenvolver, depurar e manter códigos de transformação de dados;
Vivência em Ambientes On-Premises (Cloudera): Desejável Experiência anterior com a plataforma Cloudera ou outras soluções on-premises para big data, incluindo Hadoop, HBase e Hive;
Conhecimento em DevOps: Familiaridade com o uso do Jenkins para integração e entrega contínua (CI/CD), alémde automação de tarefas de implantação e gerenciamento de pipelines;
Git: Proficiência em Git para controle de versão de código-fonte e colaboração eficaz em equipes de desenvolvimento;
Métodos Ágeis: Compreensão dos princípios e práti cas de métodos ágeis, como Kanban e Scrum, para colaboração eficaz e gerenciamento de projetos;
Conhecimento em desenvolvimento orientado a objeto: Familiaridade com linguagem JAVA é de bastante ajuda (não é necessário codar, sim interpretar);
Orquestração (por exemplo, Control-M ou outros): Conhecimento em ferramentas de orquestração de processos,o que é importante para o agendamento e controle de fluxos de trabalho.