Projeto: Internacional
Modelo de trabalho: Híbrido em São Paulo, com atuação presencial 4 vezes por semana
Contratação: PJ — informar pretensão de remuneração
Idioma: Inglês fluente obrigatório
Missão da posição
Estruturar e conduzir a qualidade de uma plataforma com funcionalidades baseadas em inteligência artificial, assumindo a responsabilidade pela automação de testes, pelos critérios de liberação e pela confiabilidade dos pipelines de CI/CD.
Atuar com autonomia na definição de processos e estratégias de qualidade, incluindo a avaliação de resultados gerados por modelos de linguagem e agentes de IA.
Principais responsabilidades
- Desenvolver e manter a suíte de testes automatizados, com cobertura de testes ponta a ponta (E2E), integração e regressão.
- Garantir que os testes sejam rápidos, confiáveis e gerem resultados claros para apoiar decisões sobre correções e liberações.
- Estruturar mecanismos de avaliação de resultados gerados por agentes de IA, utilizando conjuntos de dados de referência, critérios de pontuação e testes de regressão.
- Avaliar o impacto de mudanças em prompts e modelos, identificando melhorias e perdas de qualidade nos resultados.
- Definir e documentar critérios de qualidade que devem ser atendidos antes de cada liberação.
- Garantir a confiabilidade dos pipelines de CI/CD, tratando testes instáveis, lentidão e falhas de difícil diagnóstico.
- Executar testes exploratórios e de release nos cenários não cobertos pela automação, com atenção aos fluxos utilizados por clientes e consultores sob pressão de prazo.
- Registrar, classificar e acompanhar defeitos até a resolução, com casos reproduzíveis, definição de severidade e validação das correções.
- Identificar padrões de falhas e transformar os aprendizados em recomendações para a evolução do produto.
- Utilizar ferramentas de IA no trabalho diário, mantendo análise crítica e validação dos resultados.
Requisitos e conhecimentos
- Pelo menos 3 anos de experiência em QA, SDET ou Engenharia de Testes, com responsabilidade efetiva pela cobertura automatizada de um produto em produção.
- Experiência sólida em automação de testes com Python e/ou TypeScript.
- Experiência com frameworks modernos de testes E2E, como Playwright, Cypress ou equivalentes, e testes de APIs.
- Experiência na construção e manutenção de pipelines de CI/CD.
- Capacidade de testar sistemas com resultados não determinísticos, demonstrada por experiência com LLMs ou machine learning, ou por uma abordagem consistente para avaliar esses resultados.
- Capacidade de classificar a severidade de defeitos e priorizar correções conforme o impacto no cliente e nos prazos de entrada em produção.
- Uso de ferramentas de IA no fluxo diário de trabalho.
- Experiência em empresas em estágio inicial, participando da criação e estruturação da área ou dos processos de QA.
- Inglês fluente para comunicação em projeto internacional.
- Disponibilidade para atuação híbrida em São Paulo, com presença 4 vezes por semana.
Diferenciais
- Experiência na avaliação de funcionalidades baseadas em LLMs ou agentes de IA em produção, incluindo desenho de avaliações, detecção de alucinações e fluxos de revisão humana.
- Familiaridade com sistemas corporativos, como SAP, Salesforce, ERP e CRM.
- Conhecimento em ferramentas de testes SAP, como Tricentis, Worksoft ou similares.
- Experiência com ciclos de testes SAP e testes de aceitação do usuário (UAT).
- Experiência com testes de performance, carga ou segurança.
- Capacidade de contribuir diretamente com código para a correção de defeitos.
Perfil esperado
- Autonomia e iniciativa para estruturar processos em um ambiente sem procedimentos previamente definidos.
- Capacidade analítica e senso crítico para avaliar riscos e resultados.
- Discernimento para priorizar problemas conforme o impacto no negócio.
- Comunicação clara e colaboração com as áreas de produto e desenvolvimento.
- Firmeza para sustentar os critérios de qualidade diante de pressões por entrega.
- Interesse em aprender o domínio de negócio e contribuir para a evolução do produto.