Engenharia de IA Generativa (Pleno/Sênior)

Engenharia de IA Generativa (Pleno/Sênior) Buscamos uma pessoa focada na engenharia de IA Generativa para atuar diretamente com nosso time de tecnologia, impulsionando a evolução dos produtos de IA Generativa. Seu papel será instrumentar e coletar dados de funcionamento dos sistemas, transformá-los em métricas e análises acionáveis e orientar decisões de produto e de negócio para aumentar qualidade, segurança, eficiência e impacto. Responsabilidades Instrumentar o produto de ponta a ponta: definir eventos, logs e telemetria de conversas/consultas, garantindo privacidade e conformidade (LGPD). Construir e manter pipelines de dados e camadas semânticas que consolidem uso, custo, latência, satisfação e qualidade de respostas. Definir e acompanhar métricas-chave de LLM e de produto: taxa de resolução, groundedness/factualidade, hallucination rate, cobertura de RAG, retenção, NPS, custo por sessão e SLA de latência. Desenvolver frameworks de avaliação offline/online: datasets de referência, rubricas de avaliação, feedback humano (HITL), autoavaliação com LLM e testes de regressão. Conduzir experimentos A/B e análises causais; traduzir resultados em recomendações claras de priorização e ganhos estimados. Criar dashboards e sistemas de alerta para stakeholders de produto, engenharia e negócio. Colaborar com PMs para melhorar prompts, arquitetura de agentes, RAG e bases de conhecimento. Apoiar a governança do RAG: curadoria de fontes, chunking/embedding, deduplicação e versionamento. Monitorar e otimizar eficiência: escolha/versão de modelos, tamanho de contexto, caching, custo e latência. Mapear causas-raiz de erros e estruturar taxonomias para orientar roadmap e mitigação de riscos (segurança, toxicidade) Requisitos Essenciais Graduação em Engenharia, Ciência da Computação, Matemática, Estatística ou áreas correlatas. 5 anos de experiência em ML/Data/Analytics aplicada a produtos digitais. Vivência com produtos de IA Generativa (LLMs) e suas métricas; experiência com OpenAI/Azure/Open Source ou provedores equivalentes. Sólidos conhecimentos em Python e SQL. Experiência com instrumentação e tracking de eventos (ex.: Segment, Amplitude, Mixpanel, GA4) e pipelines/orquestração (ex.: Airflow, Prefect, dbt). Prática em experimentação e avaliação: A/B testing, desenho experimental e análise estatística. Experiência criando dashboards (ex.: Looker, Metabase, Power BI, Databricks SQL) e relatórios executivos. Conhecimento de RAG, embeddings e versionamento de prompts/datasets. Comunicação clara, mentalidade de produto e orientação a impacto. Como você pode nos surpreender Observabilidade de LLMs (ex.: Langfuse, Helicone, Arize, WhyLabs, Evidently, MLflow, Weights & Biases). Tracing e monitoramento (OpenTelemetry, Datadog) e governança/segurança de dados (LGPD, PII redaction). Otimização de custo/performance de LLMs e design de guardrails/moderação. Conhecimento do mercado financeiro/investimentos. Inglês/Espanhol para colaboração e leitura técnica. Somos uma das maiores fintechs de investimentos do mundo! Fazemos parte do Santander , o maior banco da Zona do Euro e estamos dobrando de tamanho a cada ano. Nosso propósito é gerar liberdade financeira para as pessoas , sendo a ponte entre elas e seus objetivos! Por isso, sonhamos grande e buscamos inovação contínua para ajudá-las a encontrar as melhores oportunidades de investimentos do mercado e a investir de um jeito fácil, seguro e com Corretagem Zero de verdade. Para isso, combinamos pessoas e tecnologia, valorizando e preservando o espírito colaborativo, diverso e inovador. Todas as pessoas do nosso time são essenciais para o nosso desenvolvimento e sucesso. J-18808-Ljbffr

Location: São Paulo, São Paulo, BR

Posted Date: 11/21/2025