Especialista em LLM, Prompt Engineering

ampfy

Specialist in LLM and Prompt Engineering improving AI agent responses through advanced prompt techniques. Integrating real company data for production-ready solutions in a hybrid work environment.

Posted 6/25/2026contractBrasilMid-LevelSeniorWebsite

Tech Stack

Tools & technologies

AzureGoogle Cloud PlatformPython

About the role

Key responsibilities & impact

Implementar e gerenciar o **deploy** de modelos de linguagem (como APIs do OpenAI, modelos locais via Ollama ou outras plataformas), garantindo integração perfeita dos LLMs à nossa plataforma.
Projetar, testar e otimizar **prompts** avançados para os agentes de IA, utilizando técnicas de prompt engineering (ex.: exemplos *few-shot*, **chain-of-thought** prompting) para guiar o raciocínio do modelo e controlar o formato/estilo das respostas conforme as necessidades de cada caso de uso.
Desenvolver estratégias para incorporar **funções auxiliares** ou ferramentas de apoio ao LLM – por exemplo, integrações que permitam ao agente buscar dados em bases de conhecimento, executar cálculos ou consultar APIs externas – ampliando as capacidades dos agentes além do texto livre.
Aplicar métodos de avaliação automatizada e humana da qualidade das respostas dos agentes: definir métricas objetivas (precisão, relevância, utilidade), implementar testes **A/B** de diferentes variantes de prompt/modelo e coordenar ciclos de feedback com usuários para melhoria contínua.
Monitorar ativamente o desempenho dos modelos em produção (**observabilidade** do comportamento dos LLMs), criando logs e dashboards que rastreiem taxas de sucesso, tempos de resposta, custos de API e ocorrências de erros ou respostas indesejadas, a fim de identificar rapidamente oportunidades de ajuste.
Colaborar com o Engenheiro de Arquitetura de Sistemas e Dados e com o Engenheiro de Dados para assegurar que os agentes de IA estejam utilizando dados atualizados e corretos, configurando pipelines de dados que alimentem o contexto dos modelos (por exemplo, implementação de RAG com base no data lake da empresa, quando aplicável).
Refinar os agentes de IA existentes, transformando-os em produtos estáveis: ajustar prompts e parâmetros do modelo para melhorar a exatidão das respostas, evitar ambiguidades e garantir consistência no tom e nas políticas definidas (incluindo filtros de segurança e conformidade nas respostas).
Executar testes rigorosos de comportamento dos agentes antes de cada release, incluindo cenários de borda e tentativas de uso indevido (prompt injection, perguntas capciosas), afinando os prompts ou adicionando validações para garantir robustez e segurança das interações em produção.
Documentar as abordagens de prompt engineering adotadas, criando diretrizes reutilizáveis para desenvolvimento de futuros agentes de IA e contribuindo para o conhecimento interno da empresa em técnicas de LLM.
Acompanhar as evoluções na área de IA generativa e LLMs (novos modelos, técnicas de prompt, ferramentas de avaliação) para incorporar as melhores práticas e manter os agentes atualizados com o estado da arte da tecnologia.

Requirements

What you’ll need

Experiência prática comprovada com **implementação e integração de modelos de linguagem** em aplicações do mundo real – por exemplo, ter trabalhado com APIs de serviços como OpenAI, Azure/GCP AI, ou implantado modelos open-source (GPT-Neo, LLaMA ou similares) em ambiente de produção.
Domínio de técnicas de **prompt engineering**: capacidade de escrever prompts eficazes para diferentes objetivos, ajustar o tom e estilo das respostas, usar instruções de sistema vs. usuário apropriadamente e aplicar estratégias como cadeia de raciocínio (*chain-of-thought*) para melhorar a qualidade das respostas do modelo.
Familiaridade com ferramentas e frameworks voltados a **LLM Ops**, tais como bibliotecas de orquestração de prompts (LangChain, LlamaIndex etc.) e metodologias de avaliação de respostas de IA (uso de datasets de teste, métricas de similaridade, detecção de alucinações).
Conhecimentos de **avaliação de desempenho de modelos**: saber configurar experimentos A/B, coletar feedback de usuários e medir melhorias ou regressões nas respostas do modelo de forma quantitativa.
Habilidade de programar em linguagens comumente usadas em IA (Python etc.) para implementar pipelines de chamada aos modelos, processar resultados e integrar os outputs do LLM com o restante da plataforma (por exemplo, pós-processamento das respostas, chamadas a APIs adicionais).
Entendimento de conceitos de **observabilidade e segurança** em IA: monitoração do uso dos modelos (logs de consultas e resultados), identificação de respostas inadequadas, e aplicação de filtros ou ajustes nos prompts para evitar vazamento de informações sensíveis ou viés indesejado.
Boa base em **Processamento de Linguagem Natural (PLN)**, entendendo limitações e capacidades de modelos de linguagem, e noções de como dados de treinamento ou ajustes finos podem impactar as respostas.
Graduação em Ciência da Computação, Engenharia,Fisica, Estatística ou área relacionada (ou experiência profissional equivalente), com capacidade de ler artigos técnicos e aplicar novas técnicas de IA conforme necessário.
Perfil analítico e metódico, com atenção a detalhes na formulação de prompts e análise crítica das respostas do modelo, além de boa comunicação para traduzir necessidades do produto em configurações técnicas de LLM.

Benefits

Comp & perks

💻 Notebook da empresa para quem está em SP, ou 💸 auxílio infraestrutura para garantia de internet e insumos para a realização do trabalho, para quem está fora de SP.
🤑13ª nota no ano;
🛫 Recesso de 30 dias + 1/3 (benefício adquirido após 1 ano de contrato);
🏥 Assistência Médica SulAmérica
💚Seguro de Vida;
💳 VR por dia útil; (Cartão Flash; Crédito/Débito; podendo utilizar em redes com CNPJ de food (Exemplo: Restaurante;Mercado e Aplicativos)
📴 Day-off +crédito extra no cartão flash pelo dia do aniversário vitalício;
🦷 Assistência Odontológica SulAmérica - Plano opcional
🏋🏻Incentivo a prática de exercício físico - TotalPass
📚 Incentivo a educação - Reembolso mensal para cursos e treinamentos (segundo política)
✅Avaliações de performance semestrais com feedbacks e construção de PDI.
🪴Escritório moderno, preparado para atender a todos, com restaurante próprio em estilo bistrô.

ATS Keywords

✓ Tailor your resume

Applicant Tracking System Keywords

Tip: use these terms in your resume and cover letter to boost ATS matches.

Hard Skills & Tools

implementação de modelos de linguagemintegração de modelos de linguagemprompt engineeringavaliação de desempenho de modelosprogramação em Pythonobservabilidade em IAProcessamento de Linguagem Naturaltestes A/Bajuste de promptsanálise crítica das respostas

Soft Skills

atenção a detalhesperfil analíticocomunicaçãometodicidadecolaboração