Leonardo

Data & Application Engineer

Leonardo

full-time

Posted on:

Location Type: Office

Location: Roma • Italy

Visit company website

Explore more

✨ AI Apply
Apply

Tech Stack

DockerElasticSearchInformaticaKubernetesPython

About the role

  • Progettare e sviluppare componenti di RAG/LLM per risposte sintetiche e spiegabili su documenti interni (prompting, tool/function calling se previsto, gestione multi-turn)
  • Definire e implementare metodologie di valutazione (offline/online) per qualità delle risposte: groundedness (aderenza alle fonti), completezza, coerenza, gestione incertezza e copertura del retrieval
  • Creare dataset di test e “golden set” di dominio (domande reali, query complesse, casi ambigui/contraddittori) e automatizzare la generazione di report di performance
  • Tuning del retrieval ibrido (BM25 + semantic): scelta top-k, pesi, filtri metadati, dedup/reranking e query rewriting per sigle/gergo tecnico
  • Sviluppare logiche di planning per query complesse (decomposizione in sotto-query/DAG) e criteri di stop/iterazione del ciclo retrieve→answer→critique
  • Collaborare con team di piattaforma per integrazione con inference backend e garantire requisiti di latenza/streaming (SSE) e robustezza in modalità degraded
  • Implementare strumenti e pipeline software (Python) per esperimenti riproducibili: tracking configurazioni, versioning prompt/modelli, ablation study, analisi errori e regressioni

Requirements

  • Laurea magistrale o PhD in Data Science, Informatica, Ingegneria, Matematica, Statistica o discipline affini
  • Ottima programmazione in Python (design modulare, testing, packaging)
  • Uso di Git e code review
  • Esperienza con NLP/LLM e architetture RAG (embeddings, chunking, retrieval, grounding, citazioni)
  • Capacità di costruire evaluation framework: metriche automatiche + human-in-the-loop, analisi qualitativa degli errori, definizione di soglie e criteri di accettazione
  • Familiarità con vector search e sistemi di ricerca (OpenSearch/Elasticsearch o equivalenti), BM25, KNN, reranking
  • Conoscenza di FastAPI/REST per integrazione servizi e debugging di flussi end-to-end
  • Buone basi di statistica sperimentale (A/B test concettuale, significatività, bias/variance), ottimizzazione e interpretazione risultati
  • Gradita esperienza con stack containerizzato (Docker/Kubernetes)
Benefits
  • Disponibilità a trasferte occasionali
  • Gradite certificazioni/esperienza su MLOps
  • Osservabilità (logging/metrics)
  • Sicurezza applicativa in contesti enterprise/regulated
Applicant Tracking System Keywords

Tip: use these terms in your resume and cover letter to boost ATS matches.

Hard Skills & Tools
programmazione in PythonNLPLLMarchitetture RAGevaluation frameworkvector searchBM25KNNFastAPIstatistica sperimentale
Soft Skills
collaborazioneanalisi qualitativaproblem solving
Certifications
Laurea magistralePhD in Data SciencePhD in InformaticaPhD in IngegneriaPhD in MatematicaPhD in Statistica