Artificial Intelligence

• Diseñar y desarrollar marcos de evaluación: crear tuberías de evaluación escalables y reproducibles para sistemas de IA a gran escala, incluyendo LLMs y arquitecturas de múltiples agentes.
• Innovación en métricas: definir e implementar métricas de evaluación novedosas que capturan capacidades del modelo más allá de los estándares tradicionales.
• Análisis de rendimiento: realizar benchmarking de modelos de IA en diferentes dominios y tareas, analizando habilidades y comportamientos bajo diferentes configuraciones.
• Pruebas de seguridad, confiabilidad y alineación: desarrollar herramientas y experimentos para sondear la seguridad, robustez, interpretabilidad y sesgo del modelo.
• Colaboración interdisciplinaria: trabajar en estrecha colaboración con equipos de ajuste y optimización del modelo para evaluar la efectividad del sistema de extremo a extremo.

AI Evaluation Engineer

Design Space Exploration Analysis and AI Modelling – Internship

Director of Operations – Openchip AI