Data Engineer

• Design and build high-performance, scalable data pipelines to support diverse AI and Machine Learning initiatives across the organization.
• Architect and implement multi-region data infrastructure to ensure global data availability and seamless synchronization.
• Develop flexible pipeline architectures that allow for complex branching and logic isolation to support multiple concurrent AI projects.
• Optimize large-scale data processing workloads using Databricks and Spark to maximize throughput and minimize processing costs.
• Maintain and evolve the containerized data environment on Kubernetes, ensuring robust and reliable execution of data workloads.
• Collaborate with AI researchers and platform teams to streamline the flow of high-quality data into training and evaluation pipelines.

Senior AI Data Pipeline Engineer designing and scaling data pipelines for AI workloads

Senior AI Data Pipeline Engineer

Senior AI Data Pipeline Engineer creating scalable data pipelines for AI/ML initiatives. Collaborating with teams to optimize data processing workloads for mission-critical AI systems.

• 모델 성능 개선을 위한 데이터 설계 및 생성
• Research 및 Model Training 팀과 협업하여 모델의 성능 병목, Failure Case, 학습 목표를 분석하고 데이터 요구사항을 정의합니다.
• Instruction Data, Preference Data, Reasoning Data, Domain-specific Data 등 목적에 맞는 학습 데이터를 설계·생성·정제합니다.
• 생성된 데이터가 모델 성능에 미치는 영향을 실험적으로 분석하고, 결과를 바탕으로 데이터 생성 전략을 반복적으로 개선합니다.
• Data Generation Pipeline 구축
• Synthetic Data를 포함한 학습 데이터 생성 자동화 파이프라인을 설계하고 운영합니다.
• 대규모 데이터 생성 Workflow를 구축하여 안정적이고 효율적인 데이터 생산 환경을 제공합니다.
• 생성 비용, 처리 속도 및 품질을 고려한 Pipeline을 지속적으로 최적화합니다.
• Data Quality 및 Evaluation
• 데이터의 품질과 학습 효과를 정량적·정성적으로 평가하는 기준을 정의합니다.
• LLM-as-a-Judge, Rule-based Validation, Human Feedback 등을 활용하여 데이터 품질을 검증합니다.
• 데이터 품질 개선을 위한 Iterative Generation 및 Filtering 전략을 개발합니다.

LLM Engineer (Data Generation) improving model performance with data-driven solutions

LLM Engineer, Data Generation

LLM Engineer (Data Generation) enhancing model performance by designing and generating quality training data. Collaborating with AI teams to analyze model bottlenecks and define data requirements.

Data Engineer jobs in South Korea

See all jobs on JobTailor

Senior AI Data Pipeline Engineer

LLM Engineer, Data Generation