MLOps 엔지니어, MLOps Engineer
BJAK
KubernetesRay
MLOps エンジニア, MLOps Engineer
BJAK
full-time
Posted on:
Location Type: Hybrid
Location: Tokyo • 🇯🇵 Japan
Visit company websiteJob Level
Mid-LevelSenior
Tech Stack
KubernetesRay
About the role
- オープンソースモデルを効率的に運用・管理し、コストと信頼性を最適化する
- GPU、CPU、メモリリソース全体で高いパフォーマンスと安定性を確保する
- モデル推論を監視・トラブルシューティングし、低レイテンシーと高スループットを維持する
- エンジニアと協力し、スケーラブルで信頼性の高いモデルサービングソリューションを実装する
- Run and manage open-source models efficiently, optimizing for cost and reliability
- Ensure high performance and stability across GPU, CPU, and memory resources
- Monitor and troubleshoot model inference to maintain low latency and high throughput
- Collaborate with engineers to implement scalable and reliable model serving solutions
Requirements
- vLLM や HuggingFace TGI などのモデルサービングプラットフォームの使用経験
- Kubernetes、Ray、Modal、RunPod、LambdaLabs などを用いた GPU オーケストレーションの経験
- レイテンシーやコストを監視し、トラフィック需要に応じて効率的にシステムをスケールできる能力
- バックエンドエンジニア向けの推論エンドポイントの構築経験
- Experience with model serving platforms such as vLLM or HuggingFace TGI
- Proficiency in GPU orchestration using tools like Kubernetes, Ray, Modal, RunPod, LambdaLabs
- Ability to monitor latency, costs, and scale systems efficiently with traffic demands
- Experience setting up inference endpoints for backend engineers
Benefits
- フラットな組織構造と本当のオーナーシップ
- プロダクト方向性や意思決定への全面的な関与
- 柔軟な勤務形態
- プロダクト・データ・エンジニアリングを横断する高インパクトな役割
- 市場最高水準の給与と成果に基づくボーナス
- グローバルなプロダクト開発への参画機会
- 充実した福利厚生 —— 住宅補助、高品質な社員食堂、残業食事補助
- 健康・歯科・眼科保険
- グローバル旅行保険（本人および扶養家族対象）
- 無制限で柔軟な有給休暇制度
- Flat structure & real ownership
- Full involvement in direction and consensus decision making
- Flexibility in work arrangement
- High-impact role with visibility across product, data, and engineering
- Top-of-market compensation and performance-based bonuses
- Global exposure to product development
- Lots of perks - housing rental subsidies, a quality company cafeteria, and overtime meals
- Health, dental & vision insurance
- Global travel insurance (for you & your dependents)
- Unlimited, flexible time off
ATS Keywords
Tip: use these terms in your resume and cover letter to boost ATS matches.
Hard skills
model servingGPU orchestrationinference endpointsmonitoringtroubleshootingscalabilityperformance optimizationcost optimizationlow latencyhigh throughput
Soft skills
collaboration
Similar jobs on JobTailor
MLOps 工程师
BJAK
KubernetesRay
Software Engineer, Systems and Infrastructure
Matroid, Inc.
AWSDockerIoTKafkaKubernetesLinuxMongoDBNGINXPrometheusPythonRayRedis
Infrastructure Engineer, Bare Metal Kubernetes
Defense Unicorns
AWSAzureCloudGoGoogle Cloud PlatformGrafanaKubernetesLinuxNGINXOpen SourcePrometheusPython+2 more
Senior Staff Software Engineer
Crusoe
Distributed SystemsGoGrafanaHAProxyKubernetesLinuxNode.jsOpen SourcePrometheusPythonVault