返回岗位列表

大模型推理Infra后端开发工程师

查看原岗位

地点：深圳薪资：30-60K 日期：2026-03-03

岗位摘要

参与或主导推理网关与核心服务设计开发，支持多模态请求、流式推理与Micro-batch调度；负责跨集群服务发现、健康检查与流量治理，提升系统可用性与弹性；构建并优化日志、指标、Tracing等可观测体系，完成成本与性能分析

岗位职责

参与或主导推理网关与核心服务设计开发，支持多模态请求、流式推理与Micro-batch调度
负责跨集群服务发现、健康检查与流量治理，提升系统可用性与弹性
构建并优化日志、指标、Tracing等可观测体系，完成成本与性能分析
针对低延迟、高吞吐、高GPU利用率目标持续优化系统性能并排查问题
与算法、平台、硬件团队协作，推动性能、成本、稳定性整体提升
根据经验承担技术方案设计、系统演进决策及复盘优化等职责

任职要求

3年以上后端或基础设施开发经验，理解分布式系统原理
精通Go或Rust，掌握并发/异步编程模型
熟悉HTTP/RPC及服务治理，代码规范良好
熟练使用Kubernetes，理解容器化与资源调度
学习能力强，协作意识好，能按规范闭环任务
具备复杂系统设计演进经验，或推理性能优化实践
能独立拆解问题、推动方案落地并参与复盘

加分项

有 LLM 推理系统相关经验（如 vLLM、Triton、TGI、Ray Serve 等）
向开源基础设施项目（如 vLLM、Envoy、K8s 生态）提交过 PR 或技术方案
有跨栈优化经验（从服务层到通信、调度甚至硬件相关）
发布过技术博客、Benchmark 报告或系统设计总结

福利待遇

年薪15薪，30-60K区间，极具竞争力
深度参与前沿大模型推理系统建设
与算法、硬件跨栈团队共创技术突破
开源项目贡献机会，技术影响力提升
深圳南山核心科技园区办公环境优越

工作地址

深圳南山区深圳市商汤科技有限公司3区11A41楼