返回岗位列表

AI私有化部署工程师

查看原岗位

地点：北京薪资：薪资未公开日期：2026-01-29

岗位摘要

设计和优化产品的私有化部署方案，支持多种客户环境（物理机、虚拟机、私有云等）；负责大语言模型(LLM)的私有化部署和优化，包括模型加载、推理服务配置和性能调优；部署和维护RAG(检索增强生成)系统，包括向量数据库、知识库管理、文档处理管道等组件

岗位职责

设计和优化产品的私有化部署方案，支持多种客户环境（物理机、虚拟机、私有云等）
负责大语言模型(LLM)的私有化部署和优化，包括模型加载、推理服务配置和性能调优
部署和维护RAG(检索增强生成)系统，包括向量数据库、知识库管理、文档处理管道等组件
根据客户硬件环境(GPU/CPU配置)进行模型部署方案设计和资源优化
开发和维护自动化部署工具及脚本，简化私有化交付流程，提升部署效率
制作标准化的部署包和安装程序，支持离线安装和一键部署
编写详细的私有化部署文档、运维手册和故障排查指南
参与客户现场实施，协助客户完成系统部署、配置和调优
解决客户环境中的兼容性问题（操作系统、数据库、中间件、GPU驱动等）
为客户提供部署培训和技术支持，协助客户运维团队掌握系统维护技能
建立私有化环境的监控和日志收集方案，特别关注模型推理性能指标
制定数据备份恢复策略，确保客户数据和知识库安全

任职要求

本科及以上学历，计算机相关专业优先
3年以上运维或私有化部署相关工作经验
精通Linux系统管理(CentOS/Ubuntu/麒麟等国产操作系统)
熟悉Windows Server环境部署和维护
深入理解网络配置(防火墙、负载均衡、反向代理等)
熟练使用Docker、Kubernetes等容器技术进行应用封装和部署
有大语言模型部署经验，熟悉主流推理框架(如vLLM、Ollama、TensorRT-LLM等)
了解RAG系统架构，熟悉向量数据库(Milvus、Qdrant、Chroma、Elasticsearch等)的部署和使用
有GPU服务器运维经验，熟悉CUDA、驱动安装配置和故障排查
熟悉常见数据库的安装配置(MySQL、PostgreSQL、Oracle、达梦、人大金仓等)
熟悉中间件部署(Nginx、Tomcat、Redis、RabbitMQ等)
具备Shell、Python等脚本编程能力，能够开发自动化部署工具
良好的文档编写能力和沟通表达能力
能够适应出差，有客户现场实施经验优先

加分项

有多种大模型(ChatGLM、Qwen、LLaMA等)私有化部署经验
熟悉模型量化技术(GPTQ、AWQ、GGUF等)和推理优化
了解LangChain、LlamaIndex等AI应用开发框架
有AI算力集群管理经验,熟悉Slurm、Kubernetes GPU调度
有信创环境(国产CPU、操作系统、数据库)部署经验
熟悉Ansible、Puppet等自动化运维工具
了解高可用架构设计(主备、集群、容灾等)
熟悉安全加固和等保合规

福利待遇

接触前沿AI技术，参与大模型应用的落地实践
工作场景多样化，涉及金融、政府、大型企业等不同行业客户