返回岗位列表

端侧 AI 模型评测实习生

查看原岗位

地点：北京薪资：350-380元/天日期：2026-06-26

岗位摘要

参与端侧AI模型的评测工作，包括LLM、ASR、TTS等模型在不同设备上的效果与性能测试；协助搭建和维护端侧模型Benchmark体系，评估指标包括准确率、响应延迟、吞吐、内存占用、功耗、稳定性等

岗位职责

参与端侧AI模型的评测工作，包括LLM、ASR、TTS等模型在不同设备上的效果与性能测试
协助搭建和维护端侧模型Benchmark体系，评估指标包括准确率、响应延迟、吞吐、内存占用、功耗、稳定性等
在Linux/Android/边缘设备上部署和运行模型，记录不同模型、推理框架、硬件平台下的测试结果
协助对比不同端侧推理框架，如llama.cpp、ONNX Runtime、TensorRT、NCNN、TFLite、MLC LLM等，并整理评测报告
参与端侧硬件平台调研与测试，包括NVIDIA Jetson、RK3588、Qualcomm、昇腾等边缘计算平台
协助分析模型推理性能瓶颈，整理延迟、内存、功耗等数据，为模型选型和优化提供依据
跟踪开源端侧模型和推理框架进展，协助完成模型适配、测试脚本编写和技术文档沉淀
与算法、硬件、产品团队协作，支持模型在目标端侧设备上的部署、测试和问题复现

任职要求

本科及以上在读，计算机、电子工程、自动化、人工智能等相关专业优先
熟悉Python，能够编写测试脚本、处理评测数据、生成基础统计结果
了解Linux基本操作，能够使用命令行完成环境配置、日志查看和问题定位
对AI模型部署、模型推理、边缘计算或嵌入式设备感兴趣，有相关课程、项目或实习经验优先
了解至少一种常见推理框架或模型工具，如ONNX Runtime、TensorRT、llama.cpp、TFLite、NCNN、PyTorch等优先
具备良好的数据整理和文档撰写能力，能够清晰记录测试过程、评测结果和问题现象
做事细致，有耐心，能够重复执行测试、对比结果并发现异常数据

加分项

有 LLM、ASR、TTS、视觉模型等任一方向的部署或评测经验
有端侧设备、开发板或 Android / Linux 设备使用经验，如 Jetson、RK3588、树莓派、Qualcomm 平台等
了解模型量化、蒸馏、剪枝、KV Cache、FlashAttention 等基础概念
有 Shell、C/C++、CUDA、Android 开发或嵌入式开发经验
使用过 Whisper、Sherpa、Piper、Kokoro、llama.
cpp、MLC LLM 等开源项目
赵楠刚刚活跃

福利待遇

深入参与端侧AI模型从选型、部署到评测的完整流程
接触LLM/ASR/TTS等模型在真实硬件设备上的性能表现
学习端侧推理框架、边缘计算平台、模型压缩与性能分析方法
与算法、硬件、产品团队协作，参与真实业务场景下的模型落地工作

工作地址

北京海淀区科建大厦北京市海淀区科建大厦