大模型评测体系工程师

北京市不限学历应届

岗位职责

岗位说明

负责大模型评测体系的演进，包括内部评测工具链的研发和评测集体系的迭代

演进评测工具链，提升评测工具的易用性，提升评测效率

维护软件架构，更好的兼容开源生态

不断改进评测集体系，完善评测维度，给出客观的评测结果

岗位要求

良好的 python 技术栈，具备熟练的代码阅读和编写能力。有过至少 1～2 个大型 python 语言的软件研发项目；

较强的代码设计能力，能够良好地控制软件的复杂度，持续保持可维护性

对大模型有基本的了解，知道 pretrain 模型和 sft 模型的常见评测方法和评测集

加分项：熟悉流行的开源评测代码（如 opencompass/evals 等）；熟悉常见的大模型评测集；熟悉 pytorch

20,861+ 岗位更新等你来订阅

一键订阅最新的岗位，每周送达

您可以在邮箱中随时取消订阅