4 月 19 日,一个覆盖 18 个知识点标签的岗位题库完成扩容,从 500 题增加到 1200 题,AI 生成 900 题,人工复核后保留 700 题,整体通过率 62%。
扩容的起点是考试重复率过高:原有 500 题支撑 6 个岗位的季度考试,同一套卷子在两个季度里重复了 43%。培训负责人要求把重复率压到 15% 以下,按每个知识点 40 题起配。
AI 出题按知识点标签生成,每个标签一次生成 20 题,包含单选、多选和判断三种题型。生成的 900 题里,事实性错误 84 题,选项重复 106 题,题干与课件表述不一致 76 题,三类问题合计 266 题,第一轮直接剔除。
三轮复核各查一件事
第一轮由业务骨干 6 人核对答案与课件是否一致,每人每天看 50 题,用时 3 天。第二轮由培训负责人查选项设置,重点看是否出现“以上都对”这类无效选项,改掉 58 题。第三轮做小范围试测,抽 120 题给 40 名员工做,区分度低于 0.2 的 34 题下线。
最终保留的 700 题加上原有 500 题,共 1200 题,按 18 个标签分布,最少的标签 28 题,最多的 96 题。组卷时每个标签至少抽 2 题,随机卷之间的重复率控制在 12%。
AI 只做初稿,不做终稿
复核过程中发现,AI 最容易出错的是带数字的参数题,例如把设备额定压力写成 0.8 兆帕而实际是 0.6 兆帕。这类题在 84 题事实性错误里占 51 题,全部由业务骨干逐题对照设备铭牌改回。
题库扩容后,季度考试的准备时间从 5 天降到 2 天,出卷人只需设定知识点比例与难度。题库支持整包导出 CSV,企业每年做一次备份,避免平台更换时丢失。
相关内容:管理能力课程包 云课堂SaaS学习平台
扩容后的题库按季度做一次重复率检查,方法是从题库随机抽 200 题,与上一季度考卷比对。4 月的检查结果是 11%,低于 15% 的目标,下一次检查定在 7 月 10 日。
下一批 300 题计划在 8 月 20 日前入库,重点补入设备点检与异常处置两类。