PISA2015合作问题解决能力测试的跨语言公平性分析

作者:刘舒畅;黄晓婷; 刊名:中国考试 上传者:潘晔

【摘要】PISA2015首次测试了15岁学生的合作问题解决能力。为保证在不同国家/地区的实施,以英语/法语为母版的PISA被翻译成多种语言版本。在翻译过程中,试题可能会产生差异,因此直接对比不同国家/地区学生的成绩可能存在一定的不科学性。在双因子模型下,采用条件性Wald-2检验法,检验合作问题解决能力测试对使用英语版本的新加坡学生和使用中文版本的中国学生是否存在项目功能差异。结果显示:超过30%的试题存在DIF,其中约有50%的试题对新加坡学生有利,另50%的试题对中国学生有利;因此,测试总成绩基本能真实反映学生合作问题解决能力水平的差异,但如果基于单个试题比较学生的表现,则可能得出不准确的结论。

全文阅读

刘舒畅 黄晓婷 (北京大学,北京 100871) 摘要:PISA2015首次测试了15岁学生的合作问题解决能力。为保证在不同国家/地区的实施,以英语/ 法语为母版的PISA被翻译成多种语言版本。在翻译过程中,试题可能会产生差异,因此直接对比不同国家/ 地区学生的成绩可能存在一定的不科学性。在双因子模型下,采用条件性Wald-2检验法,检验合作问题解 决能力测试对使用英语版本的新加坡学生和使用中文版本的中国学生是否存在项目功能差异。结果显示:超过30%的试题存在DIF,其中约有50%的试题对新加坡学生有利,另50%的试题对中国学生有利;因此,测 试总成绩基本能真实反映学生合作问题解决能力水平的差异,但如果基于单个试题比较学生的表现,则可能得出不准确的结论。 关键词:PISA;合作问题解决能力;跨语言公平性;项目功能差异 【中图分类号】G405 【文献标识码】A 【文章编号】 1005-8427(2019)02-0041-7 DOI:10.19360/j.cnki.11-3303/g4.2019.02.007 PISA2015合作问题解决能力测试的跨语言公平性分析 收稿日期:2018-09-30 修回日期:2018-12-02 作者简介:刘舒畅(1993—),男,北京大学中国教育财政科学研究所;黄晓婷(1980—),女,北京大学中国教育财政科学研究所,副研究员。 国际学生评价项目(ProgrammeforInternational StudentAssessment,PISA)是由OECD组织的针对全球15岁青少年的测试,内容包括科学素养、数学素养、阅读素养、合作问题解决能力等。2015年,共有72个国家/地区参与了测试。为了保证PISA能够在不同国家/地区施测,以英语或法语为母版的PISA 被翻译成多个不同的语言版本[1]。当测试被翻译成不同语言版本时,不同语言环境下测试分数的可比性就会受到挑战[2-6]。项目功能差异(Differential ItemFunctioning,DIF)是指不同组别但能力相同的 学生在某个试题上答对概率存在的差异[7],是检验测试不同语言版本之间可比性的最佳方法。 2015年PISA首次加入了合作问题解决能力测试(CollaborativeProblem-SolvingAssessment,CPSA)。 该测试的形式较为特殊,不是使用常见的选择题,而是使用会话代理人(ConversationalAgent),要求 考生与若干个计算机模拟的团队成员,在一个预设的情境中进行互动,尝试合作解决遇到的问题。在解决问题的过程中,考生需要和计算机模拟的团队成员进行大量的对话交流。考生能否正确理解计算机模拟成员的语言会直接影响其在CPSA中的表现。因此,与其他科目的测试相比,CPSA对翻译的 准确性要求提高。 在PISA2015的CPSA中,中国学生的平均分为496分,在所有参与CPSA的52个国家/地区中排名第26位,接近OECD的平均水平,其中有28.2%的学生合作问题解决能力的熟练度(proficiencylevel)在水平1及以下[8],这一结果与中国学生在PISA科 学素养、数学素养测试上的优异表现形成鲜明的对比(中国学生数学素养测试平均分为531分,排名第6位;科学素养测试平均分为518分,排名第10位)。这与已有的研究发现存在一定的差异,OECD国家 CHINAEXAMINATIONS 2019年第2期 (总第322期) February 2019 No.322 2019年第2期 的PISA数据显示,学生在PISA数

参考文献

引证文献

问答

我要提问