基于语料库的中外语言测试领域15年内文献中的测试理论变迁对比分析

发表时间:2020/11/3   来源:《教学与研究》2020年54卷第19期   作者:韩绮琪
[导读] 本研究基于语料库语言学的方法收集了国内外最具代表性的两本语言测试学术期刊(国内《外语测试与教学》
        韩绮琪
        浙江大学外国语言文化与国际交流学院  浙江省杭州市  310058
        摘要
        本研究基于语料库语言学的方法收集了国内外最具代表性的两本语言测试学术期刊(国内《外语测试与教学》;国外《Language Testing》)里自它们创刊起所有的论文标题、作者、摘要、关键词等内容,分析了近十五年来期刊文献中的语言测试研究理论变迁,并且在最后对比了中外语言测试研究理论的异同。本研究在最后提出对未来研究的展望。
关键词:语言测试;语料库语言学;测试理论
一、引言
        语言测试作为语言学习和教学评估中重要组成部分,长期以来受到了国内外众多学者的关注。现在,语言测试已经成为一门独立的综合性学科,以语言学、语言教学法、学习论和心理测量学为理论基础,以测试理论和手段作为研究对象,不断与多种学科交叉融合(薛荣,2008),不断地展现自己的生命力。长久以来,语言测试和语言教学被看作伙伴关系,相辅相成,共同作用于语言学习。因此,语言测试研究的重要性不言而喻。本文选取国内外最具代表性的两本语言测试学术期刊(国内《外语测试与教学》;国外《Language Testing》)作为研究对象,收集了自它们创刊起所有的论文标题、作者、摘要、关键词等,分析了近十五年来(《外语测试与教学》因只创刊十年,故是十年来)期刊文献中的语言测试研究理论变迁,并且在最后对比了中外语言测试研究理论的异同。
二、文献综述
        本研究主要是选取中外语言测试中研究内容的角度进行研究。在过去的对语言测试综述的文献中,毛延生等人(2015)将语言测试研究内容分为语言测试的简介性与经验性研究、本体研究、方法与对象研究、具体应用研究和批判反思研究五个层面。马丽雅等人(2007)将语言测试研究内容分为大学英语考试、测试理论的回顾和展望、英语测试的效度与信度、测试分类、语言测试的反拨效应和测试研究中存在的问题。孔令笛(2014)在语言测试研究内容中提及大学英语四、六级为中心、测试的信度效度研究、计算机化语言测试、英语专业四八级、全国公共英语等级考试、形成性评估与终结性评估的研究,没有将其进行分类。而Bachman(2010)提出的测试使用论证框架结构中有四大主张,评估开发的过程是从后效、决策、分数解释到测试记录。评估解释与使用的过程是从测试记录、分数解释、决策到后效。
        本文结合毛延生(2015)研究内容中对语言测试的本体研究的分类与Bachman(2010)提出的测试使用论证框架结构的内容。提出了如下的测试理论研究内容分类:考前研究——设计开发。考中研究——效度、信度、一致性、区分度、难度、真实性。考后研究——后效、反拨。
三、研究方法
(1)数据收集
        为了与国外顶级语言测试期刊《Language Testing》对标,我们选取了国内唯一专门化、专业性的外语语言测试学术期刊《外语测试与教学》。我们在“中国知网”的中国期刊全文数据库上采用高级检索方式,将文献来源设置为精确搜索“外语测试与教学”,分两个时间段(2010年1月1日-2014年12月31日;2015年1月1日-2019年11月2日)分别导出文献的标题、作者、摘要、关键词。最后的中文语言测试期刊数据有91575字,来源于《外语测试与教学》期刊创刊至今的308篇文献。其中,“2010-2014年”时间段有文本42622字,来自145篇文献;“2015-2019年”时间段有文本48953字,来自163篇文献。
(2)数据处理
        本文需要对中文文本进行预处理。我们使用了清华大学沈阳教授开发的ROST-CM 6.0对中文进行分词。
(3)数据分析
        本研究利用AntConc 3.5.8对英文文本和中文文本进行分析。
四、研究结果
(1) 国外语言测试领域15年内文献中的测试理论的变化
        对比图一、图二、图三发现,在近五年(15-19年)间,效度在语言测试的类别中占比最大。说明在语言测试中,研究者们越来越重视语言测试的效度问题。但是有关语言测试领域设计开发的研究比例逐年减少。这可能是由于研究者们近年来更关注对开发的工具进行效度验证的研究。研究难度、真实性、后效(作用)的比例不高,但相比第一个五年阶段(05-09年)都有所提升。但研究语言测试区分度方面的研究较少。

图1 05-09年国外语言测试领域各研究理论占比     图2 10-14年国外语言测试领域各研究理论占比

图3 15-19年国外语言测试领域各研究理论占比
(2) 中国语言测试领域15年内文献中的测试理论的变化
        从图4可以看出,2010-2014这一阶段的中国语言测试的文献研究内容分布十分不均,效度研究以30%高居榜首,成为语言测试领域中研究数量最多的方向;反拨作用以20%位居第二,反应了语言测试界学者对反拨作用充分的关注;设计开发以19%成为第三,体现了试卷的设计开发也是语言测试界关注的重点之一。信度、一致性、区分度、难度、真实性研究受到的关注普遍偏低,五年间出现的词频均小于10%。

图4 10-14年国内语言测试领域各研究理论占比 图5 15-19年国内语言测试领域各研究理论占比
        从图5可以看出,2015-2019这一阶段中,效度研究仍然以42%的频率“一枝独秀”,再一次成为五年内研究占比最多的主题。反拨作用、设计开发、难度、信度则成为研究数量第二梯度的主题。区分度研究的占比相较上一个五年增长明显。总的来说,相较于2010-2014阶段,这五年间的研究方向仍然以效度研究为主,但是呈现了其他诸多研究主题“百花齐放”的趋势。
(3) 中外语言测试领域15年内文献中的测试理论的异同
        对比图1至图5,本研究发现如下的异同点:
        近10年来,国内外语言测试的研究都注重对效度的研究,并且呈现上升的趋势。
        不同之处在于,虽然国内外对研究开发语言测试的关注的比例在逐年降低,但国内一直以来对研究开发语言测试领域关注较少。
        国内对测试信度、一致性方面的研究的重视度也不够。信度和效度在语言测试中很重要。信度不够会导致一系列消极的后效作用,如公平性的问题。
        国内对语言测试的后效作用的研究也相当之少,并且呈现比例下降的趋势。Messick(1989)的“效度整体观”也提及社会影响这一语言测试中的重要属性。Kunnan(2003)的“测试公平性理论”也谈及测试影响这一重要属性。而Bachman(2010)提出的测试使用论证框架的四大主张中,明确了测试使用需要顾及其结果是否对整个社会有益。
        通过对比两本期刊每五年时段不同研究理论的细分类型数量发现:国内对效度的分类更广,研究更加细化。但是,国外对语言测试各个理论的研究细分类型较国内的多且全面。而国内语言测试在设计开发、区分度、真实性、后效作用方面无细分类型。
五、结语:对未来研究的展望
        基于语料库语言学的角度,本研究收集了国内外最具代表性的两本语言测试学术期刊自它们创刊起所有的论文标题、作者、摘要、关键词等内容,分析了近十五年来期刊文献中的语言测试研究理论变迁,并且在最后对比了中外语言测试研究理论的异同。
        通过对研究结果的分析和讨论,本研究提出对未来研究的展望:(1)国内一直以来对语言测试相关工具的研究开发领域关注较少,未来的研究可以多关注一些测试工具的开发;(2)在以后的研究中,国内语言测试的研究者可以更多关注语言测试的后效作用,即该测试对教育系统、对整个社会的影响;(3)国内语言测试对研究理论的研究不够深入,细分类型不够全面,未来的研究既要注重研究的广度也要注意研究的深度,尤其是诸如设计开发、区分度、反拨作用方面。
        

参考文献
[1]Bachman, Lyle F. & Adrian S. Palmer (2010). Language Assessment in Practice. Oxford: Oxford University Press.
[2]Kunnan, Antony J. (2003). Test Fairness. In Michael Milanovic & Cyril J. Weir (eds.). European Language Testing in a Global Context: Proceedings of the ALTE Barcelona Conference July 2001. Cambridge, UK: Cambridge University Press.
[3]Messick, Samuel (1989). Validity. In Robert L. Linn (ed.). Educational Measurement (3rd ed.). New York: Macmillan, 13-103.
[4]孔令笛. (2014). 国内英语测试研究的现状及思考. 鄂州大学学报, 21(5), 96-97.
[5]马丽雅, & 白静. (2007). 浅析国内英语测试研究现状——对 8 种外语类核心期刊 5 年 (1999 年-2003 年) 的统计分析. 外语与外语教学, (2), 33-36.
[6]毛延生 & 吴琼. (2015). 国内语言测试研究20年述评. 外语教育, 25.
[7]薛荣. (2008). 当代语言测试: 理论发展与未来趋势. 外语与外语教学, (10), 44-47.
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: