پدیدارشناسی، ساخت و اعتباربخشی انگارۀ روایی پسینی سنجۀ زبان در آزمون ورودی دانشگاه: کاربردهایی برای آزمون‏سازی در تحصیلات تکمیلی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانش آموخته دکترای تخصصی رشته زبان انگلیسی گروه زبان انگلیسی، واحد تربت حیدریه، دانشگاه آزاد اسلامی، تربت حیدریه، ایران

2 استادیار رشته زبان انگلیسی ،گروه زبان انگلیسی، واحد تربت حیدریه، دانشگاه آزاد اسلامی، تربت حیدریه، ایران

3 استادیار،گروه زبان انگلیسی، دانشکده پزشکی، دانشگاه علوم پزشکی گناباد، ایران

4 استادیار،گروه زبان انگلیسی، واحد تربت حیدریه، دانشگاه آزاد اسلامی، تربت حیدریه، ایران

چکیده

رویکردهای استاندارد به ساخت آزمون علی‌رغم مزایای گوناگون، به‌دلیل تفکیک آموزش از ارزشیابی در ساحات گوناگون، باعث ایجاد تأثیرات تعقیبی غیرسازندۀ فراوانی شده‌اند. در این میان، اهداف برنامۀ ملی درسی ایران که یک تلاش راهبردی برای ایجاد تغییرات مثبت در آموزش کشور بود، به‌دلیل همین اثرات تعقیبی، محقق نشده است. به‌دلیل خلأ تحقیقاتی در زمینۀ پدیدارشناسی این موضوع و نقایص روش‌شناختی و معرفت‌شناختی در پرداخت به آن، تحقیق حاضر تلاشی است تا با اتخاذ یک طرح چندمرحله‏ای ­ چندروشی، ضمن کشف مغایرت‏های سنجۀ زبان انگلیسی آزمون ورودی دانشگاه با برنامۀ ملی درسی در کتاب‌های ویژن، یک انگارۀ معتبر از مؤلفه‌ها و متغیرهای روایی پسینی این آزمون ارائه دهد و سپس با تحلیل ساختاری در ماتریس اثرات متقاطع، راهبردهایی را در اختیار سیاست‌گذاران آموزشی قرار دهد. بدین منظور ده نخبه در زمینۀ آموزش زبان انگلیسی و 510 نفر از شرکت‌کنندگان در آزمون ورودی دانشگاه، به ترتیب، با نمونه‌گیری هدف‌دار و در دسترس برای مراحل تحقیق انتخاب شدند. در گام اول، پدیدارشناسی با روش مصاحبه نیمه‌ساختاریافته از نخبگان حاکی از مغایرت اهداف آزمون با برنامۀ ملی درسی در پنج بُعد اساسی است. مدل‌سازی معادله ساختاری نیز نشان داد که 26 متغیر در هفت مؤلفه (فاکتور) در انگارۀ روایی پسینی این آزمون دخالت دارند. نتایج تحلیل ساختاری نیز متغیرهای راهبردی، حیاتی، تأثیرگذار، دو‌وجهی و تنظیم‏گر در این نظام تأثیرات را مشخص و اولویت‌بندی کرد و متناسب با آن کاربردهایی برای آزمون‏سازی در تحصیلات تکمیلی دانشگاه پیشنهاد شد. این نتایج دارای کاربردهای نظری، عملی، روش‌شناختی و راهبردی است.
 

کلیدواژه‌ها

عنوان مقاله [English]

Phenomenography and Development of a Consequential Validity Model for English Module of University Entrance Exam: Pedagogical Strategies for Vision Series Based on MicMac

نویسندگان [English]

  • Mahmood Khosravani 1
  • Morteza Rostamian 2
  • Hamid Ashraf 3
  • Hossein Khodabakhshzadeh 4
1 English Department, Torbat-e Heydariyeh Branch, Islamic Azad University, Torbat-e Heydariyeh, Iran
2 English Department, Torbat-e Heydariey Branch, Islamic Azad University, Torbat-e Heydariyeh, Iran
3 English Department, Torbat-e Heydariyeh Branch, Islamic Azad University, Torbat-e Heydariyeh Branch
4 English Department, Torbat-e Heydariyeh Branch, Islamic Azad University, Torbat-e Heydariyeh, Iran,
چکیده [English]

Standard approaches to test development, despite their benefits, have brought about destructive effects due to separation of education and assessment. Iranian national curriculum was a strategic attempt for exerting positive effects but it failed in its mission due to test’s consequential effects. Considering the gap regarding the phonomyography of this issue and methodological and epistemological deficiencies in research on test consequences, the present research is an attempt to employ a multi-phase/multi-method design and provide a consequential validity model for English module of university entrance exam based on Vision book series and then an structural analysis of the variables of the model to feed educational and pedagogical practitioners for implementing appropriate strategies.to this aim, 10 elites participants in ELT and 510 recent examinees of the university entrance exam were selected through purposive and convenience sampling respectively. In the first phase, the phonomyography was conducted through semi-structured interview with elites and revealed that vision curriculum contradicts national curriculum in five axes. Also, the results of structural equation modeling also revealed that 26 variables subsumed under 7 factors are involved in the consequential validity model developed. Finally, the findings from structural interpretation uncovered the strategic, critical, bi-dimensional, regulatory and influential nature of the variables. These findings have theoretical, methodological, practical and strategic implications for different practitioners.

کلیدواژه‌ها [English]

  • University Entrance Exam
  • Consequential Effect
  • Modeling
  • National Curriculum
  • Vision

مراجع

برنامۀ ملی درسی ایران (1390). وزارت آموزش و پرورش.
جعفری گهر، م.، و جمالوندی، ب. (1397). معیارهای کتاب تخصصی مطلوب در رشتۀ زبان انگلیسی. پژوهش و نگارش کتب دانشگاهی، 22(43)، 90­115.
فرخی‌پور، س.، خوش‌سیما، ه.، سارانی، ع.، و گنجی، م. (1399). تبیین و بررسی تأثیر انگارۀ بومیِ ارزشیابی پویا در شناخت و رفع مشکلات یادگیری مهارت‌های زبانیِ مولد در دانش‌آموزان متوسطه. پژوهش‌های زبان‌شناختی در زبان‌های خارجی، 10(1)، 120­134.
 
Ahmadi Safaa, M., & Goodarzi, S. (2014). The Washback Effects of Task-based Assessment on the Iranian EFL Learners' Grammar Development. Procedia - Social and Behavioral Sciences, 98, 90 - 99.
Alavi, S.M., & Masjedlu, A. (2017). Construct under-representation and construct irrelevant variances on IELTS academic writing task: Is There Any Threat to Validity? Theory and Practice in Language Studies, 7(11), 1097-1107.
Bachman, L. F. (2005). Building and supporting a case for test use. Language Assessment Quarterly, 2(1), 1-34.
Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press.
Bachman, L. F., & Palmer, A. S. (2000). Language testing in practice. Oxford: Oxford University Press.
Bachman, L. F., & Palmer, A. S. (2010). Language assessment in practice: Developing language assessments and justifying their use in the real world. Oxford: Oxford University Press.
Bailey, K. (1999). Washback in Language Testing. Princeton, New Jersey: ETS.
Chapelle, C. A. (2020). An introduction to language testing’s first virtual special issue: Investigating consequences of language test use. Language Testing, 37(4), 638–645.
Chou, M.U. (2015). Impacts of the Test of English Listening Comprehension on students’ English learning expectations in Taiwan. Language, Culture and Curriculum, 28 (2), 191–208.
Creswell, J. W. (2008). Educational Research. Los Angeles, London: Sage.
Chen, Q., Hao, C., & Xiao, Y. (2020). When testing stakes are no longer high: Impact on the Chinese college English learners and their learning. Language Testing in Asia, 10(1), 10-25.
Cheng, L., Klinger, D., & Zheng, Y. (2007). The challenges of the Ontario Secondary School Literacy Test for second language students. Language Testing, 24(2), 185–208.
Cronbach, L. J. (1980). Validity on parole: How can we go straight? New directions for testing and measurement: Measuring achievement over a decade. In Proceedings of the 1979 ETS Invitational Conference (pp. 99-108). San Francisco: Jossey- Bass.
Cureton, E. E. (1951). Validity. In E. F. Lindquist (Ed.), Educational measurement (pp. 621-694). Washington, DC: American Council on Education.
Davies, A. (1968). Language testing symposium: A psycholinguistic approach. Oxford: Oxford University.
Di-Gennaro, J.A. (2017). The Washback effects of an English exit exam on teachers and learners in a Korean university English program. Unpublished PhD dissertation, University of Exeter, United Kingdom.
Dimova, S. (2017). Life after oral English certification: The consequences of the Test of Oral English Proficiency for Academic Staff for EMI lecturers. English for Specific Purposes, 46, 45–58.
Dornyei, Z., & Taguchi, T. (2010). Questionnaires in Second Language Research: Construction, Administration, and Processing. Routledge, London.
Fathi, F. (2021). Developing a Native Model for the University Entrance Exam Washback Effect on English Language Teaching, Testing and Learning in Iran's National Curriculum: A Socio-cultural Perspective. Unpublished PhD Dissertation. Islamic Azad University, Tehran, Iran.
Ghorbani, M. R. (2008). ELT in Iranian high schools in Iran, Malaysia, and Japan: Reflections on how tests influence the use of prescribed textbooks. Reflections on English Language Teaching, 8, 131–139.
Green, A. (2020). Washback in language assessment. In C. A. Chapelle (Ed.), concise encyclopedia of applied linguistics, (pp. 1159–1164). Wiley-Blackwell.
Hung, S. T. A., & Huang, H. T. D. (2019). Standardized proficiency tests in a campus-wide English curriculum: A washback study. Language Testing in Asia, 9(21), 1–17.
Hughes, A. (1989). Testing for language teachers. Cambridge: Cambridge University Press.
Jamalifar, G., Salehi, H., Tabatabaei, O., & Jafarigohar, M. (2021). Washback effect of the English proficiency test (EPT) on PhD candidates’ language learning strategies. Journal of Language and Translation, 11(3), 179–191.
Kane, M. T. (2006). Validation. In R. L. Brennan (Ed.), Educational measurement (pp.17–64). Westport, CT: American Council on Education.
Khosravani, M., Rostamian, M., Ashraf, H. et al. (2022). A structural equation modeling of English tests’ social and educational consequences: exploring target, leverage, risk, and critical variables. Language Testing in Asia, 12(46), 1-23.
Kim, S.J. (2017). Exploring a Framework for Consequential Validity for Performance-Based Assessments. Unpublished PhD Dissertation. University of Minnesota. U.SA.
 Larssona, M &Olin-Scheller, Ch. (2020). Adaptation and resistance: washback effects of the national test on upper secondary Swedish teaching. The Curriculum journal, 31 (4), 687-703.
Li, X. (2018). Self-assessment as ‘assessment as learning’ in translator and interpreter education: Validity and washback. The Interpreter and Translator Trainer, 12(1), 48–67.
Marton, F., & Pong, W. Y. (2005). On the unit of description in phenomenography. Higher Education Research & Development, 24, 335-348.
McNamara, T. (2006). Validity in language testing: The challenge of Sam Messick’s legacy. Language Assessment Quarterly, 3(1), 31–51.
Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement, (pp. 13–103). American Council on Education/Macmillan.
Messick, S. (1996). Validity and washback in language testing. Language Testing, 13(3), 241- 256.
Moss, P. A., Pullin, D., Gee, J. P., & Haertel, E. H. (2005). The idea of testing: Psychometric and sociocultural perspectives. Measurement: Interdisciplinary Research & Perspective, 3(2), 63–83.
Pallant, J. (2007). SPSS survival manual: A step-by-step guide to data analysis using SPSS for Windows. Open University Press & McGraw-Hill Education.
Pallant, J. (2013). SPSS Survival Manual. A step by step guide to data analysis using SPSS (4th Ed.). Australia: Allen & Unwin.
Pan, Y.C., & Roever, C. (2016). Consequences of test use: a case study of employers’ voice on the social impact of English certification exit requirements in Taiwan. Language testing in Asia, 6(6), 1-21.
Popham, W. J. (1987). The Merits of Measurement-Driven Instruction. The Phi Delta Kappan, 68(9), 679–682.
Razavipour, K., Moosavinia, S. R., & Atayi, S. (2018). Construct Ambiguity and Test Difficulty Generate Negative Washback: The Case of Admission Test of English Literature to Graduate Programs in Iran. International Journal of Instruction, 11(4), 717-732.
Rezai, A., Alibakhshi, G., Farokhipour, S. et al. (2021). A phenomenographic study on language assessment literacy: hearing from Iranian university teachers. Language Testing in Asia, 11(26), 1-25.
Shepard, L. A. (1993). Evaluating test validity. In L. Darling-Hammond (Ed.), Review of research in education (Vol. 19, pp. 405–450). Washington, DC: American Educational Research Association.
Sjostrom, B., & Dahlgren, L. O. (2002). Nursing theory and concept development or analysis: Applying phenomenography in nursing research. Journal of Advanced Nursing, 40(3), 339–345.
Sun, Y. (2016). Context, construct, and consequences: Washback of the College English Test in China. Unpublished PhD dissertation, Queens University.
Swain, M. (1985). Communicative competence: Some roles of comprehensible input and comprehensible output in its development. In S. Gass, & C. Madden (Eds.), Input and second language acquisition, (pp. 235–253). Newbury House.
Tight, M. (2015). Phenomenography: the development and application of an innovative research design in higher education research. International Journal of Social Research Methodology, 19(3), 319–338.
Vernon, P. E. (1956). The measurement of abilities. University of London Press.
Wu, X., & Zhang, L.J. (2019). The Sociocultural Activity of High Stakes Standardised Language Testing: TOEIC Washback in a South Korean Context. Language Assessment Quarterly, 16(3), 369-372
Xie, Q. (2010). Test design and use, preparation, and performance: A structural equation modeling study of consequential validity. Unpublished doctoral dissertation, the University of Hong Kong, Hong Kong.
پژوهش و نگارش کتب دانشگاهی
دوره 26، شماره 51
اسفند 1401
صفحه 189-217

فایل ها

هم رسانی

ارجاع به این مقاله

آمار