روش‌های ارزشیابی کتاب‌های درسی دانشگاهی، مزایا و محدودیت‌ها

مقدمه

کلاس‌های درس نظام‌های پیچیده‌ای دارد و یادگیری در این نظام‌های کوچک و باز اجتماعی به عوامل بسیاری بستگی دارد؛ سه محور اصلی این عوامل عبارت است از: استاد، آنچه که می‌داند و انجام می‌دهد؛ دانشجویان با تلاش‌ها و تجربیات قبلی آن‌ها و رسانه‌ها مثل کتاب درسی، مواد و فرصت‌هایی که در تدریس و یادگیری به کار برده می‌شود. این‌ها تنها بعضی از عوامل زنجیره برنامه‌های درسی[1] است؛ یعنی از برنامه درسی قصد شده تا نوشته شده و در نهایت برنامه درسی تجربه شده (تار[2] و همکاران، 2006). نقش عوامل سه‌گانه در کلاس‌های درس یکسان نیست و ممکن است از یک کلاس به کلاس دیگر بسیار متفاوت باشد. در همین ارتباط مفهوم مرجعیت کتاب درسی[3] از سوی برخی محققان مطرح گردیده است و آن در مواردی است که کتاب درسی تنها منبع دانش تلقی و به طور دقیق در کلاس درس پیگیری ‌شود. اُگان بیکیر اُگلو[4] (2007) می‌گوید: «اغلب معلمان بی‌تجربه و با کیفیت سطح پایین تحت حاکمیت کتاب درسی هستند. آن‌ها کتاب درسی را «درست[5]» در نظر می‌‌گیرند». یک کتاب درسی ناموفق در دستان چنین معلمانی ممکن است تأثیر منفی در یادگیری داشته باشد و در مقابل کتاب درسی موفق نقش ارزشمندی در رشد حرفه‌ای معلمان بی‌تجربه و کم‌کیفیت خواهد داشت (نیوتن و نیوتن[6]، 2006)؛ البته باید این نکته را در نظر داشت که اعمال مرجعیت کتاب درسی در کلاس درس به دیدگاه معلمان و دانشجویان و چگونگی واکنش آن‌ها نسبت به کتاب درسی بستگی دارد (کیسیدو و روزمن[7]، 2002).

تعاریف گوناگونی درباره ماهیت کتاب درسی ارائه شده است؛ در دایرة‌المعارف تعلیم و تربیت[8] (2008) درباره تعریف کتاب درسی این چنین آمده است: «یک تعریف متداول آن است که کتاب درسی اثر چاپ شده‌ای است که برای یک دوره و یا سال تحصیلی مهیا گردیده و دربردارنده حقایق و ایده‌ها درباره یک موضوع خاص است». در تعریف دیگری که یونسکو (2005) ارائه داده، کتاب درسی ابزار ‌اصلی یادگیری تلقی شده که برای دستیابی به مجموعه خاصی از نتایج آموزشی طراحی و از متن، تصویر و یا متن همراه با تصویر تشکیل شده است، و به‌طور سنتی مجموعه چاپی و مجلدی است که آسان‌سازی توالی فعالیت‌های یادگیری را هدایت و راهنمایی می‌کند.

هر چند در بررسی تعاریف کتاب درسی با تعاریفی مواجه می‌شویم که عنوان کتاب درسی را به هر کتابی که در کلاس درس استفاده می‌شود، اطلاق می‌کنند، در بیشتر تعاریف تأکید شده که کتاب درسی تنها کتاب‌هایی است که برای مقاصد آموزشی نوشته شده و انتشار یافته است و در قالب درون‌داد نظام آموزشی تلقی می‌گردد (بازرگان،1390). اغلب محققان نیز کتاب درسی را کتاب‌هایی می‌دانند که به‌طور خاص برای استفاده در موقعیت‌های آموزشی نوشته شده است (میک[9]، 2000). در تعاریف جدیدتر، کتاب درسی تنها شامل اطلاعات نیست، بلکه در بردارنده اطلاعات و فعالیت‌هایی است که برای دستیابی دانشجو به نتایج یادگیری ضروری است (کاتورسکوی[10]، 2006). از حدود چهل سال پیش مفهوم کتاب الکترونیکی مطرح گردید. در مراحل اولیه همان کتاب‌های چاپی بدون هیچ تغییری، و از طریق عکس‌برداری و یا حروف چاپی (تایپ) در شکل الکترونیکی قرار داده می‌شد. اما در سال‌های بعد اشکال پیشرفته‌تری از این نوع کتاب‌ها تولید شد. امروزه کتاب‌های درسی الکترونیکی دارای قابلیت‌هایی همچون لغت‌نامه، تلفظ، ویدئو، صدا، تصاویر متحرک و حتی شبیه‌سازهای تعاملی است تا فراگیران بتوانند با روش‌های دیگری غیر از خواندن با این رسانه تعامل برقرار کنند (سان و فلورز[11]، 2012). هرچند نوآوری‌ها در زمینه کتاب‌های درسی الکترونیکی به سرعت در حال توسعه است، اعتقاد عمومی بر آن است که رسانه‌های مبتنی بر چاپ خصوصاً کتاب درسی هنوز از نظر اقتصادی بهترین گزینه برای فراگیران و معلمان است (میک، 2000). گزارش دفتر آموزشی در هنگ‌کنگ (2009) نیز خاطر نشان می‌کند «علی‌رغم محبوبیت ‌آموزش‌های الکترونیکی، کتاب‌های درسی چاپی رسانه مهمی برای یادگیری دانشجویان و تدریس در کلاس درس خواهد بود». همچنین نتایج تحقیق نلسون[12] (2008) در مدارس عالی امریکا نشان می‌دهد که دانشجویان و استادان به‌طور عمومی علاقه‌مند هستند تا از کتاب‌های درسی الکترونیکی برای تحقیقات و از کتاب‌های درسی چاپی در کلاس درس استفاده کنند. اهمیت و نقش کتاب درسی در نظام آموزشی، ضرورت ارزشیابی این رسانه مهم

آموزشی را مورد توجه متخصصان قرار داده است؛ به گونه‌ای که روش‌های مختلفی برای ارزشیابی کتاب‌های درسی مطرح گردیده است. در همین راستا این مقاله به دنبال پاسخ‌گویی به دو سؤال است: 1) متداول‌ترین روش‌های ارزشیابی کتاب‌های درسی کدام است؟ 2) مزایا و محدودیت‌های هر روش چیست؟

کیفیت و ارزشیابی کتاب‌های درسی

ارزشیابی از کتاب‌های درسی، مرتبط با کیفیت کتاب‌های درسی است؛ به عبارت دیگر ارزیابان کتاب‌های درسی به دنبال قضاوت درباره کیفیت کتاب درسی هستند. اما کیفیت کتاب درسی چیست و چه تعاریفی از آن ارائه شده است؛ ‌در اینجا به دو تعریف از کیفیت کتاب درسی اشاره می‌شود که هر تعریف کیفیت کتاب درسی را از جهتی مد نظر قرار می‌دهد. برنیر[13] (1996) می‌گوید: کتابی خوب است که دانشجویان با استفاده از آن به نتایج یادگیری تعیین‌ شده دست یابند. سورسوک[14] (2001) نیز کتاب خوب را دارای ویژگی‌هایی می‌داند که حمایت کننده‌ فراگیران و معلم در فرایند یادگیری باشد. هرچند این دو تعریف دو روی یک سکه است، چون کتابی که شرایط دستیابی به این اهداف را فراهم می‌آورد، دارای ویژگی‌هایی است که فرایند یادگیری را حمایت می‌کند؛ از جنبه دیگر در تعریف اول به نتایج یادگیری و یا برنامه درسی به دست آمده[15] (قورچیان و همکاران، 1383) در قالب نشانگر کیفیت کتاب درسی و در تعریف دوم به خود کتاب درسی و یا به‌طور بالقوه به برنامه درسی اجرا شده در قالب یک منبع اطلاعاتی و به قابلیت آن در فرایند یاددهی ـ ‌‌یادگیری توجه می‌شود؛ برای مثال برنامه درسی‌ای را در نظر بگیرید که به خاطرسپاری تعدادی از حقایق علمی را مد نظر دارد. براساس تعریف اول تعداد حقایقی که دانشجویان بعد از کار با کتاب درسی حفظ می‌شوند، نشان‌دهنده کیفیت کتاب درسی است؛ در حالی‌که در تعریف دوم به وجود ویژگی‌هایی توجه می‌شود که براساس یافته‌های محققان، کتاب درسی در صورت دارا بودن این ویژگی‌ها سبب افزایش یادداری[16] خواهد شد؛ بنابراین وجود چنین ویژگی‌هایی در کتاب درسی نشانه کیفیت آن خواهد بود.

رویکردهای ارزشیابی کیفیت کتاب درسی

بر اساس تعاریفی که از کیفیت کتاب درسی ارائه شد دو رویکرد اصلی برای ارزشیابی کیفیت کتاب درسی می‌توان ارائه داد؛ بر این اساس کیفیت به دو روش زیر ارزشیابی می‌شود:

1. تعیین نتایج یادگیری که فراگیران با استفاده از کتاب درسی به آن دست یافته‌اند (تعریف اول)؛

2. تعیین اینکه کتاب درسی دارای ویژگی‌های مناسبی برای هدایت فراگیران در دسترسی به نتایج است (تعریف دوم).

چم‌بلیس و کالفی[17] (1998) با ارائه یک مثال به تشریح دو رویکرد مذکور ارزشیابی از کتاب درسی پرداخته‌اند؛ اگر بخواهید کیفیت یک وسیله‌ مثل فندق‌شکن را ارزشیابی کنید، ‌بر‌اساس تعریف اول، کیفیت این ابزار بر اساس قابلیت آن، یعنی شکستن فندق تعیین می‌شود؛ البته الزامات خاص دیگری نیز وجود دارد؛ برای مثال یک فندق‌شکن خوب سبب له شدن و یا شکستن مغز فندق نمی‌شود. بدیهی‌ترین روش برای بررسی کیفیت فندق‌شکن آن است که آن ‌را به‌کار ببرید و نتایج عملکردش را مشخص کنید و یا آنکه کار با آن را مشاهده و اطلاعاتی درباره نحوه عملکرد آن جمع‌آوری کنید. همین روش در مورد کتاب درسی نیز صادق است؛ یعنی می‌توان با به‌کارگیری کتاب درسی مشخص کرد که چطور و چه میزان کتاب درسی در دستیابی یادگیرندگان به نتایج یادگیری مؤثر است. این نوع ارزشیابی نیازمند تحقیقات تجربی[18] در موقعیت‌های یادگیری است. در این موقعیت‌ها کتاب‌های درسی به‌کار گرفته می‌شود تا بتوان اطلاعات مورد نیاز درباره کیفیت آن‌ها را جمع‌آوری کرد.

از طرف دیگر مطالعه و تجربه تعداد محدودی فندق‌شکن ایده‌های مفیدی درباره ویژگی‌های یک فندق‌شکن خوب فراهم می‌آورد. برای مثال ممکن است تحقیق شما به نتایجی درباره اینکه فندق‌شکنی که از ماده‌ای خاص ساخته شده، قابلیت کار بهتری در مقایسه با فندق‌شکن‌های معمولی دارد، منجر شود. اطلاعات به‌دست آمده از این تحقیقات اساس رویکرد دوم ارزشیابی از کتاب درسی را شکل می‌دهد. دوباره به مثال فندق‌شکن برمی‌گردیم؛ تصور کنید فندق‌شکنی وجود دارد که نمی‌توان آن را آزمایش کرد؛ برای مثال می‌خواهیم یک نوع جدید آن را از فروشگاه خریداری کنیم. در اینجا می‌توان مشخص کرد آیا ابزار مورد نظر ویژگی‌های مطلوب را دارد؟ در این صورت بدون آنکه نیاز به شکستن فندق باشد، می‌توان فندق‌شکن را براساس ویژگی‌های خاصی بررسی کرد؛ اگر فندق‌شکن ویژگی‌های مطلوب را داشته باشد، بنابراین نتیجه می‌‌گیریم که می‌تواند فندق‌ها را به‌طور اثربخش بشکند.

بر همین اساس در تحقیقاتی که در آن‌ها به جنبه‌های مختلف یادگیری از کتاب‌های‌ درسی پرداخته شده، ویژگی‌های مشخصی برای کتاب‌های مطلوب در نقش کمک‌کاران یادگیری[19] تعیین گردیده است (آی‌دینگ و دیگران[20]، 2002). کیفیت کتاب درسی یک متغیر غیرآشکار است که می‌توان آن را با استفاده از ویژگی‌های مطلوب یک کتاب درسی مشخص کرد. جانسن (1993) «ویژگی‌های قابل شناسایی کیفیت»[21] را نام می‌برد. این ویژگی‌ها تعیین می‌شود تا سطح کیفیت و یا درجه کارایی نشان داده شود. تعیین کیفیت کتاب‌های درسی از این منظر نیازمند تحلیل کتاب درسی[22] است. بنابر گفته جانسن (1993) پس از جنگ جهانی اول از این روش برای ارزشیابی کتاب‌های درسی استفاده شد. بدین‌منظور داده‌هایی درباره ویژگی‌های کتاب درسی بر اساس مجموعه‌ای از معیارها جمع‌آوری شد که درصورت تناسب این داده‌ها با آن معیارها، کتاب درسی از کیفیت لازم برخوردار خواهد بود؛ یعنی کتاب درسی ویژگی‌های لازم را برای کمک به دانشجویان و معلمان داراست و بر این اساس فراگیران به نتایج مطلوب خواهند رسید.

علاوه بر این از یک رویکرد سوم نیز در بررسی کیفیت استفاده شد که در این رویکرد تجربیات دیگران و یا نظرات آن‌ها برای تعیین کیفیت مد نظر قرار می‌گیرد. در همان مثال فندق‌شکن، شما می‌توانید از افرادی که درباره کیفیت فندق‌شکن مطلع هستند، سؤال کنید. با توجه به این درباره کیفیت کتاب درسی نیز می‌توان از فراگیران، معلمان و متخصصان تعلیم و تربیت و یا رشته تخصصی مرتبط با کتاب درسی سؤال کرد. اطلاعات مخاطبان بر اساس نظر آنان درباره کتاب درسی و یا (اگر از آن‌ استفاده کرده‌اند) بر اساس تجربیات آن‌ها از یاددهی ـ یادگیری به‌وسیله کتاب درسی خواهد بود. لوی (1375) در بحث ارزشیابی از برنامه‌های درسی از این نوع داده‌ها با عنوان داده‌های مبتنی بر قضاوت نام می‌برد و داده‌ها را براساس صلاحیت پاسخ‌دهندگان تقسیم بندی می‌کند. او معتقد است که متخصصان، معلمان و فراگیران هر کدام صلاحیت پاسخ‌گویی به سؤالات خاصی را دارند؛ به عبارت دیگر تجربیات و نظرات هر کدام از منابع اطلاعاتی (متخصصان، معلمان و فراگیران) باید با سؤالاتی که از آن‌ها پرسیده می‌شود، متناسب باشد.

طبقه‌بندی روش‌های ارزشیابی کتاب‌های درسی

متخصصان طبقه‌بندی‌های گوناگونی از روش‌های ارزشیابی کتاب‌های درسی ارائه داده‌اند. هیوت و دیگران[23] (2000) تحقیقات درباره کتاب درسی را مطابق با انواع تحقیق طبقه‌بندی کرده‌اند که عبارت است از: توصیفی[24]، هم‌بستگی[25] و تجربی[26]. لیتز[27] (2001) طبقه‌بندی خود را بر اساس زمان اجرای ارزشیابی ارائه داده است؛ پیشگویانه یا قبل از کاربرد[28]، هنگام کاربرد[29]، گذشته نگر یا بعد از کاربرد[30].

در ادامه و برای آشنایی بیشتر با انواع تحقیقات کتاب‌های درسی، جدول 1 طراحی گردیده است؛ در این جدول چهار طبقه‌بندی از روش‌های تحقیق، مطالعه و ارتباط هر کدام با تحقیق کتاب‌های درسی مشخص شده است؛ این طبقه‌بندی‌ها عبارت است از:

1. تحلیل کتاب‌های درسی، تحقیق تجربی (اندازه‌گیری نتایج)، نظرات مخاطبان (پیش از این درباره آن بحث شد)؛

2. پیشگویانه یا قبل از کاربرد، هنگام کاربرد، گذشته‌نگر یا بعد از کاربرد؛

3. کمّی، کیفی و ترکیبی از کمّی و کیفی؛

4. داخل موقعیت یادگیری (کلاس) و خارج از موقعیت یادگیری.

جدول 1

بر اساس اطلاعات جدول 1 می‌توان تحقیقات کتاب درسی را با توجه به روش تحقیق و نوع داده‌ها، همچنین محل و زمان اجرای آن به دوازده نوع تقسیم کرد:

نوع اول: تحقیقاتی که در آن‌ها تنها به جمع‌آوری داده‌های کیفی می‌پردازند؛ برای مثال در یک تحقیق می‌خواهیم به چگونگی افزایش درک دانشجویان با استفاده از کتاب درسی پی ببریم. برای این منظور از دانشجویان سؤالات پاسخ باز پرسیده می‌شود و محقق بدون آنکه نمره‌ای به آن‌ها بدهد به تحلیل پاسخ‌ها می‌پردازد.

نوع دوم: در تحقیقات این حوزه هر دو نوع داده‌های کمّی و کیفی تولید می‌شود؛ برای مثال اگر ضمن تحقیق قبلی به پاسخ دانشجویان نمره نیز داده شود، یعنی هم چگونگی افزایش درک آن‌ها و هم میزان درک هنگام استفاده از کتاب ارزشیابی گردد، از داده‌های کمّی ‌و کیفی استفاده شده است.

نوع سوم: متداول‌ترین تحقیقات تجربی در این حوزه قرار دارد؛ به‌طور معمول در این روش از پیش‌آزمون‌ها و پس‌آزمون‌ها برای اندازه‌گیری افزایش مهارت‌ها، دانش و درک دانش‌آموزان از کتاب درسی استفاده می‌شود.

خانه‌های چهار تا نه مربوط به تحقیقاتی است که داده‌های آن نظرات فراگیران، معلمان و متخصصانی است که با کتاب درسی در ارتباط هستند. این تحقیقات به دو گروه تقسیم می‌شود: در گروه اول تحقیقاتی قرار می‌گیرد که هنگام استفاده از کتاب درسی و یا بعد از آن انجام می‌شود و در گروه دوم یعنی تحقیقات پیشگویانه، داده‌های مبتنی بر قضاوت مخاطبان قبل از به کارگیری کتاب درسی استفاده می‌شود. ‌هابیسز[31] (2003) درباره این نوع تحقیقات می‌گوید: «در امریکا اغلب ناشران دیدگاه گروهی از معلمان را درباره دروس، تمرین‌ها و تجربیات کتاب‌های درسی جدید جمع‌آوری می‌کنند. آن‌ها به استفاده از این نظرات در اصلاح و بهبود کتاب‌‌های درسی منتشر شده خود علاقه‌مندند».

نوع چهارم: در این حوزه داده‌ها به ‌صورت کیفی جمع‌آوری می‌شود و محقق برای کمی کردن آن‌ها تلاشی نمی‌کند؛ برای مثال از معلمان می‌خواهند نظرات خود را درباره کیفیت کتاب درسی که در کلاس درس در حال استفاده از آن هستند، اعلام نمایند.

نوع پنجم: در این روش محققان به جمع‌آوری داده‌های کیفی می‌پردازند؛ سپس داده‌های کیفی را به داده‌های کمّی تبدیل و نتیجه‌گیری می‌‌کنند؛ برای مثال محققی علاقه‌مند است تا کیفیت دو کتاب درسی را با هم مقایسه کند و برای این کار از معلمان و دانش‌آموزان کلاس‌هایی که این دو کتاب در آن‌ها استفاده می‌شود، نظر‌خواهی می‌کند و نظرات آن‌ها را از طریق طبقه‌بندی و نمره‌گذاری تجزیه و تحلیل می‌نماید؛ در نتیجه به ویژگی‌های هر کدام نمره‌ای تعلق می‌گیرد و محقق به مقایسه آن نمره‌ها می‌پردازد. گاهی اوقات در این نوع از تحقیقات هم از سؤالات پاسخ ‌باز استفاده می‌شود و هم از سؤالاتی که پاسخ آن‌ها در یک مقیاس عددی طراحی گردیده است.

نوع ششم: در این نوع از تحقیقات نظرات معلمان و دانشجویان درباره هر کدام از ویژگی‌های کتاب درسی و یا کارکردهای ویژه کتاب درسی در یک درجه‌بندی عددی جمع آوری می‌گردد. در این رابطه ابزارهای فراوانی وجود دارد که برای این نوع از ارزشیابی کتاب درسی طراحی شده است.

تحقیقات نوع هفتم تا دوازدهم تحقیقاتی است که کتاب درسی را در خارج از موقعیت یادگیری، ارزشیابی می‌کند. داده‌ها بر اساس ویژگی‌هایی جمع‌آوری می‌شود که از قبل برای کیفیت کتاب‌های درسی تعیین شده بود. این تحقیقات به منظور پیش‌بینی کیفیت کتاب درسی قبل از ورود به فرایند یاددهی ـ یادگیری اجرا می‌گردد.

نوع هفتم شامل تحقیقاتی است که با جمع‌آوری نظرات معلمان، دانشجویان و متخصصانی انجام می‌گیرد که کتاب درسی را در فرایند یاددهی ـ یادگیری به‌کار نگرفته‌اند و در حال به‌کارگیری آن نیز نیستند. در این روش داده‌ها کیفی است و از طریق سؤالات پاسخ باز و یا چک‌لیست‌هایی که درباره ویژگی‌های مطلوب کتاب درسی در آن‌ها سؤال می‌شود، به صورت جملات خبری (روزمن[32] و همکاران، 2001) و یا به صورت جملات سؤالی (گارینگر[33]، 2003) ارائه می‌گردد تا به تدوین نظرات پاسخ‌دهندگان کمک کند.

نوع هشتم و نهم مشابه پنجم و ششم است؛ با این تفاوت که در این دو حوزه، تحقیقات پیشگویانه است و داده‌های جمع‌آوری شده از معلمان، فراگیران و متخصصان در موقعیت‌های خارج از فرایند یاددهی ـ یادگیری جمع‌آوری می‌شود.

ستون آخر جدول مربوط به روش تحلیل کتاب‌های درسی است. آنچه در فرایند تحلیل اتفاق می‌افتد توجه به اجزاء تشکیل‌دهنده کتاب درسی است؛ بدین‌معنا که عناصر دارای ویژگی‌های مشخص، بر اساس معیارهای از قبل تعیین شده به وسیله محقق و یا همکاران او کدگذاری می‌شود.

نوع دهم وقتی است که عناصر کتاب درسی بر اساس معیارهای مشخصی طبقه‌بندی می‌گردد. در این نوع تحقیق به دلیل مواجه بودن با داده‌های نمره‌ای از روش کیفی استفاده می‌شود. برای مثال محققی برای مشخص کردن فنون تأکیدی که در تصاویر یک کتاب درسی به‌کار رفته است، می‌تواند از این روش استفاده کند.

نوع یازدهم: در این تحقیقات تحلیلی که در ادامه تحلیل کیفی می‌آید، کمّی کردن عناصر هر طبقه بر اساس شاخص‌های از قبل تعیین شده صورت می‌گیرد. برای نمونه وقتی که محققی به دنبال تعیین بیشترین فن تأکیدی است که در تصاویر کتاب درسی به‌کار رفته است.

نوع دوازدهم: در بردارنده‌ تحقیقاتی است که در آن به تحلیل کمّی کتاب‌های درسی می‌پردازند. در این تحلیل محقق بر اساس شاخص‌های کمّی شده‌ ویژگی‌های کتاب درسی، این ویژگی‌ها را اندازه‌گیری می‌کند.

مزایا و محدودیت‌های روش‌های ارزشیابی

بدیهی است که محقق باید بهترین رویکرد و روش را برای ارزشیابی کیفیت کتاب درسی انتخاب کند. رالیس و بولاند[34] (2004) مزایا و محدودیت‌های هر کدام از سه روش ارزشیابی کتاب‌های درسی شامل روش تحقیق تجربی، نظرات مخاطبان و تحلیلی را نقد و بررسی کرده‌اند.

الف) تحقیقات تجربی. تحقیقات تجربی رویکردی است که اغلب در مورد ارزشیابی کیفیت کتاب‌های درسی به کار می‌رود. در این روش نتایج یادگیری که دانشجویان در فرایند استفاده از کتاب درسی به‌دست آورده‌اند، اندازه‌گیری می‌شود. متأسفانه این روش دارای محدودیت‌هایی است:

ابزار اندازه‌گیری. در تحقیقات آموزشی از روش‌های گوناگونی برای اندازه‌گیری نتایج یادگیری استفاده می‌کنند. این روش‌ها که با استفاده از ابزارهای مختلف انجام می‌شود، شامل انواع روش‌های اجرای عملکرد، نمرات آزمون و درک فراگیران از موضوعات مورد یادگیری آن‌ها خواهد بود. ابزارهای اندازه‌گیری که به وسیله آن‌ها نتایج یادگیری را اندازه می‌گیرند باید روایی و پایایی لازم را داشته باشد (سیف، 1378). اگر ابزار اندازه‌گیری در نتایج تحقیق تأثیر بگذارد، ممکن است اندازه‌گیری نتایج به دست آمده از دانشجویان با اشتباه روبه‌رو شود. بنابراین تدوین و طراحی ابزارهای اندازه‌گیری یکی از محدودیت‌های این روش است.

دشواری اجرایی طرح تجربی. یکی از مشکلات طرح تجربی اجرای آن است که همین مشکل آن را کاری طاقت‌فرسا کرده است. کتاب درسی یکی از چندین عامل تأثیرگذار در یادگیری است و در طراحی یک تحقیق تجربی باید به گونه‌ای عمل شود که میزان تأثیر کتاب درسی در نتایج یادگیری نسبت به عوامل دیگر مورد توجه قرار گیرد (مونتگومری، 2006). همچنین فراگیران و معلمان درگیر در فرایند پژوهش باید نمونه ‌واقعی از مخاطبان کتاب درسی باشند. وجود حداقل یک گروه کنترل که توانایی‌ها (خصوصاً توانایی خواندن)، علایق و پیش زمینه‌های یکسانی با گروه آزمایش داشته باشند نیز یک ضرورت است؛ به علاوه بهتر است که یک معلم به هر دو گروه تدریس کند
(ون‌ دِ گریفت[35]، 1989).

محدودیت مقیاس^[36]. کوشش‌های تجربی در مقیاس‌های بزرگ به گونه‌ای که همه محتوای کتاب درسی را دربر بگیرد، کاری دشوار، گران و زمان‌بر است و به ندرت امکان اجرای آن فراهم می‌آید (هیئت علوم ملی[37]، 2004)؛ در نتیجه اغلب پژوهش‌های تجربی به مطالعه یک موضوع خاص و یا اثر بخشی روش تدریس خاصی از کتاب درسی محدود می‌شود.

ملاحظات اخلاقی. تحقیقات تجربی موجب دخالت سخت‌گیرانه در فرایند تدریس[38] می‌شود و بخشی از زمان کلاس را به خود اختصاص می‌دهد. در این صورت ممکن است دانش‌آموزان فرصت‌های رشد خود را با مشارکت در تحقیق بر روی کتاب‌های درسی ناموفق از دست بدهند (میک، 2000).

تأثیرات کنترل نشده عامل جدید. ‌وقتی یک کتاب درسی جدید در گروه آزمایشی به‌کارگرفته می‌شود، جدید بودن آن ممکن است در میزان موفقیت دانشجویان تأثیر بگذارد (کلارک[39]، 2001).

کاربرد نتایج تحقیق تجربی. در تحقیقات تجربی اطلاعات ارزشمندی برای بازنگری و طراحی کتاب‌های درسی ارائه می‌شود. آنچه معلمان نیاز دارند تصمیم‌گیری درباره بهترین کتاب درسی است؛ در حالی‌که آزمایش (اجرای طرح تحقیق تجربی) در ارتباط با کتاب‌های در دسترس برای آن‌ها ممکن نیست. همچنین ناشران به دنبال سنجش کیفیت کتاب‌های درسی به منظور تصمیم‌گیری درباره انتشار آن هستند؛ بنابراین تحقیقات پیشگویانه از قبیل تحلیل و یا نظرات مخاطبان ممکن است به ناشران و معلمان در انتخاب با کیفیت‌ترین کتاب درسی کمک کند.

با توجه به محدودیت‌های استفاده از تحقیقات تجربی برای سنجش کیفیت کتاب‌های درسی، اعتبار نتایج این نوع تحقیقات با چالش‌های جدی روبه‌روست، به‌طوری‌که ویادیرو[40] (2007) معتقد است که بسیاری از تحقیقات تجربی عملکرد قابل توجهی در تعیین اثربخشی یک کتاب درسی مشخص در مقایسه با سایر کتاب‌های درسی نداشته است.

ب) نظرات مخاطبان. مطالعاتی که در آن‌ها دیدگاه مخاطبان منبع اطلاعات برای تحقیق درباره کیفیت کتاب‌های درسی قرار می‌گیرد نیز با مشکلاتی مواجه است:

مقایسه نظرات مخاطبان مختلف. وقتی از مخاطبان درباره کیفیت کتاب درسی سؤال می‌شود، محقق با اطلاعات گوناگونی روبه‌رو خواهد شد که امکان خلاصه کردن آن‌ها به شکلی که بتوان مورد استفاده قرار داد، ممکن نیست (گولداسمیت و دیگران[41]، 2000). در تحقیقات معمولاً برای آسان‌تر شدن مقایسه نظرات مختلف، یک طبقه‌بندی از ویژگی‌های کتاب که مخاطبان باید درباره آن نظر بدهند، تهیه می‌گردد و از آن‌ها خواسته می‌شود تا براساس این لیست که درجه‌بندی شده، میزان ویژگی را مشخص کنند.

نظرات سریع و سطحی. هر چند می‌توان با استفاده از یک ابزار جمع‌آوری اطلاعات که به صورت درجه‌بندی نمره‌ای تنظیم شده است به سرعت ارزشیابی کتاب درسی را انجام داد، محققان دریافته‌اند که معمولاً این ارزشیابی سطحی است (سینگر و تومی[42]، 2003). برای اینکه این مشکل پیش نیاید، مشارکت‌کنندگان باید شواهدی ارائه دهند تا نظرات آن‌ها درباره درجه کیفیت کتاب درسی تأیید شود. پس باید از آن‌ها خواسته شود به جای علامت زدن در پرسش‌نامه، به صورت توضیحی به سؤالات پاسخ دهند و این موجب می‌شود تا مشکل قبلی تکرار گردد؛ یعنی جمع‌بندی و مقایسه نظرات با مشکل مواجه خواهد شد.

پرسش نظرات. گاهی اوقات مشکلاتی در پرسش نظرات مخاطبان پیدا می‌شود؛ برای مثال معلمان باید درباره چه چیزی، در چه زمانی و چگونه نظر بدهند؟ براون[43] (1998) معتقد است برای آنکه نظر معلم درست باشد باید از روش ژاپنی[44] استفاده شود. در این روش از معلم خواسته می‌شود در مورد بخش‌هایی از کتاب درسی که اخیراً تدریس کرده است، نظرات خود را بیان کند. او معتقد است باید از معلمان پرسیده شود اگر شما قرار باشد سه درس آخر کتاب درسی را که در حال تدریس آن هستید، بازنویسی کنید کدام‌یک از تمرین‌ها و فعالیت‌های یادگیری را دوباره تکرار خواهید کرد؟ با درجه‌بندی کردن پاسخ‌های معلم اطلاعات لازم برای ارزشیابی به‌دست خواهد آمد.

تأثیر زمینه بر نظرات. نظرات معلمان متأثر از تجربیات تدریس آن‌هاست و به نوع کلاس، پیشینه علمی دانشجویان و منابع و امکانات در دسترس کلاس درس آن‌ها بستگی دارد؛ بنابراین ممکن است دیدگاه‌های آن‌ها از کیفیت کتاب درسی ناشی از این زمینه‌ها باشد (مونتگومری، 2006). البته می‌توان با استفاده از روش‌های نمونه‌گیری تأثیر این عامل را کنترل کرد.

ج) تحلیل کتاب درسی. تحلیل کتاب‌های درسی نیز دارای محدودیت‌هایی است که به برخی از آن‌ها اشاره می‌شود؛

انتخاب معیارها از سوی ذی‌نفعان. یکی از چالش‌ برانگیزترین مباحث در فرایند تحلیل کتاب‌های درسی تعیین معیارهای تحلیل است (ون‌ دِ گریفت، 1989). در همین رابطه استین[45] و همکاران (2001) اظهار می‌دارند که در امریکا ارزشیابی کتاب‌های درسی فاقد معیارهای مبتنی بر پژوهش است و ویتمن[46] (2004) می‌گوید: در اکثر ایالت‌های امریکا در سیستم‌های ارزشیابی بر اساس علایق گروهی ذی‌نفعان عمل می‌شود و نتیجه آن است که محتوای کتاب درسی نسبت به حوزه‌های سیاسی، اخلاقی و دینی موجود در جامعه جهت‌گیری نداشته باشد. برخی محققان معتقدند: این امر سبب می‌شود موضوعات بحث‌انگیز در کتاب‌های درسی وجود نداشته باشد و کتاب‌های درسی برای دانشجویان خسته‌کننده و کسالت‌آور باشد و دانشجویان توانایی درگیرشدن با متن را از دست می‌دهند (راویچ[47]، 2003).

زمان در مقابل دقت. متأسفانه تحلیل کتاب درسی کاری زمان‌بر و خسته‌کننده است (دیویس[48]، 2003). معمولاً محدودیت‌های زمانی سبب می‌شود تا تحلیل همه جنبه‌های کیفیت کتاب درسی امکان‌پذیر نباشد. همچنین اغلب محققان تحلیل خود را به چند موضوع و یا بخش کتاب درسی محدود می‌کنند؛ با این فرض که بخش‌های تحلیل‌شده نمونه‌ای از کل کتاب است (پیپن و هگرتی[49]، 2003)؛ هرچند این فرض هنوز اثبات نشده است.

ذهنیت در مقابل عینیت. یکی از نگرانی‌هایی که در ارزشیابی کتاب‌های درسی وجود دارد، بحث عینیت و ذهنیت است. تحقیقاتی که محققان در آن‌ها به دنبال عینی‌تر بودن نتایج هستند، اغلب داده‌های کمّی دارند (استین و همکاران، 2001)؛ اما این تحقیقات نیازمند یک طرح فکورانه است تا اطمینان حاصل شود که داده‌های کمّی مذکور، نشانه معتبری از کیفیت کتاب درسی است. این یکی از مشکلات اصلی تحلیل است که باید نسبت به آن توجه داشت. به این مثال توجه کنید؛ «عنوان‌هایی که خوب انتخاب شده باشد، با نشان دادن ساختار متن به یادگیری کمک می‌کند». در این صورت آیا می‌توان با بررسی وجود عنوان‌ها و یا شمردن تعداد آن‌ها مدعی نشانه‌ای از مشارکت کتاب درسی در یادگیری شد؟ یا آنکه محقق مجبور است با صرف زمان و تلاش بسیاری ساختار متن را تحلیل کند تا مشخص شود عنوان‌ها تعیین‌کننده ساختار متن است؛ در این‌صورت وجود و یا فراوانی عنوان‌ها سبب مشارکت در یادگیری خواهد شد.

اهمیت نسبی ملاک‌ها. یکی از مشکلاتی که در تحلیل کتاب‌های درسی با آن مواجهیم تناسب توجه به جنبه‌های مختلف کیفیت در کتاب درسی است. کم‌توجهی به برخی از جنبه‌های کیفیت گاهی اوقات سبب تأکید بیش از حد بر جنبه‌های دیگر می‌شود (میک، 2000). ملاک‌های ارزشیابی نباید تنها خصوصیات و یا ویژگی‌های کیفیت در کتاب درسی را مشخص کند، بلکه باید بر میزان اهمیت یک خصوصیات در رابطه با دیگر خصوصیات نیز تأکید داشته باشد.

نتیجه‌گیری

مقوله ارزشیابی کتاب‌های درسی دانشگاهی به تعیین کیفیت کتاب درسی اشاره دارد؛ به عبارت دیگر قضاوت در مورد کیفیت کتاب درسی یعنی ارزشیابی آن. در این مقاله سه روش ارزشیابی کتاب درسی و مزایا و محدودیت‌های هر کدام نقد و بررسی شد. به یقین روش‌های دیگری نیز ممکن است وجود داشته باشد که مورد توجه محقق قرار نگرفته است. توجه به تعدد روش‌های ارزشیابی کتاب‌های درسی و محدودیت‌ها و مزایای هرکدام، بیانگر این مهم است که ارزشیابان کتاب‌های درسی باید با توجه به اهداف، سؤالات ارزشیابی و شرایط اجرای آن، اقدام به انتخاب بهترین روش ارزشیابی کنند.