ผู้วิจัย#

• André Markus
• Astrid Carolus
• Carolin Wienrich

หัวข้อเกี่ยวกับอะไร#

• มุ่งสร้างและตรวจสอบ มาตรวัด AI literacy แบบ objective (AICOS) เพื่อให้สามารถประเมิน AI literacy ได้โดยไม่พึ่งพาการประเมินตนเอง (self-report) ซึ่งมักจะมีอคติหรือไม่แม่นยำ
• เครื่องมือที่มีอยู่ก่อนมักเป็นแบบสอบถามที่ให้ผู้ตอบประเมินตนเอง (subjective), บางอันไม่สามารถแยกความแตกต่างระหว่างกลุ่มเป้าหมายได้ดี หรือไม่รองรับแนวโน้มใหม่ เช่น generative AI literacy
• จุดมุ่งหมาย
  • สร้างชุดข้อสอบ / คำถาม (item pool) ที่ครอบคลุม sub-competencies หลักของ AI literacy (รวม generative AI)
  • ตรวจสอบคุณภาพ psychometric: วิเคราะห์ validity, reliability, factor structure (เช่น การวิเคราะห์ IRT / CFA)
  • พัฒนาส่วนแบบย่อ (short version) เพื่อใช้งานจริงในสภาพแวดล้อมที่มีข้อจำกัดด้านเวลา

ใช้เทคนิคอะไร#

• เริ่มจาก item pool generation: รวบรวมคำถามจากมาตรวัด AI literacy ที่มีอยู่, งานวิจัยที่เกี่ยวข้อง, ทฤษฎีสมรรถนะ AI literacy, และแนวโน้ม generative AI
• ขั้นตอนคัดกรอง / ตรวจสอบโดยผู้เชี่ยวชาญ (expert review) เพื่อให้แน่ใจว่า content validity ครอบคลุม sub-competencies ที่ต้องการ
• การวิเคราะห์ทางสถิติ
  • ใช้ Item Response Theory (IRT) เพื่อประเมินคุณสมบัติของแต่ละข้อ (discrimination, difficulty, fit)
  • การวิเคราะห์โครงสร้างองค์ประกอบ (factor analysis / confirmatory factor analysis) เพื่อยืนยันว่า sub-competencies ที่คิดไว้แยกได้ / เชื่อมโยงกันอย่างเหมาะสม
  • ทดสอบ reliability (ความแม่นยำ / ความสอดคล้องภายใน) และความเหมาะสมของโมเดล (fit indices)
• พัฒนารุ่นย่อ (short version) โดยเลือกข้อที่แสดงคุณสมบัติดีที่สุดในแต่ละ subscale และตรวจสอบว่าแบบย่อนั้นยังคงความเข้มแข็งทาง psychometric

ผลการวิจัย#

• แบบเต็ม AICOS: ได้โครงสร้าง modular ที่รวม sub-competencies ของ AI literacy (รวม generative AI) และแสดงความสัมพันธ์ระหว่าง sub-competencies เหล่านั้น
• ผล psychometric พื้นฐาน: โมเดลแสดง fit ที่ดี, ข้อสอบมี discrimination / difficulty ที่เหมาะสม, ความน่าเชื่อถือ (reliability) อยู่ในระดับดี
• รุ่นย่อ (short version): พัฒนามาแล้ว และแสดงผลเบื้องต้นว่าสามารถรักษาความแม่นยำ / คุณสมบัติ psychometric ได้ในระดับที่ยอมรับได้
• ข้อได้เปรียบ: แบบ objective ลดอคติจาก self-report, สามารถแยกกลุ่มผู้เรียน / กลุ่มเป้าหมายต่าง ๆ ได้ดี, รองรับแนวโน้ม generative AI literacy

ความคิดเห็นต่ออนาคต#

• งานนี้เป็นก้าวสำคัญในการพัฒนาเครื่องมือวัด AI literacy ที่เป็น objective — งานต่อไปควรนำ AICOS ไปใช้ในหลายบริบท (โรงเรียน, มหาวิทยาลัย, ประชาชนทั่วไป) เพื่อทดสอบ generalizability และ cross-group validity
• ควรเปรียบเทียบ AICOS กับมาตรวัด self-report อื่น (เช่น MAILS) เพื่อดูข้อดี / ข้อจำกัดของแต่ละแนวทาง
• ในงานวิจัยการเรียนการสอน ควรใช้ AICOS เป็น pre-test / post-test เพื่อประเมินผลของหลักสูตร / กิจกรรม AI literacy ที่ออกแบบขึ้น
• อาจพัฒนาระบบประเมินออนไลน์ / adaptive testing ที่ใช้งาน AICOS โดยอัตโนมัติ (ข้อที่เหมาะ / ยาก) เพื่อให้ประหยัดเวลาและปรับให้เหมาะกับผู้เรียน
• งานในอนาคตอาจมุ่งเพิ่มความสามารถในการวัดการประยุกต์ใช้งาน AI จริง (performance-based tasks) ที่ไม่ใช่แค่ข้อสอบ แต่เป็น “งานจริง (authentic tasks)” และผสมกับ AICOS เพื่อให้ได้ภาพรวม AI literacy ที่ครบถ้วน

Reference