Cognitively Aligned Assessment Item Generation with Open-Source LLMs: A Comprehensive Evaluation on LearningQ
Rattachement africain : Égypte. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Automated generation of high-quality educational assessment items is still difficult, especially when it comes to higher-order cognitive skills. Although Large Language Models (LLMs) show promise, their structural validity and cognitive alignment are limited. This study systematically evaluates fine-tuning open-source LLMs using an enriched LearningQ dataset that includes Bloom’s cognitive labels and evidence. The results show a clear performance contrast. Qwen2.5-3B-Instruct displays the best semantic reasoning, while Llama-3.2-3B shows better structural adherence, achieving a 94.9% validity rate and full compliance against answer leakage while maintaining high question validity. In contrast, older encoder-decoder models like FLAN-T5-XL do not generate valid questions. The study finds that small- to medium-sized instruction-tuned models, backed by strong data engineering, are successful at developing scalable, cognitively well-aligned assessment items.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Cognitively Aligned Assessment Item Generation with Open-Source LLMs: A Comprehensive Evaluation on LearningQ
- Date Crossref
- 01/01/2026
- Éditeur
- The Science and Information Organization
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Fayoum University Fayoum University, Égypte (code pays fourni par la source)Université ou école supérieure
-
Benha University Benha University, Égypte (code pays fourni par la source)Université ou école supérieure
-
, pays non établi dans la noticeInstitution
-
Faculty of Computers and Artificial Intelligence Fayoum University, Égypte (pays nommé en fin d’affiliation)Université ou école supérieure
Fayoum University (Fayoum University, Égypte), Benha University (Benha University, Égypte) et ,, avec 1 autre affiliation. Pays d’affiliation : Égypte.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.