Details
Study title
Instructional sensitivity of test items in educational testing
Ref study 13160
Study language German
Contributing institutions
Authors
Keywords
  • Validität
  • Testkonstruktion
  • Psychométrie
  • Instruktionssensitivität
  • Schulleistungstest
  • Item Response Modell
Disciplines
Period
Datenerhebung: 2016/2017
Geographical space
Durchführung einer empirischen Studie im Kanton St. Gallen, Schweiz

Sekundäranalysen mit empirischen Daten aus Deutschland:
- Individuelle Förderung und adaptive Lern-Gelegenheiten in der Grundschule (IGEL-Studie, Erhebung im Bundesland Hessen),
- Deutsch- und Englisch Schülerleistungen international (DESI-Studie, Erhebung auf nationaler Ebene)
Country
  • Switzerland
  • Germany
Abstract
Students' results from standardized tests are often used to evaluate the individual learning outcomes, the teaching quality, and other characteristics of the education system at the national and the international level.

Valid conclusions about school and teaching require that the test instruments are instructionally sensitive, i.e. capable of mapping the effects of teaching. The project builds on a longitudinal multilevel DIF-model (LML-DIF model) for evaluating instructional sensitivity (Naumann, Hochweber, & Hartig, 2014). This model integrates existing approaches by incorporating both change in student performance over time and differences between school classes, and it allows the differentiation of global and differential sensitivity of tests and items.

The project has four major objectives:
1. further development and extension of the LML-DIF model
2. examination of methods and conditions of parameter estimation
3. the validation of the statistical indicators of instructional sensitivity
4. development of criteria to classify the instructional sensitivity on the test and the item level

To achieve these goals, simulation studies, secondary analyses of existing data sets as well as data collection at Swiss schools (canton St. Gallen) were carried out. In the latter, the school performance of fifth graders in the field of arithmetic was assessed to several time points. At the same time, data on the quality and the content of teaching was collected at the teacher and student level. Moreover, expert judgements from teachers and subject matter experts were collected to judge the instructional sensitivity.
Results
Methods (description)
Der methodische Zugang ist primär quantitativ, basierend auf Erhebungsstrategien und Analysetechniken aus der large-scale-Bildungsforschung.

Zur Erreichung der Projektziele wurden Simulationsstudien und Sekundäranalysen bestehender Datensätze sowie eine Datenerhebung an Schweizer Schulen (Kanton St. Gallen) durchgeführt. Dabei wurden Schulleistungen von Fünftklässler/innen im Bereich Arithmetik zu mehreren Messzeitpunkten erhoben. Parallel dazu wurden u.a. Aussagen der Lehrpersonen bzw. der Schüler/-innen zu den Unterrichtsinhalten und zur Unterrichtsqualität erhoben. Zusätzlich wurden Experten-Einschätzungen zur Evaluation der Instruktionssensitivität von Testaufgaben eingeholt.
Methods (instruments)
  • Psychological test
  • Standardised interviews - by mail
  • Standardised interviews - by mail
Publications
  • Naumann, Alexander; Rieser, S.; Musow, S.; Hochweber, J.; Hartig, Johannes. 2019. Sensitivity of test items to teaching quality. Learning and Instruction, 60, 41-53.
  • Naumann, Alexander; Musow, Stephanie; Aichele, Christine; Hochweber, Jan; Hartig, Johannes. 2018. Instruktionssensitivität von Tests und Items. Zeitschrift für Erziehungswissenschaft. Advance online publication. Online: 10.1007/s11618-018-0832-0
  • Naumann, Alexander; Hartig, Johannes; Hochweber, Jan. 2017. Absolute and Relative Measures of Instructional Sensitivity. Journal of Educational and Behavioral Statistics, 42 (6), 678-705. Online: 10.3102//1076998617703649
  • Naumann, Alexander; Hochweber, Jan; Klieme, Eckhard. 2016. A Psychometric Framework for the Evaluation of Instructional Sensitivity. Educational Assessment, 21 (2), 89-101. Online: 10.1080/10627197.2016.1167591
Financed by
Study type
Data availability
Source (Updates) Web
Date created 29.04.2019
Date modified 06.06.2019
Start - End date 01.04.2015 - 28.02.2019