Використання статистичних методів для створення когнітивних тестових завдань

Abstract

Подано означення тесту, складності тестового завдання, валідності, дискримінативності та надійності тестових завдань. Обґрунтовано необхідність проходження тестовими завданнями процесу спеціального оцінювання з використанням елементів математичної статистики. Розглянуто два основні підходи до створення тестів та головне питання теорії тестів – побудова оптимального тесту. Подано математичну постановку задачі створення і аналізу тестових завдань. На конкретних результатах тестових завдань розглянуто методику розрахунку тестових характеристик. Складність тестових завдань розкрито на підстаі емпіричної перевірки завдань, з підрахунком частки правильних відповідей, за відомими формулами розраховано коефіцієнти варіації та дисперсії. Зроблено оцінку валідності з використанням значущого зовнішнього критерію – експертної оцінки. Подано таблицю критеріїв для інтерпретації значення коефіцієнта валідності, щоб унеможливити створення неякісних тестових завдань. Для обчислення коефіцієнта дискримінативності застосовано метод крайніх груп, подано критерії інтерпретації значення коефіцієнта дискримінативності, розроблено конкретні рекомендації для створення тестових завдань з належним значенням коефіцієнта дискримінативності. Розглянуто два види надійності тестів: надійність як стійкість і надійність як внутрішню погодженість. Для визначення значення надійності як стійкості застосовано перетворений коефіцієнт кореляції Пірсона "фі" для дихотомічних даних. Наведено результати проведених розрахунків значення коефіцієнта надійності як внутрішньої погодженості вирахуваного за формулою Спірмена-Брауна з використанням формули Пірсона. Подано таблицю критеріїв для інтерпретації значення коефіцієнта надійності, використано метод Кьюдера-Річардсона як метод розщеплення тесту для оцінки надійності дихотомічних завдань тестів. Наведено інтерпретацію результатів та вироблення спрощених загальних рекомендацій укладачам, котрі можна застосовувати в тестологічній практиці. In this article, the definitions of test, test task difficulty, validity, discriminatory and test data reliability are given. In addition, the necessity of clarification for test tasks with appropriation of the special valuation, based on mathematical statistics elements is substantiated. Two basic methodologies of test creation are reviewed. Therefore an optimal test creation as the main problem of testing theories is reviewed as well. The mathematical statement of test task creation and test tasks analysis is given; concrete results show the methodology of test characteristics calculations. The difficulty of test tasks is reviewed based on the empirical knowledge checkout with calculation of the part of correct answers. Variation and dispersion coefficients are calculated based on well-known formulas. The valuation of validity is made by using the meaningful external criteria – an expert valuation. Moreover, the criteria table is introduced to interpret the value of validity coefficient. To make the creation of non-correct tests impossible, the method of extreme groups is used to calculate the discriminatory coefficient, and criteria to interpret the discriminatory coefficient data are introduced. Concrete recommendations to create test tasks with appropriate discriminatory coefficient values are developed; two definitions of reliability are reviewed: reliability as stability and reliability as internal consistency. There we used the coefficient of Pearson correlation "ph" to define reliability as stability for dichotomous data, the results of reliability as internal consistency are received using Spearman-Brown formula including Pearson formula, and the criteria table is introduced to interpret the value of reliability coefficient. Richardson-Cuarda Method is used to split test to evaluate reliability of dichotomous test tasks. The interpretation of results is given. A set of simplified common recommendations is provided to compiles, which are possible to use in daily testological practice.