Алгоритмы обработки результатов

На основе первичной информации, полученной после сканирования, распознавания и верификации бумажных бланков или программной обработки данных, полученных из региональных центров, формируется первичная матрица (таблица) результатов тестирования, строки которой соответствуют участникам исследования, а столбцы – заданиям диагностичнеской работы.

С помощью полученной матрицы вычисляется первичный балл каждого участника исследования и индекс сложности каждого задания (% участников, верно выполнивших данное задание). Эти показатели ложатся в основу дальнейшего статистического анализа результатов.

Дальнейший статистический анализ^[4] состоит из трех этапов.

На первом этапе производится классическая (первичная) обработка результатов тестирования, в ходе которой вычисляются тестологические характеристики каждого задания в данном предъявлении варианта теста, а также показатели надежности и валидности теста. На этом же этапе осуществляется обработка вееров ответов к заданиям с кратким ответом. Первичная обработка предшествует вторичной и предназначена для разработчиков заданий и тестологов. На основе данной информации можно сделать выводы о выборке, качестве заданий вариантов теста и в целом о вариантах диагностической работы.

Вторичная обработка предполагает вычисление показателей, связанных с оценкой уровня подготовки каждого участника, распределением первичных баллов, процентами выполнения заданий и т.п. Файлы, полученные в ходе вторичной обработки, предназначены для участников экзамена и административно-территориальных единиц, в которых проводился экзамен. Для выдачи отчетов вторичной обработки в дереве административно-территориальных единиц выделяется до 4 основных уровней административно-территориальных единиц – вся выборка, регионы или группы регионов, образовательные организации (или так называемые «кластеры ОО», если нужно объединить статистику по нескольким ОО) и участники экзамена.

На третьем этапе в результате обработки данных формируются показатели, используемые для анализа качества заданий и вариантов диагностической работы и интерпретации результатов исследования.

В результате обработки данных формируются следующие показатели, получаемые для анализа и интерпретации результатов оценочной процедуры.

Показатели первичной обработки:

Показатели по заданиям:

1. Номер задания в варианте

2. Название задания в варианте

3. Количество участников, решавших данное задание

4. Количество участников, не решавших данное задание

5. Процент участников, не решавших данное задание

6. Количество участников, не приступивших к данному заданию

7. Процент участников, не приступивших к данному заданию

8. Точечно-бисериальный коэффициент (ТБКК) задания

9. Процент выполнения слабой группой (27% с наименьшим рейтингом)

10. Процент выполнения сильной группой (27% с наибольшим рейтингом)

11. Коэффициент дискриминативности

12. Распределение участников по дистракторам задания с выбором ответа или баллам политомического задания

13. ТБКК по дистракторам задания с выбором ответа или баллам политомического задания

14. ТБКК для участников, не приступивших к заданию

15. Уровень сложности

16. Проблемы задания по кодификатору проблем

17. В кодификаторе проблем вынесены проблемы по проценту выполнения, несоответствующему уровню заданий, и проблемы заданий, выявленные по корреляционным коэффициентам (ТБКК).

18. Группа проблем по кодификатору групп проблем

19. Процент выполнения задания

20. Процент выполнения задания процентильными группами

21. Дата проведения процедуры

Показатели по вариантам:

1. Номер варианта

2. Количество участников, выполнявших данный вариант

3. Средний процент выполнения варианта

4. Максимальный балл варианта

5. Средний балл

6. Стандартное отклонение первичного балла

7. Дисперсия первичного балла

8. Ассиметрия первичного балла

9. Эксцесс первичного балла

10. Средняя пятибалльная отметка

11. Стандартное отклонение отметки

12. Коэффициент надежности варианта

13. Распределение участников по первичным баллам

Данные интегральные характеристики дают показатели по серии вариантов и по всей выборке участников.

По всей выборке для отчетов вычисляются следующие показатели:

1. Количество участников

2. Распределение первичных баллов

Показатели первичной обработки сохраняются в файл csv для возможности импорта показателей в базу тестовых заданий и анализа качества заданий, вариантов, выборки.

Показатели вторичной обработки:

Показатели вторичной обработки, участвующие в отчетах для административно – территориальных единиц:

1. Количество участников

2. Распределение участников по первичному баллу

3. Процент выполнения каждого тестового задания

4. Процент выполнения каждого тестового задания группами участников

Показатели вторичной обработки, участвующие в отчетах для участников экзамена:

1. Вариант теста

2. Баллы за задание

3. Первичный балл

Виды отчетов

При создании статистических отчетов по исследованию можно выделить 4 группы форм:

- для оценки состояния системы образования административно-территориальной единицы,

- для оценки индивидуальных результатов участников исследования,

- для использования при разработке вариантов диагностических работ.

Виды отчетов первичной обработки:

1. Статистические данные регионов

2. Общие статистические данные заданий по вариантам диагностических работ

3. Структура заданий по иерархии проблем (карманам)

4. Сравнительный анализ процента выполнения заданий по группам баллов

5. Сравнительный анализ процента выполнения заданий по группам баллов по вариантам диагностических работ

6. Сравнительный анализ по процентилям по вариантам диагностических работ

7. Распределение первичных баллов