Работа с сервисом «Фонд оценочных средств»

Общие сведения

Процедура проектирования ФОС для проверки остаточных знаний будет определена положением, проект которого в ближайшее время будет разослан для обсуждения.

Относительно регламента информация доводилась ранее, поэтому кратко ее напоминаю.

Основные положения регламента:

1. Председатели методических советов факультетов организуют работу творческих коллективов по созданию оценочных средств для проведения проверки остаточных знаний.

2. Факультеты формируют списки участников с закреплением конкретных преподавателей за конкретными дисциплинами.

3. Преподаватели, включенные в такие коллективы должны ознакомиться с основными требованиями, приведенными в настоящем документе.

4. На первом этапе для каждой дисциплины, включенной в приказ №237 от 27.05.14 необходимо составить 10 пробных заданий по двум уровням сложности и представить их председателю методического совета факультета для анализа на соответствие требованиям. Представление может быть в любом удобном редакторе. Но для подтверждения прохождения процедуры проверки и согласования заданий у председателя методического совета факультета должен быть бумажный вариант.

5. Председатели методических советов факультетов организуют проверку представленных заданий на соответствие требованиям, приведенным в настоящем документе с отражением в протоколах заседаний методических советов.

6. После одобрения таких заданий председателем методического совета факультета творческие коллективы могут приступить к процедуре внесения материалов в сервис «ФОС».

Необходимо отметить, что для каждого задания требуется указывать его уровень сложности (А или В) и присваивать ему индекс «Остаточные знания». (Такая кнопка имеется в сервисе «ФОС»).

Напоминаю, что количество вопросов по каждой из заявленных дисциплин должно составить: 50 штук уровня «А» и 50 штук уровня «В».

Кроме того, вопросы-задания должны представлять собой тестовые задания с выбором правильного ответа из предлагаемого множества.

В базе необходимо контролировать количество вопросов-заданий, представляющих различные темы (модули) дисциплины. Предлагается следующий алгоритм. Для каждой темы (модуля) в рабочей программе дисциплины отведен определенный объем, выраженный в количестве часов (ЗЕТ). Представительство вопросов-заданий от тем (модулей) должно быть пропорционально их объемам так, чтобы общее количество вопросов соответствовало требуемому значению. Пример приведен ниже в таблице.

Педагогическая эквивалентность заданий по теме

Задания должны соответствовать выбранным контролируемым учебным элементам (дидактическим единицам и дескрипторам) и иметь примерно одинаковое время решения в соответствии с выбранным уровнем сложности. Данное положение можно пояснить на примере.

Существующий перечень контролируемых учебных элементов:

Студент должен знать: нормативно-правовые акты по банкротству; процедуры применяемые при банкротстве; меры предотвращения банкротства

уметь: характеризовать процедуры банкротства; работать с нормативно-правовыми актами по банкротству.

Для тестирования создано задание.

Сформулированное задание действительно проверяет знание, указанное в перечне контролируемых учебных элементов. Однако оно никак не проверяет умение. Для проверки умений требуется создание другого задания.

Задание должно быть сформулировано в виде логического заключения

Содержательная основа задания должна представлять собой часть утвердительного предложения, но не вопрос. При этом предлагаемые варианты ответов дополняют его до полного утвердительного предложения, образуя завершенное истинное или ложное высказывание. Иногда встречаются случаи, когда вариант ответа приходится вставить в середину содержательной основы задания теста. В этом случае варианты ответов должны быть согласованы со всем предложением. Ниже приведен пример неверной формулировки задания.

В данном примере задание сформулировано в виде утвердительного предложения. Однако варианты ответов не дополняют задание, а существуют как отдельные утверждения. Переформулировать данное задание в соответствии с требованием можно следующим образом.

Иногда при формулировке заданий требование части утвердительного предложения сохраняется, но при этом условие согласованности предложения нарушено. Ниже приведен пример неверной формулировки задания.

Очевидно, что в данном примере пропущен глагол «относят»:

Задание должно содержать одну законченную мысль и проверять один учебный элемент (понятие)

Нередко авторы тестовых заданий в одном задании пытаются оценить сразу несколько учебных элементов (понятий) и сформулировать несколько вопросов к одному заданию. Ниже приведен пример неверной формулировки задания.

В данном задании на выбор нескольких вариантов ответов испытуемому приходиться отвечать на два вопроса. Во-первых, необходимо определить структуру вещества. Во-вторых, его цвет. Ошибка данного задания в том, что предлагаются два правильных в разной степени ответа. Данное задание лучше разбить на два:

В следующем примере с одним вариантом ответа аналогичная ситуация.

Для ответа на данное задание необходимо владеть сразу двумя понятиями: размерностью и обозначением твердости, кроме того, в задании нарушена стилистика оформления содержания. Из одного задания можно получить либо одно, либо два полноценных задания. Одно из них будет иметь вид:

Корректировка следующего примера требует вынести из вариантов ответов в формулировку задания слова «закалкой», кроме того последний вариант ответа следует вообще убрать как вариант ответа из данного задания, так как «выбивается» из стиля других вариантов ответов.

После изменений задание примет вид:

Задание должно соответствовать современным научным достижениям (не следует использовать устаревшую информацию)

Особый тип образуют тестовые задания, которые требуют знания периодически изменяющейся информации.

Не следует разрабатывать тестовые задания, несоответствующие современным научным достижениям, или использовать устаревшую информацию. Особенно это касается заданий, контролирующих знание законодательных и нормативных актов.

3.5. Ключевое слово тестового задания необходимо выносить в начало

Формулировать тестовое задание необходимо таким образом, чтобы ключевое слово было вынесено в начало предложения. Так задания легче понимаются, и на их выполнение уходит меньше времени, поскольку ответ созревает у тестируемого по мере чтения содержательной основы задания. Нельзя начинать тестовое задание с предлога, союза, частицы.

На первый взгляд задание сформулировано правильно. Однако, если ключевое слово «сопротивление металлического проводника» перенести в начало предложения, то смысл тестового задания намного упрощается и становиться легким для восприятия:

3.6. Необходимо исключить лишние слова или ненужную информацию из текста задания

Задание считается неудачным, если в нем используются усложненные грамматические конструкции. Чрезмерная загруженность задания затрудняет понимание содержательного смысла задания. Негативно сказываются на качестве задания утяжеление текста задания несколькими придаточными предложениями. Основная часть задания должна быть сформулирована предельно кратко, без лишних синтаксических конструкций. В приведенном примере варианты ответов выглядят крайне громоздко.

Необходимо упростить задание, исключив из него лишние слова или ненужную информацию. Если же не удается таким образом упростить задание, необходимо перенести смысловую нагрузку в основную часть и одновременно придать ответам должную краткость. После подобной корректировки задание может выглядеть таким образом

3.7. Нельзя начинать формулировку задания с искомого слова

Неудачными являются задания, в которых искомое слово находится в самом начале высказывания. Данное требование согласуется с основными принципами тестологии, изложенными в трудах В.С. Аванесова и В. П. Беспалько.

В этом случае для ответа приходится прочесть задание полностью, и возможно не один раз, осмыслить текст, затем снова вернуться к началу задания. Только после этого задуматься над содержанием ответа. В данной ситуации лучше всего изменить порядок слов, таким образом, чтобы искомое слово располагалось как можно ближе к концу предложения.

Данное требование относится и к формулировкам заданий, в которых пропуск смещается к началу предложения. Нужно помнить, что текст такого задания трудно воспринимается.

Ответы не должны содержать повторяющихся блоков

Как уже отмечалось выше, формулировка задания должна быть как можно менее громоздкой. Одним из способов упрощения формулировки задания – «уменьшение» текста. Иногда встречаются задания, в которых все дистракторы содержат повторяющийся блок. В этом случае повторяющийся блок необходимо поместить в текст задания.

Здесь повторяющийся блок «осуществляется на», и если возможно, то поверяющееся слово «этап» тоже лучше переместить в основной текст. Тогда задание примет следующий вид:

Еще пример.

В данном случае фразу «осуществляется при помощи» необходимо поместить в текст задания. Получим:

В следующем примере повторяющийся блок «парша» находится в конце вариантов ответов.

После корректировки задание примет вид:

3.14. Недопустимо обозначение вариантов ответов с помощью индексов

Пример неправильной формулировки:

Пример правильной формулировки этого же задания:

3.15. Недопустимы ответы вида «все ответы верны», «нет правильных ответов», такие ответы невозможно сформулировать в виде логического заключения

При формулировке дистракторов нельзя использовать выражения «все ответы верны», «нет правильных ответов» и др. Считается, что такие варианты ответов способствуют угадыванию правильного ответа. Кроме того, они нарушают условие логической согласованности формулировки задания и дистракторов. В приведенных ниже примерах предлагаются как раз такие варианты ответов. Прочитайте задание с первым и последними дистракторами, согласованного предложения не получиться.

Еще пример:

Здесь правильный вариант ответа не согласуется с формулировкой задания. В следующем примере аналогичная ситуация.

Еще один пример. Обратите внимание, что ни с одним из дистракторов не получается завершенного логического утверждения.

Общие сведения

Процедура проектирования ФОС для проверки остаточных знаний будет определена положением, проект которого в ближайшее время будет разослан для обсуждения.

Относительно регламента информация доводилась ранее, поэтому кратко ее напоминаю.

Основные положения регламента:

1. Председатели методических советов факультетов организуют работу творческих коллективов по созданию оценочных средств для проведения проверки остаточных знаний.

2. Факультеты формируют списки участников с закреплением конкретных преподавателей за конкретными дисциплинами.

3. Преподаватели, включенные в такие коллективы должны ознакомиться с основными требованиями, приведенными в настоящем документе.

4. На первом этапе для каждой дисциплины, включенной в приказ №237 от 27.05.14 необходимо составить 10 пробных заданий по двум уровням сложности и представить их председателю методического совета факультета для анализа на соответствие требованиям. Представление может быть в любом удобном редакторе. Но для подтверждения прохождения процедуры проверки и согласования заданий у председателя методического совета факультета должен быть бумажный вариант.

5. Председатели методических советов факультетов организуют проверку представленных заданий на соответствие требованиям, приведенным в настоящем документе с отражением в протоколах заседаний методических советов.

6. После одобрения таких заданий председателем методического совета факультета творческие коллективы могут приступить к процедуре внесения материалов в сервис «ФОС».

Необходимо отметить, что для каждого задания требуется указывать его уровень сложности (А или В) и присваивать ему индекс «Остаточные знания». (Такая кнопка имеется в сервисе «ФОС»).

Напоминаю, что количество вопросов по каждой из заявленных дисциплин должно составить: 50 штук уровня «А» и 50 штук уровня «В».

Кроме того, вопросы-задания должны представлять собой тестовые задания с выбором правильного ответа из предлагаемого множества.

В базе необходимо контролировать количество вопросов-заданий, представляющих различные темы (модули) дисциплины. Предлагается следующий алгоритм. Для каждой темы (модуля) в рабочей программе дисциплины отведен определенный объем, выраженный в количестве часов (ЗЕТ). Представительство вопросов-заданий от тем (модулей) должно быть пропорционально их объемам так, чтобы общее количество вопросов соответствовало требуемому значению. Пример приведен ниже в таблице.

Работа с сервисом «Фонд оценочных средств»

Как работать с сервисом «Фонд оценочных средств»?

Привожу краткую пошаговую инструкцию.

1. Вход в сервис осуществляется из кабинета кафедры по кафедральному логин-паролю.

2. В правом углу верхней части открывшегося окна сервиса имеются две вкладки:

«Дисциплины»;

«Оценочные средства дисциплины».

3. Во вкладке дисциплины в окне «Образовательная программа» необходимо выбрать интересующую Вас программу путем клика мышки в выпадающем списке. (Список выпадает при клике мышки на стрелку в правой части указанного окна.)

4. После выбора образовательной программы «выпадет» список дисциплин данной программы. Необходимо выбрать интересующую Вас дисциплину установкой курсора на ней и кликания мышкой.

5. Перейти на вкладку «Оценочные средства дисциплины» (кликая на ней мышкой).

6. В появившемся окне Вам будут представлены две зоны. В верхней зоне приведена таблица со списком существующих заданий-вопросов и с указанием их характеристик. В нижней зоне приведен текст оценочного средства на котором находится курсор.

7. Нижняя часть верхней зоны (справа) имеет четыре кнопки:

«Добавить вопрос»;

«Удалить вопрос»;

«Изменить вопрос»;

«Ответы».

8. Функция кнопки «Добавить вопрос» очевидна. При ее нажатии разработчик попадает в окно редактора «Вопрос». Работа в редакторе описана ниже. Однако существуют еще две дополнительные функции, которые можно активизировать нажатием на стрелку у этой кнопки:

«Копировать текущий вопрос»;

«Копировать из другой дисциплины».

Функции этих дополнительных кнопок также очевидны и дают возможность копировать задания-вопросы из смежных дисциплин или копировать вопросы-задания в другие дисциплины.

9. Очевидны также и функции двух следующих кнопок («Удалить вопрос» и «Изменить вопрос»). Одна удаляет вопрос, на котором установлен курсор, а другая позволяет корректировать его, т.е. переходит в режим редактирования уже имеющегося в базе вопроса.

10. Последняя кнопка «Ответы» позволяет ввести ответы на вопрос, который выбран в этот момент курсором. Ввод ответа производится в своем редакторе. Подробнее описан ниже. Расширения функций кнопки «Ответы» пока не работают. Поэтому нажимать на стрелку не рекомендуется.

11. Работа в редакторе «Вопрос». Как указывалось выше, при нажатии кнопки «Добавить вопрос» открывается окно редактора вопросов. Оно разделено на несколько зон.

Левая верхняя зона предназначена для внесения идентификаторов вопроса-задания. Тут также даны некоторые пояснения, позволяющие получить дополнительную информацию, либо относящуюся к выбранной дисциплине (перечень закрепленных за дисциплиной компетенций с их формулировками), либо касающуюся отнесения вопросов к различным уровням сложности. Нажатием соответствующих кнопок можно придать рассматриваемому вопросу-заданию вполне определенные параметры. Напоминаю, что в настоящем документе ведется речь исключительно о проверке остаточных знаний. Соответствующая кнопка расположена под кнопкой «Текущий контроль». Выбор вида вопроса и его уровня сложности можно произвести соответственно в окнах

«Вид вопроса» и «Элементы усвоения». (Уровень сложности вопроса-задания показан в квадратных скобках в этом окне.)

Для пояснения выбранного элемента усвоения и вида вопроса справа от соответствующих окон имеются кнопки со знаками вопроса.

Правая верхняя зона имеет окно с двумя кнопками «Загрузить изображение», «Убрать изображение». Одна позволяет прикрепить изображение к данному вопросу-заданию, а другая удалить это изображение. Необходимо отметить, что изображения должны быть в форматах: .jpg, .gif, .bmp. Не рекомендуется прикреплять изображения в форматах: .pdf, .tiff. Существуют также ограничения по объему прикрепляемого изображения. Не рекомендуется прикреплять файлы более 3 Mb.

Центральная и нижняя зона имеет окно «Текст оценочного средства». Это место, куда и вводится текст вопроса-задания. Ниже его находится маленькое окно «Сорт. Номер». В нем разработчик может указать дополнительный атрибут вопроса-задания для быстрого поиска или сортировки. Эта информация не обязательна для заполнения, как и нижняя часть с окном «Комментарий». Последнее окно позволяет разработчику привести свои комментарии, которые могут быть ему полезны в процессе работы над созданием вопросов. Под окном «Комментарий» справа расположены две кнопки «Сохранить» и «Отменить».

Для сохранения созданного оценочного средства необходимо нажать кнопку «Сохранить». Для отказа от сохранения соответственно кнопку «Отменить».

12. Работа в редакторе «Ответы». Как указывалось выше, при нажатии кнопки «Ответы» открывается окно редактора ответов. Оно также разделено на несколько зон.

Центральная (самая большая) зона представляет собой окно вывода текста ответов. Ниже его справа три кнопки «Добавить», «Удалить» и «Изменить». В самом низу кнопка «Закрыть».

Необходимо отметить, что ввод каждого из закрепляемого за выбранным вопросом ответа, осуществляется отдельно. Для ввода варианта ответа необходимо нажать кнопку «Добавить». При этом откроется дополнительное окно ввода текста ответа. Оно имеет свою центральную зону, предназначенную для ввода текста. Ниже окна для ввода текста находится кнопка «Правильный ответ». Если разработчик вводит правильный ответ, то ему необходимо нажать эту кнопку. Соответственно при вводе дистракторов (ложных ответов) кнопку нажимать не надо. Если разработчику необходимо зафиксировать для себя и для использования при тестировании порядок вывода ответов, то он может воспользоваться маленьким окном «Порядок вывода», расположенным ниже указанной ранее кнопки (не рекомендуется). В нижней части две традиционные кнопки, позволяющие сохранить ответ или отменить эту операцию.

Как указывалось выше, каждый ответ вводится отдельно. Его ввод начинается с нажатия кнопки «Добавить» редактора «Ответы».

После создания ответов они отображаются в основном окне редактора «Ответы». При этом правильный ответ будет выделен жирным текстом. При закрытии окна редактора «Ответы» путем нажатия кнопки «Закрыть» в нижней части экрана вкладки «Оценочные средства» будет отображен вопрос-задание с прикрепленными ответами и изображениями. Правильный ответ будет выделен жирным текстом.

3. Основные требования к составлению материалов для проведения проверки остаточных знаний студентов ФГБОУ ВПО «ВятГУ»

Все тестовые задания должны быть сформулированы в соответствии с общими требованиями.

Основные правила стилистики тестовых заданий:

Ø педагогическая эквивалентность заданий по теме;

Ø задание должно быть сформулировано в виде логического суждения, сформулированного четким языком и исключающего неоднозначность его трактовки тестируемым;

Ø избегайте вводных слов или предложений;

Ø задание должно содержать одну законченную мысль и проверять один элемент знаний;

Ø задания должны соответствовать современным научным достижениям (не следует использовать устаревшую информацию);

Ø в задании не должно отображаться субъективное мнение или понимание отдельного автора;

Ø задание не должно содержать повторов, двойных отрицаний и сленга;

Ø ключевое слово тестового задания необходимо выносить в начало;

Ø необходимо исключить лишние слова или ненужную информацию из текста задания, текст вопроса не должен содержать сложноподчиненные конструкции;

Ø нельзя начинать формулировку задания с искомого слова;

Ø если в задании встречаются фамилии, то они должны предваряться инициалами.

Основные правила стилистики ответов для тестовых заданий:

Ø все ответы должны быть выдержаны в одном (научном) стиле и иметь примерно одинаковый объем;

Ø не допускаются громоздкие формулировки вариантов ответов (лучше «длинный» вопрос и «короткие» ответы, чем наоборот);

Ø варианты ответов всегда должны соответствовать формулировке задания (согласованность падежей, времени и пр., и, непременно, согласованность содержания), при раскрытии всех терминов тестового задания должно получиться истинное утверждение, соответствующее тем вариантам ответа, которые к нему приведены;

Ø не следует в качестве дистракторов (неправильных ответов) приводить понятия явно не имеющие отношение к предмету тестирования или сильно неподходящие по смыслу;

Ø количество дистракторов в задании должно находиться в пределах от 4 до 6;

Ø ответы не должны содержать повторяющихся блоков;

Ø дистракторы не должны начинаться или заканчиваться повторяющимися словами или выражениями;

Ø недопустимо обозначение вариантов ответов с помощью индексов;

Ø не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов;

Ø недопустимы ответы вида «все ответы верны», «нет правильных ответов», такие ответы невозможно сформулировать в виде логического заключения.

Ниже приведены примеры с описанием типовых ошибок и нарушений некоторых перечисленных выше правил.