МЕТРОЛОГИЧЕСКАЯ ОСНОВА ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ
КРАТКИЕ СООБЩЕНИЯ
УДК 378.14.015.62:658.52+5308+681.2
С. А. БОЯШОВА
МЕТРОЛОГИЧЕСКАЯ ОСНОВА ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ
Рассматривается метрологический подход к построению автоматизированной системы тестирования, разработанной в целях оценки уровня подготовки специалистов высшей школы.
Ключевые слова: профессиональная компетентность, автоматизированная система тестирования, система сертификации, системный подход, метрологический подход.
Известно, что всякое научное понятие имеет смысл, если его связывают с конкретными приемами наблюдения и определения. Объективное оценивание уровня подготовки специалистов возможно лишь тогда, когда существуют методы объективного измерения этого уровня [1]. Для проведения таких измерений необходимы надежные средства и методы, позволяющие обеспечить управление подготовкой специалиста и последующий контроль. В связи с этим основой построения автоматизированных систем тестирования (АСТ), которые в настоящее время широко используются при аттестации специалистов в различных областях профессиональной деятельности, в том числе и в области приборостроения, является метрологический подход.
В основу метрологического подхода положена система определения показателей уровня подготовки специалиста — грамотности, способности к профессиональной деятельности и профессиональной компетентности. Перечисленные критерии являются основными сертификационными показателями, которые могут быть формализованы и измерены.
Независимо от природы исследуемого процесса измерения должны проводиться в строгом соответствии с общим метрологическим стандартом [2]. Совокупность операций и правил, выполнение которых обеспечивает получение необходимых результатов измерений в соответствии с принятым методом, называется методикой измерений.
Общую методику измерений в АСТ можно представить шестью следующими основными действиями.
1. Определение объекта исследования (перечня исследуемых компетенций и их структурных элементов).
2. Уточнение совокупности исследуемых показателей, характеризующих данный объект.
3. Определение принципов и методов измерения, выбор средств измерений и необходимого оборудования.
4. Вычисление значений искомых величин, абсолютной и относительной погрешностей результата измерений.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5
Метрологическая основа построения автоматизированной системы тестирования
83
5. Проведение повторных контрольных измерений при отсутствии сходимости результатов.
6. Статистический и экспертный анализ результатов измерения, формирование экспертного заключения.
В соответствии с приведенной методикой формируется основанная на метрологическом подходе структура системы измерения уровня профессиональной грамотности, способности к профессиональной деятельности и профессиональной компетентности специалистов. Применение этой системы позволяет решить главные задачи любого измерения — обеспечить единство измерений, при котором их результаты выражаются в единой системе единиц, а погрешность результатов известна с заданной вероятностью.
Основным принципом измерения показателей является их зависимость от уровня подготовки специалиста. Чем выше уровень способностей специалиста в когнитивной и аффективной областях развития, тем выше уровень его профессиональной подготовки и выше результаты тестирования. Чем больше значения измеренных показателей, тем выше вероятность того, что испытуемый может эффективно осуществлять профессиональную деятельность в рамках компетенций, исследованных в процессе тестирования.
Основным методом измерений в автоматизированной системе тестирования является сравнение исследуемых показателей с мерой. Мера — это средство измерений, предназначенное для воспроизведения и (или) хранения измеряемого показателя, характеризуемого одним или несколькими заданными размерами, значения которых выражены в установленных единицах и известны с необходимой точностью. Меры создаются на основе Федерального госстандарта или квалификационных требований и служат эталонами для разработки тестов.
Тестирование (сравнение исследуемых показателей с мерой) предполагает одновременное измерение тестового балла и времени, затрачиваемого испытуемым на выполнение всех тестовых заданий (совместное измерение). Величина тестового балла испытуемого и время, затраченное им на выполнение заданий, не имеют явной взаимозависимости. Слабо подготовленный испытуемый может затрачивать меньшее время на выполнение теста, чем хорошо подготовленный испытуемый, и наоборот. На рис. 1 приведен пример графика прохождения теста тремя (1—3) испытуемыми (здесь N — число тестовых заданий).
N 123 10
5
0
300 600
900 t, с
Рис. 1
Анализ графика показывает, что десять заданий теста первый испытуемый выполнил
быстрее, чем второй и третий. Вместе с тем нельзя утверждать, что первый испытуемый об-
ладает наибольшей скоростью мышления, чем двое других: результат мыслительных опера-
ций, производимых испытуемым, достигается быстро, но может быть неверным.
Для определения различий между уровнями подготовки испытуемых необходимо оце-
нить качество выполнения тестовых заданий, например измерить такой показатель, как уро-
вень грамотности. В итоге может оказаться, что первый испытуемый за 300 с правильно
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5
84 С. А. Бояшова
выполнил только два задания из 10 предложенных, второй за 600 с — 5 заданий из 10, третий за 900 с — 9 заданий из 10. Отсюда следует, что скорость выполнения мыслительных операций, производимых правильно третьим испытуемым, выше, чем у первого и второго, и, следовательно, он обладает более высоким уровнем грамотности (рис. 2).
N
10 3
52
21
0
300 600
900 t, с
Рис. 2
При обработке данных и анализе результатов в АСТ используются методы математиче-
ской статистики: выборочный метод, корреляционный анализ, дисперсионный анализ. Ос-
новными характеристиками качества результата измерения являются точность и достовер-
ность. Достоверность результатов определяется качеством выбранных средств и методов из-
мерения, погрешности которых не превышают заданных границ с необходимой достоверно-
стью. На практике далеко не всегда удается разграничить систематические и случайные по-
грешности, хотя их природа различна. Особенно трудно выявить систематические погрешно-
сти; в связи с этим выделенные группы погрешностей в практике измерений исследуются раз-
дельно.
Рассмотренный метрологический подход к тестированию как в процессе подготовки
специалистов, так и при их аттестации может служить основой создания автоматизированной
системы оценки уровня подготовки специалистов, что позволит обеспечить объективность
измерений в педагогической практике.
СПИСОК ЛИТЕРАТУРЫ
1. Тюрин Н. И. Введение в метрологию. М.: Изд-во стандартов, 1976.
2. ГС. ГСИ. Метрология. Основные термины и определения. МИ 2247-93, СПб.: ВНИИМ им. Д. И. Менделеева, 1994.
Сведения об авторе Светлана Анатольевна Бояшова — канд. пед. наук; Санкт-Петербургский государственный университет
информационных технологий, механики и оптики; нач. отд. мониторинга; E-mail: boyashova@mail.ru
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5
УДК 378.14.015.62:658.52+5308+681.2
С. А. БОЯШОВА
МЕТРОЛОГИЧЕСКАЯ ОСНОВА ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ
Рассматривается метрологический подход к построению автоматизированной системы тестирования, разработанной в целях оценки уровня подготовки специалистов высшей школы.
Ключевые слова: профессиональная компетентность, автоматизированная система тестирования, система сертификации, системный подход, метрологический подход.
Известно, что всякое научное понятие имеет смысл, если его связывают с конкретными приемами наблюдения и определения. Объективное оценивание уровня подготовки специалистов возможно лишь тогда, когда существуют методы объективного измерения этого уровня [1]. Для проведения таких измерений необходимы надежные средства и методы, позволяющие обеспечить управление подготовкой специалиста и последующий контроль. В связи с этим основой построения автоматизированных систем тестирования (АСТ), которые в настоящее время широко используются при аттестации специалистов в различных областях профессиональной деятельности, в том числе и в области приборостроения, является метрологический подход.
В основу метрологического подхода положена система определения показателей уровня подготовки специалиста — грамотности, способности к профессиональной деятельности и профессиональной компетентности. Перечисленные критерии являются основными сертификационными показателями, которые могут быть формализованы и измерены.
Независимо от природы исследуемого процесса измерения должны проводиться в строгом соответствии с общим метрологическим стандартом [2]. Совокупность операций и правил, выполнение которых обеспечивает получение необходимых результатов измерений в соответствии с принятым методом, называется методикой измерений.
Общую методику измерений в АСТ можно представить шестью следующими основными действиями.
1. Определение объекта исследования (перечня исследуемых компетенций и их структурных элементов).
2. Уточнение совокупности исследуемых показателей, характеризующих данный объект.
3. Определение принципов и методов измерения, выбор средств измерений и необходимого оборудования.
4. Вычисление значений искомых величин, абсолютной и относительной погрешностей результата измерений.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5
Метрологическая основа построения автоматизированной системы тестирования
83
5. Проведение повторных контрольных измерений при отсутствии сходимости результатов.
6. Статистический и экспертный анализ результатов измерения, формирование экспертного заключения.
В соответствии с приведенной методикой формируется основанная на метрологическом подходе структура системы измерения уровня профессиональной грамотности, способности к профессиональной деятельности и профессиональной компетентности специалистов. Применение этой системы позволяет решить главные задачи любого измерения — обеспечить единство измерений, при котором их результаты выражаются в единой системе единиц, а погрешность результатов известна с заданной вероятностью.
Основным принципом измерения показателей является их зависимость от уровня подготовки специалиста. Чем выше уровень способностей специалиста в когнитивной и аффективной областях развития, тем выше уровень его профессиональной подготовки и выше результаты тестирования. Чем больше значения измеренных показателей, тем выше вероятность того, что испытуемый может эффективно осуществлять профессиональную деятельность в рамках компетенций, исследованных в процессе тестирования.
Основным методом измерений в автоматизированной системе тестирования является сравнение исследуемых показателей с мерой. Мера — это средство измерений, предназначенное для воспроизведения и (или) хранения измеряемого показателя, характеризуемого одним или несколькими заданными размерами, значения которых выражены в установленных единицах и известны с необходимой точностью. Меры создаются на основе Федерального госстандарта или квалификационных требований и служат эталонами для разработки тестов.
Тестирование (сравнение исследуемых показателей с мерой) предполагает одновременное измерение тестового балла и времени, затрачиваемого испытуемым на выполнение всех тестовых заданий (совместное измерение). Величина тестового балла испытуемого и время, затраченное им на выполнение заданий, не имеют явной взаимозависимости. Слабо подготовленный испытуемый может затрачивать меньшее время на выполнение теста, чем хорошо подготовленный испытуемый, и наоборот. На рис. 1 приведен пример графика прохождения теста тремя (1—3) испытуемыми (здесь N — число тестовых заданий).
N 123 10
5
0
300 600
900 t, с
Рис. 1
Анализ графика показывает, что десять заданий теста первый испытуемый выполнил
быстрее, чем второй и третий. Вместе с тем нельзя утверждать, что первый испытуемый об-
ладает наибольшей скоростью мышления, чем двое других: результат мыслительных опера-
ций, производимых испытуемым, достигается быстро, но может быть неверным.
Для определения различий между уровнями подготовки испытуемых необходимо оце-
нить качество выполнения тестовых заданий, например измерить такой показатель, как уро-
вень грамотности. В итоге может оказаться, что первый испытуемый за 300 с правильно
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5
84 С. А. Бояшова
выполнил только два задания из 10 предложенных, второй за 600 с — 5 заданий из 10, третий за 900 с — 9 заданий из 10. Отсюда следует, что скорость выполнения мыслительных операций, производимых правильно третьим испытуемым, выше, чем у первого и второго, и, следовательно, он обладает более высоким уровнем грамотности (рис. 2).
N
10 3
52
21
0
300 600
900 t, с
Рис. 2
При обработке данных и анализе результатов в АСТ используются методы математиче-
ской статистики: выборочный метод, корреляционный анализ, дисперсионный анализ. Ос-
новными характеристиками качества результата измерения являются точность и достовер-
ность. Достоверность результатов определяется качеством выбранных средств и методов из-
мерения, погрешности которых не превышают заданных границ с необходимой достоверно-
стью. На практике далеко не всегда удается разграничить систематические и случайные по-
грешности, хотя их природа различна. Особенно трудно выявить систематические погрешно-
сти; в связи с этим выделенные группы погрешностей в практике измерений исследуются раз-
дельно.
Рассмотренный метрологический подход к тестированию как в процессе подготовки
специалистов, так и при их аттестации может служить основой создания автоматизированной
системы оценки уровня подготовки специалистов, что позволит обеспечить объективность
измерений в педагогической практике.
СПИСОК ЛИТЕРАТУРЫ
1. Тюрин Н. И. Введение в метрологию. М.: Изд-во стандартов, 1976.
2. ГС. ГСИ. Метрология. Основные термины и определения. МИ 2247-93, СПб.: ВНИИМ им. Д. И. Менделеева, 1994.
Сведения об авторе Светлана Анатольевна Бояшова — канд. пед. наук; Санкт-Петербургский государственный университет
информационных технологий, механики и оптики; нач. отд. мониторинга; E-mail: boyashova@mail.ru
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5