Например, Бобцов

МЕТРОЛОГИЧЕСКАЯ ОСНОВА ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ

КРАТКИЕ СООБЩЕНИЯ
УДК 378.14.015.62:658.52+5308+681.2
С. А. БОЯШОВА
МЕТРОЛОГИЧЕСКАЯ ОСНОВА ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ
Рассматривается метрологический подход к построению автоматизированной системы тестирования, разработанной в целях оценки уровня подготовки специалистов высшей школы.
Ключевые слова: профессиональная компетентность, автоматизированная система тестирования, система сертификации, системный подход, метрологический подход.
Известно, что всякое научное понятие имеет смысл, если его связывают с конкретными приемами наблюдения и определения. Объективное оценивание уровня подготовки специалистов возможно лишь тогда, когда существуют методы объективного измерения этого уровня [1]. Для проведения таких измерений необходимы надежные средства и методы, позволяющие обеспечить управление подготовкой специалиста и последующий контроль. В связи с этим основой построения автоматизированных систем тестирования (АСТ), которые в настоящее время широко используются при аттестации специалистов в различных областях профессиональной деятельности, в том числе и в области приборостроения, является метрологический подход.
В основу метрологического подхода положена система определения показателей уровня подготовки специалиста — грамотности, способности к профессиональной деятельности и профессиональной компетентности. Перечисленные критерии являются основными сертификационными показателями, которые могут быть формализованы и измерены.
Независимо от природы исследуемого процесса измерения должны проводиться в строгом соответствии с общим метрологическим стандартом [2]. Совокупность операций и правил, выполнение которых обеспечивает получение необходимых результатов измерений в соответствии с принятым методом, называется методикой измерений.
Общую методику измерений в АСТ можно представить шестью следующими основными действиями.
1. Определение объекта исследования (перечня исследуемых компетенций и их структурных элементов).
2. Уточнение совокупности исследуемых показателей, характеризующих данный объект.
3. Определение принципов и методов измерения, выбор средств измерений и необходимого оборудования.
4. Вычисление значений искомых величин, абсолютной и относительной погрешностей результата измерений.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5

Метрологическая основа построения автоматизированной системы тестирования

83

5. Проведение повторных контрольных измерений при отсутствии сходимости результатов.
6. Статистический и экспертный анализ результатов измерения, формирование экспертного заключения.
В соответствии с приведенной методикой формируется основанная на метрологическом подходе структура системы измерения уровня профессиональной грамотности, способности к профессиональной деятельности и профессиональной компетентности специалистов. Применение этой системы позволяет решить главные задачи любого измерения — обеспечить единство измерений, при котором их результаты выражаются в единой системе единиц, а погрешность результатов известна с заданной вероятностью.
Основным принципом измерения показателей является их зависимость от уровня подготовки специалиста. Чем выше уровень способностей специалиста в когнитивной и аффективной областях развития, тем выше уровень его профессиональной подготовки и выше результаты тестирования. Чем больше значения измеренных показателей, тем выше вероятность того, что испытуемый может эффективно осуществлять профессиональную деятельность в рамках компетенций, исследованных в процессе тестирования.
Основным методом измерений в автоматизированной системе тестирования является сравнение исследуемых показателей с мерой. Мера — это средство измерений, предназначенное для воспроизведения и (или) хранения измеряемого показателя, характеризуемого одним или несколькими заданными размерами, значения которых выражены в установленных единицах и известны с необходимой точностью. Меры создаются на основе Федерального госстандарта или квалификационных требований и служат эталонами для разработки тестов.
Тестирование (сравнение исследуемых показателей с мерой) предполагает одновременное измерение тестового балла и времени, затрачиваемого испытуемым на выполнение всех тестовых заданий (совместное измерение). Величина тестового балла испытуемого и время, затраченное им на выполнение заданий, не имеют явной взаимозависимости. Слабо подготовленный испытуемый может затрачивать меньшее время на выполнение теста, чем хорошо подготовленный испытуемый, и наоборот. На рис. 1 приведен пример графика прохождения теста тремя (1—3) испытуемыми (здесь N — число тестовых заданий).

N 123 10

5

0

300 600

900 t, с

Рис. 1
Анализ графика показывает, что десять заданий теста первый испытуемый выполнил

быстрее, чем второй и третий. Вместе с тем нельзя утверждать, что первый испытуемый об-

ладает наибольшей скоростью мышления, чем двое других: результат мыслительных опера-

ций, производимых испытуемым, достигается быстро, но может быть неверным.

Для определения различий между уровнями подготовки испытуемых необходимо оце-

нить качество выполнения тестовых заданий, например измерить такой показатель, как уро-

вень грамотности. В итоге может оказаться, что первый испытуемый за 300 с правильно

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5

84 С. А. Бояшова
выполнил только два задания из 10 предложенных, второй за 600 с — 5 заданий из 10, третий за 900 с — 9 заданий из 10. Отсюда следует, что скорость выполнения мыслительных операций, производимых правильно третьим испытуемым, выше, чем у первого и второго, и, следовательно, он обладает более высоким уровнем грамотности (рис. 2).
N
10 3

52

21

0

300 600

900 t, с

Рис. 2
При обработке данных и анализе результатов в АСТ используются методы математиче-

ской статистики: выборочный метод, корреляционный анализ, дисперсионный анализ. Ос-

новными характеристиками качества результата измерения являются точность и достовер-

ность. Достоверность результатов определяется качеством выбранных средств и методов из-

мерения, погрешности которых не превышают заданных границ с необходимой достоверно-

стью. На практике далеко не всегда удается разграничить систематические и случайные по-

грешности, хотя их природа различна. Особенно трудно выявить систематические погрешно-

сти; в связи с этим выделенные группы погрешностей в практике измерений исследуются раз-

дельно.

Рассмотренный метрологический подход к тестированию как в процессе подготовки

специалистов, так и при их аттестации может служить основой создания автоматизированной

системы оценки уровня подготовки специалистов, что позволит обеспечить объективность

измерений в педагогической практике.

СПИСОК ЛИТЕРАТУРЫ
1. Тюрин Н. И. Введение в метрологию. М.: Изд-во стандартов, 1976.
2. ГС. ГСИ. Метрология. Основные термины и определения. МИ 2247-93, СПб.: ВНИИМ им. Д. И. Менделеева, 1994.
Сведения об авторе Светлана Анатольевна Бояшова — канд. пед. наук; Санкт-Петербургский государственный университет
информационных технологий, механики и оптики; нач. отд. мониторинга; E-mail: boyashova@mail.ru

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 5