Методы формирования оценок сложных систем по комплексному критерию в дистанционном образовании и их визуализация.
Курганская Галина Сергеевна
Байкальский учебный комплекс
Иркутский государственный университет
г.Иркутск
e-mail: galina@buk.irk.ru
Аннотация
На основе структурного анализа конкретной системы дистанционного обучения и комплексного критерия качества предлагается методика комплексной оценки дистанционного курса, качества учебных материалов, уровня преподавания конкретного курса. В рамках методики можно проводить анализ, отслеживать динамику процесса .
Под комплексным критерием понимается оцениваемая характеристика (свойство) системы, которая состоит из нескольких других, может быть тоже сложных характеристик. Таким образом, комплексный критерий может быть представлен как иерархическая структура (дерево) P = {pij,k}, где i - номер вершины-родителя из предыдущего уровня, j - номер текущего уровня в дереве и k - номер текущей вершины в дереве. Терминальными вершинами являются простые показатели, которые могут быть оценены количественно. Причем эта оценка может быть получена либо объективно, как результат измерения некоторой характеристики объекта или системы, либо от эксперта. Используя предложенный автором факт-потенциальный метод [2], все оценки простых показателей нормируются к диапазону [0,1]. Все нетерминальные вершины размечаются функциями из класса средних для получения агрегированных оценок и, следовательно, также принадлежат диапазону [0,1].
Оцениваемая система, в свою очередь, предполагается сложной, имеющей в рамках нашей задачи структуру дерева S={snm,l}. Всем нетерминальным узлам приписываются функции из класса средних, вычисляющие значение оценки по значениям оценок его составляющих.
Любой компонент системы может обладать как характеристикой верхнего уровня, так и более простыми показателями. При этом если компонент обладает сложной характеристикой pij,k, то он обладает и поддеревом свойств с корнем pij,k, то есть наследование естественное, вниз по дереву критерия. Если некоторый компонент snm,l системы S обладает некоторым свойством pij,k, этим свойством обладают и все подсистемы верхнего уровня, в которые он входит, т.е. наследование происходит вверх по дереву системы S.
Таким образом, чтобы построить модель оценки конкретной системы по комплексному критерию, осталось приписать компонентам системы свойства из дерева критерия. При этом свойства распространяются на другие компоненты по правилам наследования. В общем случае множество конкретных свойств системы является подмножеством декартового произведения множеств S и Р. Среди них нас будут интересовать только классы сопоставимых оценок - это либо оценки всех свойств одного компонента, либо оценки одного свойства всех компонентов некоторого узла исследуемой системы.
Полученное множество сопоставимых оценок позволяет провести анализ системы и ее составляющих по сложному критерию и/или его компонентам. Теоретическое обоснование методики приведено в [2].
Предложенная методика, в частности, была применена к анализу курсов дистанционного обучения. В целом построение модели для комплексной оценки и анализа некоторого учебного курса дистанционного образования состоит из следующих этапов:
описание структуры учебного курса S;
описание структуры критерия эффективности P, по которому мы будем оценивать этот курс;
разметка узлов деревьев оценочными функциями;
установлению соответствия между S и P.
Структура дистанционного курса
Дистанционный курс обычно состоит из нескольких функциональных разделов [3]. На верхнем уровне системы мы выделим три основные компоненты учебного курса: учебный материал, индивидуальная и групповая работа студентов, и организация обучения (рис.1).
Учебный материал
Представление учебного материала менее всего формализовано в курсе, хотя, конечно, в нем должен быть приведен список литературы или других альтернативных источников. Содержание и форма учебного материала полностью определяется преподавателем. В зависимости от избранной им модели обучения он может представить, например, набор конкретных примеров (CASE STUDY), на основании которых студент должен сам построить некоторую гипотезу, модель или теорию. Другая модель (DECLARATION STUDY) предполагает последовательное изложение теории, а примеры служат лишь иллюстрациями теоретических положений.
Реально учебный материал конкретных курсов представляет обычно синтез этих двух подходов. Глубина изложения материала, его структура, средства наглядного представления в общем случае не регламентируются. Поэтому трудно выработать формальные критерии качества содержания, следовательно, на первом этапе это могут быть оценки эксперта.
Индивидуальная и групповая работа студентов
Существенным компонентом дистанционного курса должны быть средства взаимодействия студент - преподаватель и студент -студент. Например, семинары, организованные в форме конференций по отдельным темам, позволяют обсудить проблемы, поставленные преподавателем, а также проводить консультации по любым возникшим у студентов вопросам. Помимо общих семинаров возможно создание дискуссий в группах, где студенты, например, работают над одним проектом.
Обычно в курсе предполагается возможность устраивать дискуссии в реальном времени, что позволяет, например, проводить контрольный опрос.
Домашние работы, переписка, тесты и экзамены составляют индивидуальную работу преподавателя со студентом.
Организация обучения
Описание курса, справочные материалы, списки, помощь при работе с системой, объявления и т.п. мы отнесем к организующей составляющей курса.
Очевидно, что приведенная структура курса может быть принята только в первом приближении. Более детальная структуризация курса существенно зависит от конкретного курса, от целей анализа и оценки курса. Более того, используемая технология формирования дистанционного курса, подготовки учебного материала во многом, а иногда и полностью, определяет структуру курса. Поэтому при создании такой технологии или при выборе таковой не следует упускать из виду аспекты последующего анализа и формализованной оценки курса.
В нашем примере для формирования агрегированных оценок все нетерминальные вершины дерева структуры курса размечаем средневзвешенными функциями, весовые коэффициенты которых задаются экспертом.
Структура критерия
Мы рассмотрим достаточно простой пример критерия, который строится на основе мнения эксперта по содержанию и оформлению учебного материала и оценок студентов, окончивших этот курс (рис.1).
Предполагаем, что эксперт оценивает содержание и оформление курса по следующим показателям:
полнота учебного материала;
структурированность;
ясность и четкость изложения;
степень наглядности;
динамичность изложения;
стимулирование самостоятельной работы студента.
Для простоты будем считать, что все оценки эксперт дает по балльной шкале от 0 до 100.
Студенты оценивают качество курса и уровень преподавания по показателям, разбитым на 3 группы:
1. Уровень преподавания
организованность;
стимулирование интереса к предмету;
поддержка активности студентов;
объективность оценок;
полезность замечаний и отзывов;
поддержка и помощь;
доступность преподавателя;
сбалансированность курса.
2. Организация курса
ясность целей и задач курса;
обоснованность и ясность требований;
обоснованность загрузки студента;
понятность домашних заданий;
обоснованность графика работ.
3. Формирование навыков
компьютерная грамотность;
научный и информационный поиск;
аналитический подход.
Студенты дают свои оценки по пятибалльной системе; при этом может быть оценка 0, что значит "нет мнения"; она не учитывается.
Для разметки нетерминальных вершин здесь также используются средневзвешенные функции, весовые коэффициенты для конкретного курса задаются экспертом. Оценки студентов нормируются.
Получение класса сопоставимых оценок.
Теперь нам нужно установить соответствие между комплексным критерием и структурой курса. Для этого следует приписать отдельным компонентам курса соответствующие поддеревья критерия. В соответствии с правилами наследования, если некий компонент курса обладает определенным свойством, то этим свойством будут обладать и все его предки по дереву структуры курса, а если компонент курса обладает неким сложным свойством, то он обладает и всеми составляющими этого свойства. Так, хотя эксперт оценивает только учебный материал, оценка эксперта может быть вычислена в системе и для курса в целом. Студенты оценивают курс как полностью, так и отдельные составляющие. Пример отношения между S и P можно видеть на рис.1.
В программной системе формирования дистанционного курса мы строим такую модель графически, обычно корректируя и размечая именами составляющих и весовыми коэффициентами предложенные типовые структуры. Соответствие устанавливается простым "развешиванием" поддеревьев критерия на вершины дерева структуры курса методом "drag and drop". На этом этапе проверяется полнота - все оценки могут быть вычислены, и непротиворечивость - если оценка может быть вычислена несколькими способами, то результаты должны совпадать [2].
На основе полученной модели автоматически строится реляционная база данных, в которой и выполня.тся все расчеты. Полученное соответствие позволяет нам вычислять оценки как для всего курса, так и для его составляющих. При этом входными данными для методики являются оценки студентов либо эксперта по терминальным вершинам. Эксперт может поставить свои оценки, размечая соответствующие узлы в модели, а студенты заполняют анкеты по окончанию курса, откуда оценки после обработки помещаются в базу данных модели.
Таким образом, мы получили множество оценок, но сопоставимыми, т.е. такими, которые есть смысл сравнивать, будут узлы - "сыновья" любого узла одного из деревьев - структуры или критерия. Например, можно сравнивать поддержку активности студентов в семинарах и групповых проектах (т.е. одно свойство для разных составляющих одной компоненты курса), либо степень полезности замечаний и уровень поддержки и помощи для одного семинара (разные свойства одного объекта). Классы сопоставимых оценок формируются в модели автоматически.
Анализ курса по построенной модели
Полученные классы сопоставимых оценок позволяют нам проводить анализ учебного курса, выявлять его сильные и слабые компоненты; а также сильные и слабые стороны курса - т.е. отдельные свойства курса или его составляющих.
Результаты такого анализа особенно наглядно видно при использовании цветовой алгебры [1]. Раскраска узлов графа соответствия S и P позволяет просматривать разные классы сопоставимых оценок, выбирая их исходя из задачи анализа.
Интересным представляется вариант, когда оценки эксперт и студенты выставляют, окрашивая из предложенного спектра терминальные узлы дерева оценок. Цвета, смешиваясь в соответствии с агрегирующими функциями, распространяются к корню дерева оценок. Этот механизм также полезен при подборе агрегирующих функций или весовых коэффициентов в процессе построения модели.
Но предлагаемая методика позволяет проводить не только статический анализ курса, но и отслеживать динамику его функционирования. Если мы имеем ряд оценок каких-то компонентов или всего курса за некоторый период времени, мы уже можем анализировать динамику его состояния в целом, либо отдельных его составляющих, либо отдельных его сторон, свойств.
Естественно, что и здесь для анализа разумнее использовать цветовое представление, причем здесь уже картинки "живые", и мы можем задавать параметры, такие как период анализа, скорость, точки останова и т.п.
Накопление архива оценок разных курсов, получение разных временных срезов, проекций разных сторон, несомненно, позволит нам лучше отслеживать состояние дел в дистанционном обучении.
На наш взгляд предложенная методика призвана существенно облегчить оценку, мониторинг и анализ деятельности некоторой сложной системы, например, учебного курса или программы, сделать этот процесс более объективным, понятным, хотя при этом, естественно, сохраняется субъективность при формировании модели. Предлагаемая методика используется для оценки и анализа дистанционных курсов в Байкальском учебном комплексе и в составе ПО сервера дистанционного образования дорабатывается ее программная реализация.
Список литературы