Модель и методика оценки и анализа учебного курса в дистанционном образовании
Курганская Галина Сергеевна
Байкальский учебный комплекс
Иркутский государственный университет
г.Иркутск
e-mail: galina@buk.irk.ru
На основе структурного анализа конкретной системы дистанционного обучения и комплексного критерия качества предлагается методика комплексной оценки работы отдельного слушателя по некоторому курсу, сводная оценка по циклу дисциплин, качества учебных материалов, уровня преподавания конкретного курса, цикла, организации работы и некоторые другие показатели. В рамках методики можно проводить анализ, отслеживать динамику процесса Предлагаемая методика обеспечивает унифицированную технологию работы и позволяет разработать единые требования и критерии, что, безусловно, важно для дистанционного обучения.
1. Методика оценки сложных систем по комплексному критерию.
Под комплексным критерием понимается оцениваемая характеристика (свойство) системы, которая состоит из нескольких других, может быть тоже сложных характеристик. Таким образом, комплексный критерий может быть представлен как иерархическая структура (дерево), терминальными вершинами которого являются простые показатели, которые могут быть оценены количественно. Причем эта оценка может быть получена объективно, как результат измерения некоторой характеристики объекта или системы, так и от эксперта. Используя предложенный автором факт-потенциальный метод все оценки простых показателей нормируются к диапазону [0,1]. Все нетерминальные вершины размечаются функциями из класса средних для получения агрегированных оценок и, следовательно, также принадлежат диапазону [0,1].
Оцениваемая система в свою очередь предполагается сложной, имеющей в рамках нашей задачи иерархическую структуру. И соответственно, всем ее компонентам приписываются функции из класса средних, вычисляющие значение оценки по значениям оценок, ее составляющих.
Любая компонента системы может обладать как характеристикой верхнего уровня, так и более простыми свойствами. При этом если компонента обладает сложной характеристикой, то она обладает и всеми характеристиками нижних уровней. То есть наследование по дереву характеристики естественное, вниз по дереву. Если некоторая компонента обладает некоторым свойством, этим свойством обладают и все подсистемы, в которые она входит, т.е. наследование происходит вверх по дереву системы.
Таким образом, чтобы построить модель оценки конкретной системы по комплексному критерию необходимо приписать компонентам системы свойство из дерева характеристик. При этом свойства распространятся на другие компоненты по правилам наследования. В общем случае множество конкретных свойств системы является подмножеством декартового произведения дерева оценок.
Следует проверить на противоречивость полученную систему оценок. В случае выявления противоречий связи между "деревом" свойств и деревом структуры системы должны быть откорректированы. Избыточность системы оценок может быть сохранена, если она не приводит к противоречиям.
Полученное множество сопоставимых оценок позволяет провести анализ системы и ее составляющих по сложному критерию и/или его компонентам.
Предложенная методика, в частности, была применена к анализу модели дистанционного обучения.
Автором рассматриваются три подхода к формированию и описанию модели:
Каноническая модель.
Модель полностью строится по текущему состоянию системы, при этом полностью определяется структура системы и структура комплексного критерия для оценки системы и ее компонент.
Модель в соответствии с методикой наглядно представлена в виде двух деревьев:
дерево структуры S = {sij,k}, где i - номер вершины-родителя из предыдущего уровня, j - номер текущего уровня в дереве и k - номер текущей вершины в дереве (рис.1);
Рис.1. Структура исследуемой системы
дерево критериев и оценок P={pnm,l} с соответствующими индексами (рис.2).
Рис.2. Структура комплексного критерия системы
Множество оценок E в общем случае представляет собой некое отношение между S и P, т.е. EI S*P . Формирование этого отношение сводится к установлению связей между вершинами двух деревьев S и P (рис.3).
Разработчик модели сам задает структуру системы и критериев, размечает деревья, устанавливает связи, конечно в соответствующей программной среде - графически, выбирая из вариантов, и т.п., но модель у него уже должна быть в голове.
Полученная модель, разумеется, может уточняться и изменяться, -например, легко изменить агрегирующие функции (разметку узлов деревьев), связи между деревьями и даже структуру деревьев, но, на самом деле, мы как бы всякий раз строим новую модель.
Рис. 3. Связь критерия с системой
Case -модель
Модель, построенная на основе прецедентного анализа. Здесь подход следующий - модель естественно растет, как настоящее дерево. Пусть мы сначала описали некую конкретную ситуацию, например, оценку конкретной работы отдельного студента по определенным показателям. При этом автоматически строится зародыш модели, затем, при дальнейшей работе мы пополняем модель, вносим новые компоненты, принимаем во внимание другие свойства элементов, изменяем их значимость, устанавливаем иерархию, модифицируем связи. При этом система выполняет все необходимые обобщения, обеспечивая непротиворечивость и целостность модели. Таким образом, новая версия модели развивает предыдущую, при этом мы получаем семейство моделей.
Здесь наиболее подходящей средой для построения модели будет экспертная система. Общаясь с преподавателями, менеджерами, студентами, система накапливает знания и отображает текущее состояние базы знаний в реальной модели. При этом появление противоречие автоматически приводит к созданию альтернативных моделей.
Фрактальная модель.
Очевидно, что рассматриваемая модель имеет ярко выраженную фрактальную структуру. Используя это, представляется возможным описать модель по крупному, на верхнем уровне, задавая инварианты модели (коэффициент ветвления, класс функций разметки,:.), при этом система достраивает модель до требуемого уровня подробности, запрашивая необходимую конкретику.
При таком подходе мы можем выполнять анализ системы на любом уровне, в любом масштабе.
2. Оценка эффективности некоторого дистанционного курса.
В соответствие с методикой, предложенной выше, построим модель для комплексной оценки некоторого учебного курса дистанционного образования. Чтобы не загромождать изложение, мы рассмотрим каноническую модель комплексной оценки некоторого курса дистанционного обучения. Таким образом, построение модели сведется к описанию структуры учебного курса , структуры критерия эффективности, по которой мы будем оценивать этот курс. Исходя из анализа задач дистанционного образования [3] рассмотрим структуру обычного курса.
Для примера возьмем курс дистанционного образования, предлагаемый университетским колледжем Мерилендского университета (США). b>
2.1. Структура дистанционного курса .
Любой курс состоит из разделов, в некоторых представлен собственно учебный материал и литература, другие разделы обеспечивают двустороннюю связь учитель-ученик, консультации, семинары и обсуждения в группах, тестирование и экзамены; и конечно, есть оперативная помощь студенту, другая вспомогательная информация. Например, курс дистанционного образования, предлагаемый Мерилендским университетом (рис.4).
Рис. 4. Cтруктура учебного курса
2.1.1. Структура и содержание учебного материала.
Представление учебного материала менее всего формализовано в курсе. Его форма и содержание полностью определяется преподавателем. В зависимости от избранной им модели обучения он может представить, например, набор конкретных примеров (CASE STUDY), сопровождая их вопросами, заданиями, комментариями, обобщениями. Или это DECLARATION STUDY, где обучение идет аксиоматическим методом, и знания представляют граф общего вида. Задача студента - найти путь в этом лабиринте.
Глубина изложения материала, его структура, средства наглядного представления материала тоже никак не регламентируются. И, следовательно, трудно выработать формальные критерии качества содержания.
2.1.2. Средства взаимодействия: преподаватель-студент.
Сильной стороной курсов являются мощные средства взаимодействия студент- преподаватель и студент-студент. Такие семинары, организованные в форме конференций по отдельным темам, позволяют обсудить проблемы, поставленные преподавателем, а также проводить консультации по любым возникшим у студентов вопросам. Помимо общих семинаров возможно создание дискуссий в группах, где студенты, например, работают над одним проектом.
В курсе есть также возможность устраивать дискуссии в ре реальном времени, что позволяет, например, проводить контрольный опрос.
Домашние работы, переписка, тесты и экзамены составляют индивидуальную работу преподавателя со студентом.
2.1.3. Дополнительные средства
Все остальное мы отнесем к дополнительным курсам: помощь при работе с системой, объявления и т.п.
Все нетерминальные вершины дерева следует разметить агрегирующими функциями, которые могут быть любыми из класса средних, но мы будем брать только средневзвешенные или (уж совсем в тяжелых случаях) среднеарифметические.
2.2 . Структура критерия
Мы рассмотрим достаточно простой пример критерия, имеющего две стороны: оценки эксперта по содержанию и оформлению учебного материала и оценки студентов, окончивших этот курс.
2.2.1. Критерий эксперта (рис.5).
Предполагаем, что эксперт оценивает содержание и оформление курса по следующим показателям:
полнота учебного материала
структурированность
ясность и четкость изложения
степень наглядности
динамичность изложения
стимулирование самостоятельной работы студента
Для простоты будем считать, что все оценки эксперт дает по балльной шкале от 0 до 100.
Рис.5. Структура критерия эффективности учебного курса (эксперт)
2.2.2. Критерии студентов (рис.6).
Студенты оценивают качество курса и уровень преподавания по показателям, разбитым на 5 групп:
Рис.6 . Критерии студентов
Уровень преподавания
организованность
стимулирование интереса к предмету
соответствие уровня общения преподавателя уровню понимания студента
объективность оценок
полезность замечаний и отзывов
поддержка и помощь
доступность преподавателя
поддержка активности студентов
баланс составляющих курса (очных занятий, Web конференций, E-mail, :)
Содержание курса.
интеллектуальная привлекательность учебного материала
соответствие формата курса его содержанию
обоснованность загрузки студента
ясность заданий и их соответствие задачам курса
обоснованность и ясность требований
Описание курса
ясность целей и задач курса
понятность домашних заданий
обоснованность расписания
соответствие форм учебного материала учебному курсу
Формирование навыков
умение писать, излагать материал
компьютерная грамотность
научный и информационный поиск
широта взглядов
критического мышления
Общие оценки
удовлетворенность курсом
рекомендация курса другим студентам
рекомендация преподавателя другим студентам
Студенты дают свои оценки по пятибалльной системе. При этом может быть оценка 0, что значит "нет мнения", она не учитывается.
Все нетерминальные вершины дерева следует разметить агрегирующими функциями, которые могут быть любыми из класса средних, но мы будем брать только средневзвешенные или (уж совсем в тяжелых случаях) среднеарифметические.
2.3 . Получение класса сопоставимых оценок.
Рис.7. Оценка учебного материала экспертом
Теперь нам нужно установить связь между деревьями, на самом деле нужно навешать поддеревья критерия на корни дерева структуры курса. При этом, как уже отмечалось, наследственность у нас разная, по дереву структуры свойства по наследству передаются вверх, а если компонент курса обладает неким сложным свойством, то он обладает и всеми составляющими этого свойства, т.е. по дереву критерия наследственность передается вниз. Так по критерию эксперта оценивается только учебный материал (рис.7), а студенты оценивают курс полностью.
Полученное "кустистое" дерево позволяет нам вычислять оценки как для всего курса, так и для его составляющих. При этом входными данными для методики являются оценки студентов либо эксперта по терминальным вершинам "листьям куста ". В принципе оценки могут быть любые, но по методике они нормируются, например, мы сведем их к значениям из интервала [0,1]. Затем мы вычисляем оценки, последовательно двигаясь вверх по кусту. В некоторых случаях, из-за избыточности, оценки могут быть вычислены несколькими способами, но они должны совпадать, иначе наша модель - противоречива.
Таким образом, мы получили множество оценок, но сопоставимыми (т.е. те, которые есть смысл сравнивать), это всегда вершины только одного дерева.
Например, можно сравнивать активность студентов в разных конференциях (т.е. одно свойство для составляющих одной компоненты), либо разные свойства одного объекта.
3. Анализ курса по построенной модели.
3.1 Статический анализ.
Полученные классы сопоставимых оценок позволяют нам проводить анализ учебного курса, выявлять его слабые места, т.е. составляющие курса; и слабые стороны - т.е. отдельные свойства курса или его составляющих.
Результаты такого анализа особенно наглядно видно при использовании цветовой алгебры [1], где оценкам из разных не пересекающихся диапазонов, соответствуют разные цвета.
Причем, мы можем просматривать разные классы сопоставимых оценок.
3.2 Динамический анализ учебного курса.
Но предлагаемая методика позволяет проводить не только статический анализ системы, например, учебного курса, но и отслеживать динамику такой системы. Если мы имеем ряд оценок этой системы (курса) за некоторый период времени, мы уже можем
Смотреть динамику всей системы, либо отдельных ее составляющих, либо отдельных ее сторон.
Естественно, что и здесь для анализа разумнее использовать цветовое представление, причем предполагается не только просмотр ряда картинок, но и их "оживление".
Накопление архива, получение разных временных срезов, проекций разных сторон, несомненно, позволит нам лучше отслеживать состояние дел.
4. Заключение.
На наш взгляд, предложенная методика, хотя и не решает всех проблем контроля и управления, призвана существенно облегчить этот процесс, сделать его более объективным, понятным.
При этом естественно, сохраняется субъективность на нижних уровнях. Хорошо это или плохо - трудно сказать.
Сейчас проблема - разработка программного комплекса, реализующего эту методику, который войдет в состав программного обеспечения дистанционного образования БУК.
Принципиальная проблема - построение дерева (деревьев) критерия, весовые коэффициенты или, в общем случае, функции из класса средних.
Мы построили только каноническую модель для оценки эффективности курса и, если для построения CASE модели автор не видит принципиальных трудностей, то построение фрактальной модели требует тщательного теоретического исследования системы и критериев, выявления их инвариантов, и в настоящее время не видно путей решения этой проблемы.
ЛИТЕРАТУРА