Статья 'К вопросу об оценке сформированности компетенций обучающихся при проведении промежуточных и итоговой аттестации' - журнал 'Современное образование' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > О журнале > Требования к статьям > Редколлегия > Порядок рецензирования статей > Политика издания > Ретракция статей > Этические принципы > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала

ГЛАВНАЯ > Вернуться к содержанию
Современное образование
Правильная ссылка на статью:

К вопросу об оценке сформированности компетенций обучающихся при проведении промежуточных и итоговой аттестации

Литвинов Владимир Андреевич

кандидат физико-математических наук

доцент Барнаульского юридического института МВД России

656038, Россия, Алтайский край, г. Барнаул, ул. Чкалова, 49

Litvinov Vladimir Andreevich

PhD in Physics and Mathematics

Docent, the department of Informatics and Special Technology, Barnaul Law Institute of the Ministry of Internal Affairs of Russia

656038, Russia, Altaiskii krai, g. Barnaul, ul. Chkalova, 49

lva201011@yandex.ru
Другие публикации этого автора
 

 

DOI:

10.25136/2409-8736.2019.1.25638

Дата направления статьи в редакцию:

06-03-2018


Дата публикации:

01-04-2019


Аннотация: Объектом исследования работы являются методы оценки сформированности компетенций обучающихся. Предметом исследования являются корреляционные связи между результатами промежуточных и итоговых аттестаций обучающихся. Автором сделан обзор существующих методик оценки уровня сформированности компетенций в процессе освоения обучающимися основной образовательной программы. На примере более двух сот обучающихся по специальности "Правоохранительная деятельность" в работе подробно проанализированы корреляционные связи результатов аттестации по отдельным предметам и итоговые оценки, полученные обучающимися на государственных экзаменах и за выпускную квалификационную работу. Методом исследования является применение системного и сравнительного статистического анализа результатов промежуточных и итоговых аттестаций обучающихся за весь период обучения в образовательной организации. Сделан вывод о сильной корреляции большинства оценок уровня сформированности компетенций, получаемых по результатам промежуточных аттестаций на основе традиционных матриц компетенций, что свидетельствует об уменьшении информативности по сравнению с результатами семестровых экзаменов. Предложено проводить оценку уровня сформированности компетенций в основном по результатам защиты курсовых работ и государственной аттестации.


Ключевые слова:

компетенции, компетентностный подход, уровень сформированности компетенций, корреляционный анализ, промежуточная аттестация, итоговая аттестация, матрица компетенций, методика оценки компетенций, рейтинговая система, профессиональные стандарты

Abstract: The object of this research is the assessment methods of the formation of students’ competencies. The subject of this research is the correlation between the results of intermediate and final certification of students. The author examines the existing assessment techniques of the level of students’ competences in the process of mastering the curriculum. Based on the example of 200 students in the field “Law Enforcement Activity”, the author meticulously analyzes the correlation between the certification results in certain disciplines and final grades received by the students for state examinations and graduation thesis. The research method is the application of systemic and comparative statistical analysis of the results of intermediate and final certification of students throughout the entire period in the educational facility. The conclusion is made on strong correlation between the majority of assessments of the level of students’ competencies, acquired based on the results of intermediate certification using the traditional competency matrices, which decreases the information value comparing to the results of terminal examinations. It is suggested assessing the level of students’ competencies based on the term papers and state final examination.


Keywords:

competence, competence approach, level of competence formation, correlation analysis, intermediate certification, final certification, competency matrix, competency assessment methodology, rating system, professional standards

Введение. Образовательные организации высшего профессионального образования с сентября 2018 года переходят к обучению по новым редакциям актуализированных федеральных государственных образовательных стандартов (ФГОС3++). Принципиальным отличием стандартов третьего поколения от предшествующих является формулировка компетентностного подхода к результатам освоения образовательной программы. Новая редакция ФГОС3++ актуализирует данный подход применительно к профессиональным стандартам. Таким образом, уровень сформированности определенного набора компетенций у выпускника образовательной организации является главным критерием качества подготовки специалистов. Образовательными организациями уже проведено по два выпуска лиц, освоивших образовательные программы, соответствующие ФГОС третьего поколения. Имеется множество научных публикаций, посвященных оценке компетенций обучающихся, которые можно разделить на несколько групп.

Во-первых, серия работ посвящена разработке оценочных средств и методике оценки уровня сформированности отдельных компетенций [1-5]. Ко второй группе можно отнести работы, в которых строятся математические модели оценки сформированности компетенций на основе традиционных результатов текущего контроля и промежуточных и итоговых аттестаций [7-11]. При этом ряд авторов [1,12,13] отмечают, что адекватная оценка уровня сформированности компетенций требует помещения оцениваемого в реальную среду его профессиональной деятельности. То есть оценки, строящиеся на основе результатов освоения образовательных программ, являются в большей степени оценками потенциальных возможностей выпускника образовательной организации. Признавая обоснованность аргументов этих авторов, отметим, что адекватная оценка потенциальных способностей выпускника несет в себе полезную информацию и для работодателей и для учредителей образовательных организаций.

К сожалению, приходится констатировать, что в настоящее время отсутствуют устоявшиеся общепризнанные методики оценки уровня сформированности компетенций обучающихся. По мнению авторов работы [1] одной из причин такого состояния является отсутствие единого взгляда на сущность компетентностного подхода. Соглашаясь с этим утверждением, отметим, что многие, заслуживающие внимания методики оценки уровня сформированности компетенций, являются трудоемкими и не находят широкого применения при существующей системе организации промежуточных и итоговых аттестаций.

Целью настоящей работы был анализ информативности оценок уровня сформированности компетенций и результатов промежуточных аттестаций обучающихся, а также выявления корреляционных связей и возможности использования этих результатов для оценки уровня сформированности компетенций обучающихся в образовательных организациях высшего образования.

Оценка компетенций по результатам промежуточных аттестаций

Большинство методик и алгоритмов оценки сформированности компетенций по результатам промежуточных и итоговой аттестации базируется на использовании матриц компетенций. Простейшая матрица компетенций устанавливает перечень дисциплин, при изучении которых формируется каждая компетенция. Использование же такой матрицы для получения итоговых оценок компетенций может быть различным. Простейшим является усреднение оценок по промежуточным аттестациям предметов, формирующих конкретную компетенцию. Но даже при применении такого тривиального подхода возникает трудность учета результатов освоения дисциплин, изучение которых заканчивается сдачей недифференцированного зачета.

Простое усреднение результатов промежуточных аттестаций неявно предполагает равную значимость знаний, умений и навыков, формируемых при изучении каждого предмета на итоговый уровень сформированности компетенций, что, вероятно, не соответствует действительности. По-видимому, некоторые компетенции в большей мере формируются при изучении некоторого малого набора предметов. Возникает вопрос об оценки роли отдельных предметов при формировании выбранной компетенции [7]. В работе [8] предложено учитывать роль отдельных предметов с весом, пропорциональным объему дисциплины по учебному плану. Дополнительно предлагается дважды оценивать результаты освоения дисциплины. Первая оценка берется из результатов промежуточной аттестации (семестровые экзамены), а к ней добавляется оценка остаточных знаний по предмету, полученная в конце обучения. Ряд авторов [10] предлагают использовать рейтинговые оценки результатов освоения учебных дисциплин в совокупности с матрицами компетенций, что, по их мнению, позволяет более точно учитывать вклад отдельных дисциплин в уровень сформированности компетенций.

Принципиально отличается от традиционных метод, предложенный в работе [14]. Первоначальной при построении оценки по предмету является оценка сформированности той или иной способности, определяющей компетенции обучающегося. Для каждой дисциплины формулируются формируемые способности (элементы компетенций). Каждой способности присваивается весовой коэффициент, который определяет вклад способности в итоговую оценку по предмету. На первый взгляд такая методика полностью соответствует компетентностному подходу к оценке результатов образовательного процесса, но остается открытым вопрос об относительном вкладе отдельных предметов.

Без привязки к конкретной специальности можно утверждать, что матрицы компетенций по дисциплинам учебных планов существенно неоднородны. В качестве примера рассмотрим матрицу компетенций основной образовательной программы по специальности 40.05.02 Правоохранительная деятельность, реализованную в Барнаульском юридическом институте МВД России в 2012–2017 годах. Отметим при этом, что рассматриваемая матрица компетенций построена в соответствии с рекомендациями примерных учебных программ дисциплин, что обуславливает её системный характер.

Рассмотрим, например, элементы матрицы компетенций для ОК-12: «способность работать с различными информационными ресурсами и технологиями, применять основные методы, способы и средства получения, хранения, поиска, систематизации, обработки и передачи информации». В упомянутой выше образовательной программе предполагается учитывать для данной компетенции результаты изучения пятнадцати предметов и одной практики. При этом изучение шести предметов заканчивается экзаменом. Если наличие в матрице компетенций для ОК-12 предмета «Информатика и информационные технологии в профессиональной деятельности» не вызывает сомнений, то наличие для данной компетенции предметов: иностранный язык, философия, психология и отсутствие предметов: криминалистика, криминология, делопроизводство и режим секретности, преддипломная практика, учения — по меньшей мере вызывает вопросы к статистической обоснованности итоговой оценки сформированности ОК-12.

Представляется, что в базовой дисциплине изучается инструментарий работы с источниками информации и самими данными, а приемы применения этих инструментов на практике, что отражает соответствующую компетентность специалиста, как раз рассматриваются в таких дисциплинах, как криминология, делопроизводство и режим секретности, криминалистика и т.д. Не лучшим образом обстоят дела и с элементами матрицы для других компетенций.

Количество предметов, влияющих на формирование отдельных компетенций, варьируется от одного (ОК-11 — иностранный язык) до 33–34 (ОПК-1, ПК-2). При этом максимальное количество предметов для одной компетенции, изучение которых заканчивается экзаменом, равняется 12 (ОПК-2, ПК-2, ПК-8). Обратимся к содержанию данных компетенций.

ПК-2: способность принимать решения и совершать юридические действия в точном соответствии с законодательством Российской Федерации, юридически правильно квалифицировать факты, события и обстоятельства;

ПК-8: способность соблюдать и защищать права и свободы человека и гражданина;

ОПК-1: способность использовать знания основных понятий, категорий, институтов, правовых статусов субъектов, правоотношений, применительно к отдельным отраслям юридических наук;

ОПК-2: способность реализовывать нормы материального и процессуального права, законодательство Российской Федерации, общепризнанные принципы и нормы международного права в профессиональной деятельности.

Из формулировок приведенных выше компетенций становится понятным, что соответствующие способности формируются на основе изучения большинства предметов образовательной программы. Но в практической деятельности выпускника, скорее всего, будут востребованы знания из более узкого перечня дисциплин. Представляется целесообразным при ориентации на профессиональные стандарты, что предполагает ФГОС3++, увеличить весовой вклад в оценку уровня сформированности компетенций отдельных дисциплин в зависимости от специализации (профилизации) обучающихся.

Таким образом, представляется, что наиболее адекватные оценки сформированности отдельных компетенций можно получить на основе численных данных таких оценок в каждом предмете и усреднения их с учетом весовых коэффициентов предметов для каждой компетенции и профиля обучающегося. Конечно, введение весовых коэффициентов требует серьезного исследования, включающего сравнение результатов промежуточных аттестаций и оценки начального периода трудовой деятельности выпускника, что при существующей практики организации учебного процесса представляется нереализуемым. Каким же образом следует трактовать получаемые традиционные оценки промежуточной и итоговых аттестаций?

Корреляционный анализ результатов промежуточных и итоговых аттестаций

Во-первых, выясним, насколько изменяются результаты оценки сформированности компетенций при введении весовых коэффициентов, пропорциональных объему часов учебных дисциплин. Первоначально были проведены расчеты по отметкам 103 обучающихся одного курса. Выяснилось, что только 0,4% оценок изменятся более чем на 0,5. Для повышения статистической обеспеченности результата был проведен дополнительный расчет с привлечением оценок 110 обучающихся другого курса. В результате из общего числа 213 обучающихся только 0,5% оценок уровня сформированности компетенций изменились более чем на 0,5. Если оценку уровня освоения компетенций проводить на основе семестровых экзаменов по трёхбалльной шкале (пороговый, базовый, продвинутый), то в результате округления граничных средних (3,5 и 4,5) изменилось 13% оценок. Но при этом следует иметь в виду, что исходные данные трёхбалльной шкалы подвержены субъективному фактору, присутствующему при выставлении экзаменационной оценки. Для уменьшения влияния субъективного фактора ряд авторов предлагают использовать рейтинговые системы промежуточных аттестаций [10,14].

Здесь мы не рассматриваем случай, когда работодателю предъявляются данные по компетенциям по каждому предмету. Такой объем данных из полутысячи чисел не пригоден для восприятия без предварительной статистической обработки.

Далее проанализируем связи между результатами текущих и итоговых аттестаций. В таблице ниже приведены расчеты коэффициентов корреляции между средним баллом промежуточных аттестаций, оценкам на ГИА и за ВКР, а также средним баллом по всем курсовым работам.

Таблица 1. Коэффициенты корреляции итогов аттестации

Семестровые экзамены

ГИА

ВКР

Курсовые работы

Семестровые экзамены

1

0,63

0,74

0,88

ГИА

0,63

1

0,57

0,62

ВКР

0,74

0,57

1

0,77

Курсовые работы

0,88

0,62

0,77

1

Адм. деятельность полиции

0,72

0,60

0,63

0,67

Коэффициент корреляции близкий к единице показывает наличие линейной связи между рассматриваемыми величинами. На основе анализа данных таблицы 1 можно сделать вывод о наличии такой связи между средней оценкой за курсовые работы и средним баллом по семестровым экзаменам. Следующим по уровню линейной связи является пара курсовые работы –ВКР — коэффициент корреляции 0,77. Остальные связи являются слабовыраженными. При этом трудно объяснимой, на первый взгляд, является практически слабая связь между семестровой оценкой по дисциплине административная деятельность полиции и результатами государственной аттестации по данному же предмету. Из 213 аттестуемых только 106 подтвердили свою семестровую оценку, 56 обучающихся получили оценку на балл меньше, 35 — на балл выше, 9 — на два балла ниже, 7 — на два балла выше. Данные результаты показывают, что оценка сформированности компетенций по результатам промежуточной аттестации по конкретному предмету носит условный характер. Слабо коррелируют также результаты защиты ВКР и ГИА, коэффициент корреляции — 0,57.

В то же время наибольшая корреляция результатов ГИА и ВКР наблюдается со средней оценкой по всем семестровым экзаменам. Вероятно, именно усредненная оценка по семестровым экзаменам отражает те знания, умения и способности (компетенции), которые потребовалось продемонстрировать обучающимся при подготовке ВКР. Похожий характер деятельности при написании курсовых работ и ВКР также находит свое отражение в повышенном коэффициенте корреляции этих оценок.

В соответствие с ФГОС у обучаемых в процессе освоения основной образовательной программы формируется более сорока оцениваемых компетенций. Примерно такое же количество оценок они получают за семестровые экзамены. Возникает вопрос: «Какая совокупность данных более информативна?». Процедура получения оценок сформированности компетенций основана на усреднении оценок по предметам. Очевидно, что такие данные будут менее информативны, чем исходные. Сравнение среднеквадратичных отклонений оценок за семестровые экзамены и уровней компетенций показывает, что в среднем разброс оценок компетенций в 1,5 раза меньше, чем разброс оценок по предметам.

Другой величиной, характеризующей степень информативности набора оценок уровней сформированности компетенций, являются коэффициенты корреляции между различными оценками. Для проведения корреляционного анализа были выбраны компетенции, оцениваемые не менее чем по четырем предметам. Из 528 коэффициентов только 23 имеют значения менее 0,75. Значение коэффициента корреляции более 0,85 у 383 пар компетенций. То есть большинство компетенций обучающихся имеют зависимые оценки. В то же время явно выделяется слабая корреляция ОК-2, ОК-10, ОК-12 и ПК-5 с другими компетенциями. При этом ПК-5 определяется способностью квалифицированно трактовать нормативно-правовые акты.

Если сравнить коэффициенты корреляции между оценками по предметам, то мы получим противоположный результат. Только 6 пар предметов имеют коэффициент корреляции оценок более 0,75 и 32 пары имеют коэффициенты корреляции более 0,65. Данный результат свидетельствует о том, что оценки по предметам более информативны, чем построенные на их основе оценки уровней сформированности компетенций, так как они менее зависимы.

Дополнительный анализ оценок выпускников 78 выпускников, обучавшихся по специальности 40.05.01 Правовое обеспечение национальной безопасности, подтверждает сделанный выше вывод.

Следует отметить, что авторами работы [5] сделан вывод: «отсутствует корреляционная связь между положительными оценками конкретных профессиональных компетенций и степенью участия всего набора дисциплин в формировании компетенций».

Приведенные выше результаты показывают, что интегральные оценки уровней сформированности компетенций, получаемые на основе итогов промежуточных аттестаций, менее информативны, чем сами итоги промежуточных аттестаций. Для реализации компетентностного подхода более приемлемым представляется использовать усовершенствованный метод взвешенных оценок, предложенный в работе [9]. Но его применение потребует изменения все учетной системы промежуточных аттестаций. Более приемлемым представляется проводить оценку уровня сформированности компетенций только по результатам практик, курсовых работ и ВКР. При этом курсовые работы должны носить междисиплинарный характер. Используемые индикаторы при оценке данных видов деятельности обучающихся должны быть увязаны с профессиональными стандартами, как это требуют ФГОС3++.

Библиография
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Рецензия на статью «К вопросу об оценке сформированности компетенций обучающихся при проведении промежуточных и итоговой аттестации»
Предмет исследования - корреляционные связи между результатами промежуточных и итоговых аттестаций обучающихся.
Методология исследования – это основные статистические методы оценки, в том числе корреляционный анализ. Остается непонятным, какие организационные методы применены – сравнительный анализ, структурный или лонгитюд? В исследовании принимали участие обучающихся по специальности "Правоохранительная деятельность" – всего 100 человек. Оценка построена методом анализа корреляций между результатами промежуточной и итоговой аттестации.
Актуальность работы не вызывает сомнений. В условиях внедрения ФГОС нового поколения систематически и остро встают вопросы оценки компетенций участников образовательного пространства. Сегодня отсутствуют стандартизованные общепризнанные методики оценки уровня сформированности компетенций обучающихся.
Новизна исследования прослеживается сточки зрения приименной методологии. Но она не может рассматриваться в научном контексте, т.к. недостаточной является выборка, на которой проведена работа (всего 100человек).
Стиль, структура, содержание. Аннотация статьи соответствует требованиям к ее оформлению. Структура статьи разделена на введение, основную часть и заключение.
Во вводной части представлен анализ существующих и актуализированных ФГОСов, а также обзор существующих методик оценки уровня сформированности компетенций в процессе освоения обучающимися основной образовательной программы. Оценочные средства с точки зрения автора требуют
Сделан вывод о сильной корреляции большинства оценок уровня сформированности компетенций, получаемых по результатам промежуточных аттестаций. Предложено проводить оценку уровня сформированности компетенций в основном по результатам защиты курсовых работ и государственной аттестации.
Библиография насчитывает 14 источников. Список полноценный и по количеству, и по качеству с точки зрения содержания.
Апелляция к оппонентам: основные положения работы отражают содержание заявленной темы, но сама тема звучит неверно для научной статьи.
Выводы, интерес читательской аудитории: В результате исследования, автор отводит умениям важную роль в формировании профессиональных компетенций, ссылаясь на то, что умения обеспечивают техническую составляющую обучения, помогают осознавать, фиксировать и контролировать происходящие процессы. Данное утверждение не содержит новизны и не отражает результаты исследования.
Данная статья может вызвать достаточный интерес читательской аудитории.
Статья рекомендуется к публикации после доработки следующих замечаний.

Замечания:
1. Некорректно сформулирована цель работы – «проведение статистического анализа результатов промежуточных и итоговых аттестаций обучающихся на предмет выявления корреляционных связей и возможности использования этих результатов для оценки уровня сформированности компетенций обучающихся». Статистический анализ - это инструмент для решения цели. Например, целью может быть анализ эффективности, выявление взаимосвязей, анализ соответствия и т.д.
2. Четко указать в статье (в теме и в содержании) об образовательных учреждениях какого уровня идет речь – ВВУзы, ССУЗы или школы? Это понятно только тем лицам, кто хорошо владеет темой. У широкого круга читателей останется вопрос.
3. Основным результатом проведенного исследования автор называет является заключение о слабой корреляции результатов государственной аттестации и семестрового экзамена по этому же предмету.
4. Нужно расширить выборку, т.к. темы, связанные с диагностическими инструментами, требуют более объемные выборки.
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.