Коллектив авторов
Военная педагогика
Тесты как метод исследования можно классифицировать следующим образом:
• по цели применения (диагностика обученности; диагностика групповых и индивидуальных психологических характеристик, диагностика личностного развития, диагностика в целях профориентации, профессионального отбора);
• по формам процедуры их применения (индивидуальные, групповые);
• по содержанию (определение уровня развития того или иного качества);
• по использованию (аналитические и синтетические, аппаратурные и выполняемые вручную, вербальные и невербальные).
Существенной представляется классификация на тесты (задания), которые предполагают правильный ответ, и на задания, относительно которых правильных ответов не существует. К первой группе (эти тесты еще называют объективными) относят большинство тестов интеллекта, тесты специальных способностей, некоторых личностных черт, а также дидактические. Тесты второй группы – это задания, которые характеризуются лишь частотой (и направленностью) того или иного ответа, но не его правильностью (большинство личностных опросников, например, тест 16PF Р. Кэттелла).
Различают вербальные и невербальные тестовые методики. Вербальные тесты апеллируют к системе убеждений, отношений, мотивов, памяти, воображению в их опосредованной языком форме. Невербальные же включают речевую способность испытуемых только в плане понимания инструкций, само же выполнение задания опирается на невербальные способности – перцептивные, моторные.
Для диагностики обученности в основном применяются предметные или дидактические тесты и тестовые задания, тесты успешности или достижений в следующей форме: тесты-вопросы, тесты с заполнением пропусков, с выбором ответов, тесты «правильно-неправильно», со свободным ответом.
Для диагностики воспитанности и качеств личности наиболее распространены личностные, ориентированные на критерий или проективные тесты, тесты для диагностики психических состояний, свойств личности и межличностных отношений.
Для диагностики уровня развития применяются тесты диагностики интеллекта, познавательных процессов, креативности, тесты психомоторики.
По направленности тесты делят на тесты достижения, способностей и личностные.
Тесты достижений – это в основном дидактические тесты, определяющие уровень овладения учебным материалом, сформированность знаний, навыков и умений. Дидактический тест следует понимать как систему заданий специфической формы и определенного содержания с целью объективной оценки структуры и измерения уровня подготовленности человека. Трудность задания как субъективное понятие определяется эмпирически, по величине доли неправильных ответов. Этим трудность отличается от объективного показателя – сложности, под которой понимают совокупность числа понятий, вошедших в задание, числа логических связей между ними и числа операций, необходимых для выполнения задания.
Тесты способностей чаще всего связаны с диагностикой познавательной сферы личности, особенностей мышления, интеллекта. Они позволяют судить не только о результатах в усвоении определенного учебного материала, но и о предпосылках респондента к выполнению заданий данного типа, класса. К ним относятся, например, тест Равена, тест Амтхауэра, субтесты Векслера и др.
Личностные тесты дают возможность по реакции на задания судить об особенностях свойств личности – направленности, темпераменте, чертах характера. Проявления личностных свойств могут вызываться посредством предъявления проективного материала (незаконченные предложения, изображения, стимулирующие ассоциативные реакции респондентов).
Метод тестирования широко применяется в педагогических исследованиях. В то же время специалисты отмечают его определенные недостатки.
1. Успешное решение теста в обычных условиях не означает успешность аналогичных действий в сложной обстановке. Респондент, получивший высокий балл по результатам тестирования в обычных условиях, может оказаться эмоционально неустойчивым к стрессам, теряться в опасной ситуации.
2. Зная характер тестовых процедур (а скрыть их при массовых исследованиях практически невозможно), испытуемому можно подготовиться к выполнению аналогичного теста, а в некоторых случаях – узнать результат заранее. Возникает даже эффект, когда некоторые респонденты лучше выполняют тест не в силу своих способностей, а по своей предусмотрительности, находчивости, смекалке, а иногда и хитрости. Данный факт заставляет создателей тестов идти на различные ухищрения, например создавать тесты с дублирующими друг друга вопросами.
3. Результаты тестирования в данный момент могут существенно разниться с результатами подобных испытаний через значительный промежуток времени в силу неравномерного развития различных качеств у людей.
Тесты должны удовлетворять определенным требованиям, к числу которых следует отнести педагогическую, социальную и профессиональную направленность, надежность, валидность, устойчивость, достоверность, хорошую интерпретируемость. Создание тестов требует высокого уровня психолого-педагогической компетентности педагога и в большинстве случаев специальной подготовки. Эта работа связана с отбором заданий, обеспечением надежности и обоснованности информации, получаемой в период тестирования. Должны быть учтены состав обследуемых, их возрастные характеристики, этапы исследования, условия обследования, мотивационный настрой.
Практика показывает, что одни и те же тестовые методики могут успешно применяться в одних условиях и ненадежно – в других. Серьезный отпечаток на результаты тестирования накладывает фактор того, в какой ситуации проводится диагностика, – экспертизы либо доверительного контакта.
Также надо иметь в виду, что при использовании тестов каждая последующая группа обследуемых знает их содержание. Это необходимо учитывать при периодическом обследовании. Следует понимать, что результаты тестирования остаются достоверными в течение определенного времени. Выявленные характеристики не остаются постоянной величиной в течение всего периода, а изменяются под воздействием различных факторов. Результаты обследования сохраняют достоверность от трех месяцев до года.
С учетом отмеченных обстоятельств целесообразно применять не отдельный тест, а их совокупность, батарею тестов, добиваться их высокой надежности и валидности, повышать квалификацию исследователей. Все это создает предпосылки для широкого применения тестовых методик в психолого-педагогических исследованиях.
Один из наиболее эффективных способов сбора информации в педагогическом исследовании – экспертный опрос, предполагающий получение данных с помощью знаний компетентных лиц путем опроса нескольких человек (экспертов, сведущих в исследуемой области). Данный метод экспертной оценки можно рассматривать как одну из разновидностей опроса (либо анкетирования). Результаты опросов, основанные на суждении специалистов, называются экспертными оценками. Поэтому и принято так обозначать этот метод.
Его преимущество заключается в определенной объективности получаемых данных, поскольку в состав группы экспертов включаются люди, глубоко, давно и с разных сторон знающие человека (проблему, объект исследования). Однако он трудоемок, и порой сложно определить компетентность экспертов.
Метод экспертного опроса применяется для решения таких задач, как:
• уточнение основных положений методики исследования, определение процедурных вопросов, выборе методов и приемов сбора и обработки информации;
• оценка достоверности и уточнение данных массовых опросов, особенно когда существует опасность их искажения;
• более глубокий анализ результатов исследования и прогнозирование характера изменений изучаемого психолого-педагогического явления;
• подтверждение и уточнение сведений, полученных с помощью других методов;
• анализ результатов исследования, особенно если они допускают различное толкование.
В каждом из упомянутых случаев экспертный опрос подчинен целям и задачам конкретного исследования и служит одним из инструментов для сбора информации об изучаемом объекте. Повышение достоверности результатов экспертного опроса достигается с помощью логических и статистических процедур, подбора специалистов, организации опроса, обработки полученных данных.
Практика показывает, что чем больше экспертов привлечены к оценке, тем более точен общий результат, тем точнее диагностируется уровень развития личности человека, группы респондентов. Учесть мнение всех экспертов по всем оцениваемым параметрам – задача трудная. С целью оптимизации обобщения мнений экспертов обычно применяются количественные оценки. Экспертам предлагается выразить свое мнение по 5-балльной (иногда – 3-, 4-балльной) дискретной шкале. При оценке тех или иных параметров могут определяться более конкретные и содержательные критерии.
Преимущество рассматриваемого метода заключается в том, что оценку дают сразу несколько экспертов независимо друг от друга. Он может использоваться для характеристик развития тех качеств, которые не поддаются количественной оценке.
Эксперты, привлекаемые к диагностике, должны быть подготовленными, компетентными, способными к творческому мышлению, объективными, самокритичными, глубоко понимающими значимость и ответственность экспертизы. Особое внимание необходимо обратить на продуманную постановку вопросов, ответы на которые должны дать достоверную и объективную оценку тех или иных качеств личности обучающегося, отражающую его практическую деятельность и знания.
2.4.4. Эксперимент как метод педагогического исследования
Метод педагогического эксперимента предполагает совместное комплексное использование методов педагогического наблюдения, беседы, анкетирования, применения тестов и др.
Эксперимент (от лат. experimentum – проба, опыт) – метод познания, при помощи которого в контролируемых и управляемых условиях исследуются явления действительности.
Главной задачей большинства экспериментов служит проверка гипотез и предсказаний теории, имеющих принципиальное значение. В связи с этим эксперимент как одна из форм практики выполняет функцию критерия истинности научного познания.
Метод педагогического эксперимента заключается в целенаправленном наблюдении за проявлениями тех или иных качеств, когда по плану исследования незначительно или существенно изменяются условия, в которых находится и действует испытуемый. В ходе эксперимента специально создаются ситуации, способствующие проявлению качеств военнослужащего или их формированию. В отличие от обычного изучения педагогических явлений в естественных условиях путем их непосредственного наблюдения эксперимент позволяет искусственно отделять изучаемое явление от других, целенаправленно изменять условия педагогического воздействия на испытуемых.
Сущность эксперимента заключается в активном вмешательстве исследователя в педагогический процесс для его изучения в заранее запланированных параметрах и условиях. Эксперимент позволяет варьировать факторы, которые воздействуют на изучаемые процессы и явления, воспроизводить их неоднократно. Его сила в том, что он дает возможность создавать новый опыт в точно учитываемых условиях.
В педагогике выделяют несколько основных видов эксперимента.
1. Естественный педагогический эксперимент проводят по плану, в обстановке обычной деятельности. Его участники не знают, что они выступают в роли испытуемых. Результаты исследования в значительной степени выражаются в описательной форме. При проведении эксперимента на фоне служебной, учебной или другой деятельности используются технические средства диагностики, сигнальные и регистрирующие устройства. Испытуемый может быть не ознакомлен с замыслом исследования, но знать, в качестве кого он участвует в эксперименте. Данные эксперимента могут поступать для обработки в ЭВМ, а результаты обработки – к исследователю, который по мере надобности может воздействовать на ситуацию или условия.
2. Лабораторный эксперимент осуществляется чаще всего с участием специально выделенной группы испытуемых в специально оборудованном помещении.
3. Констатирующий эксперимент направлен на установление фактического состояния и уровня тех или иных особенностей педагогического процесса, его явлений и участников на момент проведения исследования. Исследователь при этом экспериментальным путем устанавливает только состояние изучаемой педагогической системы, констатирует факты наличия причинно-следственных связей, зависимости между явлениями. Полученные данные могут служить материалом как для описания ситуации сложившейся и повторяющейся быть основой для исследования внутренних механизмов становления тех или иных свойств личности или качеств педагогической деятельности, послужить основанием для прогнозирования развития изучаемых свойств, качеств, характеристик.
4. Формирующий эксперимент направлен на изучение явлений, качеств, характеристик непосредственно в процессе их активного формирования, реализации системы мер, выполнения специально разработанных заданий в специально созданной обстановке деятельности и общения. Формирующий эксперимент может быть направлен на развитие, например, таких качеств военнослужащих, как смелость, решительность, воля, познавательный интерес, самостоятельность, трудолюбие, инициативность, ответственность, дисциплинированность, коллективизм, общительность, командные навыки. Он ориентирован на изучение динамики развития изучаемых свойств или педагогических явлений в процессе активного воздействия исследователя на условия выполнения деятельности. Следовательно, основная особенность формирующего эксперимента заключается в том, что сам исследователь активно и позитивно влияет на изучаемые явления. В этом проявляется активная роль военной педагогики как науки, активная позиция офицера, военного педагога, реализуется единство теории, эксперимента и практики.
К условиям эффективности проведения эксперимента относятся:
• предварительный теоретический анализ исследуемого явления, его истории, изучение педагогической практики для максимального сужения поля эксперимента и его задач;
• конкретизация гипотезы с точки зрения ее новизны, противоречивости по сравнению с привычными установками, взглядами;
• четкое формулирование задач эксперимента, разработка признаков и критериев, по которым будут оцениваться результаты, явления, средства и пр.;
• корректное определение минимально необходимого, но достаточного числа экспериментальных объектов с учетом целей и задач эксперимента, а также минимально необходимой длительности его проведения;
• доказательство доступности сделанных из материалов эксперимента выводов и рекомендаций, их преимущества перед традиционными, привычными решениями.
Проведение эксперимента предполагает три основных этапа работы.
Первый этап – подготовительный, на котором решаются следующие задачи: формулирование гипотезы, предположения, выводы о правильности которого следует проверить; выбор необходимого числа экспериментальных объектов (испытуемых, подразделений, расчетов, учебных групп, учебных заведений и др.); определение необходимой длительности проведения эксперимента; разработка методики его проведения; выбор методов для изучения начального состояния экспериментального объекта: анкетный опрос, интервью, экспертная оценка и др.; проверка доступности и эффективности разработанной методики эксперимента на небольшом числе испытуемых; определение признаков, по которым можно судить об изменениях в экспериментальном объекте под влиянием соответствующих воздействий.
Второй этап – непосредственное проведение эксперимента. Он должен дать ответ на вопросы об эффективности новых путей, средств и методов, вводимых экспериментатором в педагогическую практику. На этом этапе создается экспериментальная ситуация. Суть ее заключается в формировании таких внутренних и (или) внешних экспериментальных условий, в которых изучаемая зависимость, закономерность проявляется наиболее чисто, без воздействия случайных, неконтролируемых факторов.
В данном случае решаются следующие задачи: изучить начальное состояние условий, в которых проводится эксперимент; оценить состояние самих участников педагогических воздействий; сформулировать критерии эффективности предложенной системы мер; проинструктировать участников эксперимента о порядке и условиях его эффективного проведения (если эксперимент проводит не один человек); осуществить предлагаемую автором систему мер по решению определенной экспериментальной задачи (формирование знаний, умений или воспитание определенных качеств личности, коллектива и др.); зафиксировать полученные на основе промежуточных срезов данные о ходе эксперимента, которые характеризуют изменения, происходящие в объекте под влиянием экспериментальной системы мер; указать затруднения и возможные типичные недостатки, которые могут возникнуть в ходе проведения эксперимента; оценить текущие затраты времени, средств и усилий.
Третий этап – завершающий, когда оцениваются результаты эксперимента: отмечаются последствия реализации экспериментальной системы мер (конечное состояние уровня знаний, умений, навыков, уровня воспитанности и др.); характеризуются условия, при которых эксперимент дал благоприятные результаты (дидактические, организационные, учебно-материальные, психологические и др.); описываются особенности участников экспериментальных воздействий и взаимодействия; предоставляются данные о затратах времени, усилий и средств; указываются границы применения проверенной в ходе эксперимента системы мер.
Следует отметить, что возможен и более сложный способ проведения педагогического эксперимента. Он предусматривает проверку двух или даже трех вариантов мер, чтобы выбрать демонстрирующий наилучшие результаты за меньшее время.
Эксперимент по сравнительной проверке предлагаемой системы действий включает следующие задачи:
• формулирование критериев оптимальности системы мер с позиции ее результативности, затрат времени, средств и усилий;
• выбор возможных вариантов решения поставленной перед экспериментатором задачи (разработка 2-3 методических подходов к рассмотрению данной учебной темы, разработка возможных вариантов проведения различных педагогических мероприятий и др.);
• осуществление выбранных вариантов примерно в одних и тех же условиях (в двух примерно одинаковых по уровню подготовленности подразделениях, учебных группах и др.);
• оценка результативности по каждому из вариантов эксперимента;
• сравнительная оценка всех вариантов эксперимента;
• выбор одного варианта, который дает наилучшие результаты при меньших затратах времени, средств и усилий, или более результативного варианта при тех же затратах.
При подготовке эксперимента необходимо определиться по двум важным вопросам:
• Как осуществить репрезентативную (показательную для всей совокупности) выборку экспериментальных объектов (сколько испытуемых включать в эксперимент)?
• Какова должна быть длительность эксперимента?
С одной стороны, количество испытуемых в контрольной и экспериментальной группах должно быть наибольшим. Только так удается с достаточной надежностью избежать воздействия на результат эксперимента неконтролируемых, случайных факторов, существенно искажающих их, и получить статистически надежные результаты. Но, с другой стороны, эти группы не могут быть чрезмерно большими, поскольку в противном случае существенно усложняется управление экспериментом. Однако если качество управления и контроль за ходом эксперимента достаточно эффективны, то наука и практика только выигрывают от широты исследования.
Выборка должна быть достаточно представительной, и в то же время следует сузить число экспериментальных объектов до минимально необходимого. Очень важно, чтобы экспериментальная группа была типичной и по исходному состоянию значимо не отличалась от контрольной по основным показателям.
Обычно в эксперименте принимает участие какой-то сформировавшийся коллектив – курс, группа, расчет, отделение, взвод.
При проведении педагогического исследования всегда требуется доказывать репрезентативность выборки как с точки зрения представительности всех категорий испытуемых, так и с точки зрения объективности результатов, которые могут быть получены в ходе экспериментальной работы. Следует избегать не только занижения числа выбираемых для эксперимента объектов, но также и его завышения, поскольку тогда экспериментатор чрезвычайно перегружается, недостаточно глубоко анализирует ход эксперимента и дает малодоказательные рекомендации.
Определяя необходимую длительность эксперимента, следует иметь в виду, что слишком краткий его срок приводит к необъективным научным рекомендациям, к преувеличению роли и значения отдельных педагогических факторов. Слишком длительный срок отвлекает исследователя от решения других задач, повышает трудоемкость работы.
Если в процессе проведения эксперимента изучается влияние обучения на формирование фактических знаний, необходимо охватить наиболее типичные и вариативные разделы данного предмета, а не ограничиваться одной наиболее простой темой. Если же рассматривается методика преподавания одной темы, естественно, длительность эксперимента должна распространиться на весь период ее изучения.
Когда исследуется влияние каких-то педагогических средств на развитие мышления, воли, эмоциональной, мотивационной сферы, то эксперимент должен длиться не менее года, а обычно – в течение двух лет, так как трудно обнаружить действительные изменения в психической сфере личности за короткий срок. То же самое можно сказать и о воспитании личностных качеств. Здесь, как правило, также требуется один-два года, чтобы получить существенные сдвиги. Хотя и возможен эффект от применения метода взрыва, о котором в свое время писал А. С. Макаренко, экспериментатор все равно должен продолжить наблюдение и закрепление полученного результата, чтобы доказать прочность и действенность применяемой системы мер.