 |
РУБРИКИ |
Оценивание успешности учебной деятельности, как психолого-педагогическая проблема - (диссертация) |
РЕКЛАМА |
||
|
Оценивание успешности учебной деятельности, как психолого-педагогическая проблема - (диссертация)p>У учителей с попустительским и авторитарным стилем руководства все вышеперечисленные показатели имеют не высокие значения. Иск лючение составляет показатель "воспринимает ли учитель реакцию учащихся на свои вопросы", который в группе учителей с авторитар ным стилем педагогической деятельности составил 4, 0 балла.Учителя с попустительским стилем руководства значительно усту пают по показателям: "проведение опроса на каждом уроке" (3, 0 балла) и "организация учителем деятельности учащихся по исправле нию текущих неудовлетворительных отметок" (1, 9 балла). Шаблонность в форме вопросов, вызывающая автоматизацию ответа учащихся, чаще всего свойственна попустительскому (2, 3 балла) и авторитарному (2, 7 балла) стилям руководства. Сопоставление действий по компоненту оценочной деятельности "собственно оценивание учителем результатов учебной деятельности учащихся" свидетельствует о большей их выраженности у учителей демократического и попустительского стиля над учителями-автокра тами. Так, последние не отличаются многообразием форм оценивания знаний и умений учащихся (2, 8 балла); комментированием выставляе мых отметок в соответствии с программными нормами (1, 8 балла); выставлением отметок каждому из опрошенных учеников (2, 7 балла); привлечением учащихся к обсуждению выставляемых отметок (1, 6 бал ла); организацией самоконтроля и самооценки учащимися результатов учебной деятельности (1, 7 балла). Оценочные тенденции занижения отметок у учителей-автократов проявляются также в отсутствии индивидуально-дифференцированного подхода к ученикам в отношении мер воздействия через отметку (1, 7 балла); в редком проявлении положительной реакции учителя на ос паривание учеником отметок (1, 9 балла); в зависимости оценивания от внешних и внутренних факторов (1, 7 балла); в неравномерном по урочном оценивании учащихся с различной успеваемостью (2, 9 бал ла); а также в неспокойной обстановке опроса (1, 9 балла). Учителя-либералы имеют относительно невысокие значения по сле дующим показателям: "внешнее проявление уверенности при выставле нии отметок" (3, 2 балла); соответствие четвертных отметок текущи ми (3, 5 балла). Данные по компоненту оценочной деятельности "фиксирование учи телем балльных оценок учащихся" доказывают преимущество демокра тического и авторитарного стиля педагогической деятельности над попустительским. Учителя-либералы чаще не придерживаются времен ного регламента проверки и выставления отметок за самостоятельные письменные работы в журнал (2, 8 балла); часто допускают в журнале стирания, исправления, подставление отметок (2, 8 балла); имеют большое количество уроков без отметок, зафиксированных в журнале (2, 5 балла); часто не выставляют отметки в дневник в течении уро ка (2, 7 балла) и в журнал за письменные домашние работы (3, 0 бал ла). Учителя с демократическим и авторитарным стилем руководства по действиям этого компонента оценочной деятельности имеют достаточ но высокие значения. Таким образом, попустительский стиль руководства определяет не только оценочные тенденции учителя завышать отметки, но и прояв ляет себя и в методике опроса учащихся этими учителями в виде та ких методических недоработок как: однообразие форм контроля зна ний и умений учащихся на уроке; отсутствие терпеливости в общении с отвечающим; малое распределение внимания на всех задействован ных в опросе учащихся; невосприятие учителем реакции учащихся на свои вопросы; отсутствие организованного учителем наблюдения уча щихся за ответами одноклассников; отсутствие дисциплины в классе в момент опроса учащихся; включение в опрос минимального коли чества учеников; неточные формулировки вопросов; нерациональная мера помощи учащемуся во время опроса; отсутствие эмоционального сопереживания с отвечающим, проявления заинтересованности в ка честве ответа; нерациональное соотношение времени опроса с други ми этапами урока; преобладание способов принуждения учащихся к деятельности в ситуации опроса (напоминание об отметке, резкие замечания, нотации); отсутствие организованной учителем деятель ности учащихся по исправлению текущих отметок; шаблонность в фор ме вопросов, вызывающая автоматизацию ответа учащихся; внешняя неуверенность при выставлении отметок; несоблюдение временного регламента проверки и выставления отметок за самостоятельные письменные работы в журнал; большое количество в журнале исправ ленных, подставленных отметок; большое количество уроков без от меток, зафиксированных в журнале; отсутствие фиксирования учите лем отметок в дневниках в течении урока; невыставление в журнал отметок за письменные домашние работы. Авторитарный стиль руководства, в свою очередь, определяет оценочные тенденции учителя занижать отметки, и проявляет себя в следующих методических недоработках проведения опроса: отсутствие эмоционального сопереживания с отвечающим; преобладание способов принуждения учащихся к деятельности в ситуации опроса над спосо бами побуждения; шаблонность в форме вопросов; однообразие форм оценивания знаний и умений учащихся; отсутствие комментария к выставляемым отметкам; выставление отметок отдельным из опрошен ных учеников по своему усмотрению; отсутствие индивидуально-диф ференцированного подхода к ученику в отношении мер воздействия через отметку; негативная реакция на оспаривание учеником отмет ки; зависимость оценивания от внешних и внутренних факторов; не равномерное поурочное оценивание учащихся с различной успевае мостью; непривлечение учащихся к обсуждению отметок; отсутствие у учащихся самоконтроля и самооценки результатов учебной деятель ности; напряженная обстановка в ситуации опроса учащихся; несоот ветствие четвертных отметок текущим. Подводя итог рассмотрению вопроса об особенностях оценочной деятельности учителей с различными стилями руководства, можно заключить следующее: 1. Стиль руководства является определяющим в формировании оце ночных тенденций завышения и занижения отметок, а также находит отражение в методических особенностях проведения опроса на уроке. 2. В методике оценивания знаний и умений учащихся в ситуации опроса в зависимости от стиля руководства можно выделить харак терные, типичные методические приемы и средства оценивания, что позволяет говорить, в свою очередь, о стилях оценочной деятель ности учителей. 3. В методике оценивания знаний и умений учащихся в ситуации опроса учителей с демократическим стилем руководства в равной степени представлены методические приемы и средства, определяющие оптимальную стратегию проведения опроса, методические приемы и формы оценивания результатов учебной деятельности школьников и способы фиксирования балльных оценок учащихся. 4. В методике проведения опроса учителей с попустительским стилем руководства недостаточно представлены методические приемы, обуславливающие оптиамльную стратегию проведения опроса, а также методические приемы, обеспечивающие четкость фиксирования учите лем отметок учащихся в школьной документации. 5. В методике проведения опроса учителей с авторитарным стилем руководства недостаточно представлены методические приемы и формы оценивания учителем знаний и умений учащихся. _ 1Отношение учащихся к ситуации опроса и оценивания на уроке оказалось далеко не однозначным и зависело прежде всего, как это видно из данных таблицы 17 - от стиля руководства учителя. У учителей с демократическим стилем руководства большинство опрошенных учащихся отмечают положительно-устойчивый характер си туации опроса и оценивания (от 70, 4% до 84, 3% ответов). Лишь 7, 6% учащихся оценили эту ситуацию у учителей с демократическим стилем руководства негативно. У учителей с попустительским стилем руководства большинство учащихся (от 40, 4% до 72, 1%) отмечают нестабильный характер ситу ации опроса и оценивания и довольно большое число (от 11, 9% до 39, 1%) оценивают ситуацию как негативно-устойчивую. Лишь около 20% учащихся оценили у этих учителей ситуацию опроса как положи тельно-устойчивую. У учителей с авторитарным стилем руководства большинство уча щихся оценили ситуацию опроса и оценивания как негативно-устойчи вую (от 54, 5% до 89, 7%). Как положительно-устойчивую ситуацию оценили только 13, 9% учащихся. Отмеченные тенденции проявились у всех учащихся независимо от их успеваемости. Однако отношение учащихся к проведению опроса учителями с различным стилем руководства все же имеет некоторые отличия у учащихся, успевающих на "хорошо" и "отлично", и учащих ся в основном получающих отметки "удовлетворительно" и "плохо" (таблица 18). Это отличие состоит в том, что положительное оцени вание ситуации опроса учителей с демократическим стилем руководс ----T-----------T------T----------T-----------------------------------------------¬ ¦ ¦ ¦ ¦ ¦Представленность в ответах учащихся возможных ¦ ¦ № ¦ стиль ¦ ФИО ¦Количество¦ситуация опроса¦ситуация опроса¦ситуация опроса¦ ¦ ¦руководства¦ ¦ учащихся ¦и оценивания ¦и оценивания ¦и оценивания ¦ ¦ ¦ ¦ ¦ ¦имеет ¦имеет ¦имеет ¦ +---+-----------+------+----------+---------------+---------------+---------------+ ¦ 1. ¦демократи- ¦С. Э. И. ¦ 65 ¦ 80, 1 ¦ 9, 5 ¦ 10, 4 ¦ +---+-----------+------+----------+---------------+---------------+---------------+ ¦ выборочное среднее ¦ 78, 3 ¦ 13, 5 ¦ 7, 6 ¦ +---T-----------T------T----------+---------------+---------------+---------------+ ¦ 7. ¦попусти- ¦Д. Т. В. ¦ 77 ¦ 24, 8 ¦ 50, 0 ¦ 25, 2 ¦ +---+-----------+------+----------+---------------+---------------+---------------+ ¦ выборочное среднее ¦ 18, 4 ¦ 61, 2 ¦ 20, 4 ¦ +---T-----------T------T----------+---------------+---------------+---------------+ ¦14. ¦авторитар- ¦С. Т. Л. ¦ 69 ¦ 10, 0 ¦ 12, 4 ¦ 77, 6 ¦ +---+-----------+------+----------+---------------+---------------+---------------+ ¦ выборочное среднее ¦ 13, 9 ¦ 15, 0 ¦ 71, 1 ¦ L---------------------------------+---------------+---------------+--------------- тва в большей мере выражено у хорошо успевающих учащихся (84, 4% против 60, 2% у слабо успевающих): а негативное оценивание ситуа ции опроса учителей с авторитарным стилем в большей мере выражено у слабо успевающих учеников (80, 2% против 60, 2% у хорошо успеваю щих). Таким образом, слабо успевающие учащиеся имеют тенденцию более негативно оценивать ситуацию опроса как у учителей с демок ратическим, так и с авторитарным стилем руководства. ----T---------------T------------------------------------T------------------------------------¬ ¦ ¦ ¦ выборка учащихся ¦ выборка учащихся ¦ +------------------------------------+-------------------------T----------+ ¦ № ¦ ФИО ¦ характер оценивания учащимися ситуации опроса ¦ ¦ ¦ ¦ +-------------T-----------T----------T-------------T-----------+----------+ ¦ ¦ ¦устойчиво ¦ситуативный¦устойчиво ¦устойчиво ¦ситуативный¦устойчиво ¦ ¦ ¦ ¦положительный¦ ¦негативный¦положительный¦ ¦негативный¦ ¦ ¦ ¦ (%) ¦ (%) ¦ (%) ¦ (%) ¦ (%) ¦ (%) ¦ +---+---------------+-------------+-----------+----------+-------------+-----------+----------+ ¦ ¦демократический¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ 1. ¦ С. Э. И. ¦ 95, 6 ¦ 2, 4 ¦ 2, 0 ¦ 64, 6 ¦ 16, 6 ¦ 18, 8 ¦ ¦ 2. ¦ А. Е. К. ¦ 83, 4 ¦ 4, 6 ¦ 12, 0 ¦ 25, 2 ¦ 34, 2 ¦ 40, 6 ¦ ¦ 3. ¦ В. Р. Л. ¦ 73, 0 ¦ 22, 4 ¦ 4, 6 ¦ 63, 4 ¦ 19, 0 ¦ 17, 6 ¦ ¦ 4. ¦ В. Е. А. ¦ 90, 8 ¦ 3, 7 ¦ 5, 5 ¦ 62, 4 ¦ 35, 9 ¦ 1, 7 ¦ ¦ 5. ¦ К. Т. В. ¦ 78, 2 ¦ 18, 4 ¦ 3, 4 ¦ 75, 0 ¦ 6, 2 ¦ 18, 8 ¦ ¦ 6. ¦ К. З. П. ¦ 84, 4 ¦ 13, 8 ¦ 1, 8 ¦ 60, 2 ¦ 11, 4 ¦ 28, 4 ¦ +---+---------------+-------------+-----------+----------+-------------+-----------+----------+ ¦ выборочное среднее¦ 84, 2 ¦ 10, 8 ¦ 5, 0 ¦ 58, 5 ¦ 20, 6 ¦ 20, 9 ¦ +---T---------------+-------------+-----------+----------+-------------+-----------+----------+ ¦ ¦попустительский¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ 7. ¦ Д. Т. В. ¦ 10, 2 ¦ 75, 7 ¦ 14, 1 ¦ 39, 4 ¦ 24, 3 ¦ 36, 3 ¦ ¦ 8. ¦ П. Я. П. ¦ 3, 0 ¦ 75, 8 ¦ 21, 2 ¦ 35, 8 ¦ 61, 6 ¦ 2, 6 ¦ ¦ 9. ¦ И. С. Г. ¦ 2, 4 ¦ 73, 6 ¦ 24, 0 ¦ 23, 2 ¦ 70, 6 ¦ 6, 2 ¦ ¦10. ¦ К. А. Ю. ¦ 5, 3 ¦ 34, 5 ¦ 60, 2 ¦ 35, 7 ¦ 46, 3 ¦ 18, 0 ¦ ¦11. ¦ К. Н. Е. ¦ 2, 8 ¦ 82, 0 ¦ 15, 2 ¦ 41, 0 ¦ 35, 4 ¦ 23, 6 ¦ ¦12. ¦ З. Н. В. ¦ 6, 2 ¦ 59, 5 ¦ 34, 3 ¦ 27, 4 ¦ 69, 9 ¦ 2, 7 ¦ ¦13. ¦ К. О. С. ¦ 12, 0 ¦ 77, 8 ¦ 10, 2 ¦ 13, 0 ¦ 69, 8 ¦ 17, 2 ¦ +---+---------------+-------------+-----------+----------+-------------+-----------+----------+ ¦ выборочное среднее¦ ¦ 68, 4 ¦ 25, 7 ¦ 30, 8 ¦ 53, 9 ¦ 15, 3 ¦ +---T---------------+-------------+-----------+----------+-------------+-----------+----------+ ¦ ¦ авторитарный ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦14. ¦ С. Т. Л. ¦ 15, 2 ¦ 17, 4 ¦ 67, 4 ¦ 4, 8 ¦ 7, 4 ¦ 87, 8 ¦ ¦15. ¦ К. Т. А. ¦ 8, 9 ¦ 19, 5 ¦ 71, 6 ¦ 1, 5 ¦ 1, 5 ¦ 97, 0 ¦ ¦16. ¦ К. А. Г. ¦ 32, 8 ¦ 20, 6 ¦ 46, 6 ¦ 16, 8 ¦ 16, 0 ¦ 67, 2 ¦ ¦17. ¦ А. Т. Г. ¦ 38, 2 ¦ 17, 4 ¦ 44, 4 ¦ 8, 0 ¦ 2, 8 ¦ 89, 2 ¦ ¦18. ¦ Р. Л. Н. ¦ 34, 6 ¦ 8, 3 ¦ 57, 1 ¦ 4, 8 ¦ 12, 3 ¦ 82, 9 ¦ ¦19. ¦ С. А. А. ¦ 38, 2 ¦ 25, 7 ¦ 36, 1 ¦ 12, 6 ¦ 14, 5 ¦ 72, 9 ¦ ¦20. ¦ М. Г. А. ¦ 27, 8 ¦ 8, 4 ¦ 63, 8 ¦ 3, 0 ¦ 14, 0 ¦ 83, 0 ¦ ¦21. ¦ Р. Н. И. ¦ 5, 0 ¦ 17, 0 ¦ 78, 0 ¦ 2, 8 ¦ 37, 0 ¦ 60, 2 ¦ ¦22. ¦ М. М. С. ¦ 7, 2 ¦ 5, 3 ¦ 87, 5 ¦ 2, 0 ¦ 6, 1 ¦ 91, 9 ¦ ¦23. ¦ С. Л. В. ¦ 9, 6 ¦ 22, 5 ¦ 67, 9 ¦ 3, 2 ¦ 27, 1 ¦ 69, 7 ¦ +---+---------------+-------------+-----------+----------+-------------+-----------+----------+ ¦ выборочное среднее¦ 21, 8 ¦ 16, 2 ¦ 62, 0 ¦ 5, 9 ¦ 13, 9 ¦ 80, 2 ¦ L-------------------+-------------+-----------+----------+-------------+-----------+---------- В то же время нельзя не обратить внимание на тот факт, что слабо успевающие учащиеся чаще, чем хорошо успевающие учащиеся положительно оценивали ситуацию опроса у учителей с попуститель ским стилем руководства (30, 8% против 5, 9%) и реже оценивали эту ситуацию негативно (15, 3% против 25, 7%) или как ситуативно-неус тойчивую (53, 8% против 68, 4%). Очевидно, нетребовательность учи телей с попустительским стилем руководства желательна для тех учащихся, которые не стремятся к учению, и наоборот, нежелательна для учащихся, которые хотят учиться. _ 2Связь учебной мотивации учащихся с успеваемостью. . 0 Этот вопрос изучался с помощью разработанного нами опросника, выявляющего ка кой из мотивов - на приобретение знаний или получение отметки преобладает у данного учащегося. В начальных, средних и старших классах были выделены три группы учащихся: те, у которого мотива ция на знания выражена больше, чем мотивация на отметку; те, у кого мотивация на отметку выражена больше, чем на знаний; те, у кого та и другая мотивация равны. Полученные данные представлены в таблице 19. Как видно из таблицы в младших классах направленность мотива ции (на знания или отметку) в успеваемости школьников роли не иг рает: среди учащихся количество отличников, "хорошистов", слабо и плохо успевающих примерно одинаковое (при преобладании мотива на знания). ¦ 1-3 ¦больше на¦ _37 . ¦ _ 40 . ¦ _ 40 . ¦ _38 . ¦ ¦ ¦знания ¦ 92 ¦ 100 ¦ 100 ¦ 95 ¦ ¦ ¦больше на¦ _1 . ¦ _0 . ¦ _0 . ¦ _2 . ¦ ¦ ¦отметку ¦ 3 ¦ 0 ¦ 0 ¦ 5 ¦ ¦ ¦одинаково¦ _2 . ¦ _0 . ¦ _0 . ¦ _0 . ¦ ¦ ¦ ¦ 5 ¦ 0 ¦ 0 ¦ 0 ¦ ¦ 5-9 ¦больше на¦ _18 . ¦ _22 . ¦ _24 . ¦ _27 . ¦ ¦ ¦знания ¦ 20 ¦ 44 ¦ 26 ¦ 30 ¦ ¦ ¦больше на¦ _19 . ¦ _11 . ¦ _10 . ¦ _ 6 . ¦ ¦ ¦отметку ¦ 41 ¦ 24 ¦ 21 ¦ 14 ¦ ¦ ¦одинаково¦ _ 3 . ¦ _ 7 . ¦ _ 6 . ¦ _ 7 . ¦ ¦ ¦ ¦ 14 ¦ 30 ¦ 26 ¦ 30 ¦ ¦ 10-11¦больше на¦ _14 . ¦ _14 . ¦ _12 . ¦ _20 . ¦ ¦ ¦знания ¦ 23 ¦ 23 ¦ 20 ¦ 37 ¦ ¦ ¦больше на¦ _15 . ¦ _22 . ¦ _22 . ¦ _16 . ¦ ¦ ¦отметку ¦ 21 ¦ 29 ¦ 29 ¦ 21 ¦ ¦ ¦одинаково¦ _11 . ¦ _ 4 . ¦ _ 6 . ¦ _ 4 . ¦ ¦ ¦ ¦ 44 ¦ 16 ¦ 24 ¦ 16 ¦ В средних и старших классах картина меняется. Несмотря на пре обладание во всех классах учащихся с соотношением мотивов в поль зу получения знаний, отличников и "хорошистов" больше среди тех, у кого мотив на получение отметки выражен больше, чем мотив на получение знаний. С другой стороны, среди школьников, у которых больше выражен мотив на приобретение знаний, чаще встречаются ли ца с плохой успеваемостью. Особенно отчетливо это проявилось в средних классах. В старших классах наибольшее число отличников было у учащихся, имевших одинаковую выраженность обоих мотивов. Таким образом, стремлением учителей и родителей чтобы школьни ки учились ради приобретения знаний, судя по полученным данным себя полностью не оправдывает. То, что почти у всех школьников начальных классов (у 155 из 160) преобладает мотив на получение знаний, очевидно, нельзя рассматривать как истинную мотивацию; вероятно, они повторяют то, что им внушили взрослые. Да и в сред них классах декларативность этого мотива, вероятно, имеется у многих (хотя с преобладанием этой мотивации школьников значитель но меньше: 91 из 160, причем 46 имеют преобладание мотивации на отметку). В старших классах же картина более реалистичная: преоб ладают учащиеся с большей ориентацией на отметку (75 из 160, и 24 имеют одинаковую ориентацию на отметку и на знаний). При этом именно последний вариант (равенство ориентаций на отметку и на знания) дает наилучшую успеваемость. Таким образом, мотивирующая роль отметку с возрастом меняется. В младших классах она не влияет на успеваемость, в средних клас сах ориентация на отметку больше, чем на знания приводит к лучшей успеваемости, а в старших классах мотивация на отметку обеспечи вает лучше успехи в учении в том случае, если она подкрепляется мотивом на получение знаний, выраженным в такой же степени. Исходя из полученных данных выявленную тенденцию увеличения от младших классов к старшим числа школьников с преобладанием моти вации на отметку вопреки распространенному мнению можно рассмат ривать как 1 _положительную . 0, связанную с постановкой учащимися более конкретной цели, достижимой в короткий срок и поэтому оказывающей более сильное подкрепляющее влияние на учебную деятельность школьников, Чем более абстрактный и с более отдаленной перспекти вой реализации мотив на получение знаний. Сказанное, конечно, не должно приводить к фетишизации мотива на отметку. Она может получаться учащимися и при недобросовестном отношении учащегося к учению (путем списывания, выучивания под опрос и т. д. ). Но очевидно, что пренебрегать мотивационной ролью отметок не следует, что видно и из данных опроса учителей, уча щихся и их родителей о роли отметку, приведенных нами в первом параграфе этой главы. _ 2Личностные особенности . 0, изучающиеся нами на школьниках 9 и 11 классов с помощью опросника Кэтелла, как следует из данных, при веденных в таблице 20, могут влиять на успеваемость учащихся. Среди таких свойств оказалась в первую очередь устойчивость к фрустрированности, напряженности. Значимые коэффициенты корреля ции были получены в обоих классах как у мальчиков, так и у дево чек, причем в девятом классе у тех и у других уровень значимости равнялся 0, 01. Во всех классах у мальчиков и у девочек обнаружена отрицатель ная связь успеваемости с доминантностью (p Положительная связь успеваемости с низкой тревожностью, уве ренностью в себе выявлена у учащихся 11 класса (у мальчиков и де вочек P могут быть ситуации опроса, выполнения контрольных работ и экза менов. Несколько неожиданная положительная связь успеваемости с им пульсивностью у девочек 1 класса. Дать этому объяснение довольно трудно. -------T-------------------------------------------T---------------------------------¬ ¦ ¦ ¦ Классы ¦ ¦Фактор¦ Свойство личности +--------T-------+--------T-------+ ¦ ¦ ¦мальчики¦девочки¦мальчики¦девочки¦ +------+-------------------------------------------+--------+-------+--------+-------+ ¦ A ¦замкнутость - общительность ¦ 0, 21 ¦ 5 00, 15 5 0¦ 0, 18 ¦ 0, 21 ¦ ¦ B ¦низкий интеллект - высокий интеллект ¦ 0, 11 ¦ 5 00, 24 ¦ 0, 10 ¦ 0, 13 ¦ ¦ C ¦эмоциональная неустойчивость - устойчивость¦ 0, 16 ¦ 5 00, 23 ¦ 0, 16 ¦ 0, 13 ¦ ¦ E ¦конформность - доминантность ¦-0, 30 5* 0 ¦-0, 37 5** 0¦-0, 44 5* 0 ¦-0, 41 5* 0 ¦ ¦ F ¦сдержанность - экспрессивность ¦-0, 22 ¦ 0, 18 ¦ 0, 19 ¦ 0, 15 ¦ ¦ G ¦безответственность - ответственность ¦-0, 32 5* 0 ¦-0, 44 5** 0¦ 0, 28 ¦ 0, 30 ¦ ¦ I ¦жестокость - чувствительность ¦ 0, 10 ¦ 0, 11 ¦ 0, 18 ¦ 0, 14 ¦ ¦ L ¦доверчивость - подозрительность ¦ 0, 02 ¦ 0, 08 ¦ 0, 15 ¦ 0, 09 ¦ ¦ M ¦практичность - развитое воображение ¦ 0, 23 ¦ 0, 17 ¦ 0, 27 ¦ 0, 24 ¦ ¦ N ¦прямолинейность - дипломатичность ¦ 0, 26 ¦ 0, 25 ¦ 0, 20 ¦ 0, 22 ¦ ¦ O ¦уверенность в себе - тревожность ¦ 0, 27 ¦ 0, 29 ¦ 0, 44 5* 0 ¦ 0, 39 5* 0 ¦ ¦ Q 41 0 ¦консерватизм - радикализм ¦ 0, 14 ¦ 0, 07 ¦ 0, 15 ¦ 0, 17 ¦ ¦ Q 42 0 ¦социабельность - самодостаточность ¦ 0, 15 ¦ 0, 19 ¦ 0, 15 ¦ 0, 18 ¦ ¦ Q 43 0 ¦импульсивность - контроль желаний ¦ 0, 20 ¦ 0, 14 ¦ 0, 26 ¦ 0, 47 5* 0 ¦ ¦ Q 44 0 ¦нефрустрированность - напряженность ¦ 0, 39 5** 0 ¦ 0, 48 5** 0¦ 0, 43 5* 0 ¦ 0, 45 5* 0 ¦ L------+-------------------------------------------+--------+-------+--------+------- * - p 7, 00, 05; ** - p 7, 00, 01 Выявлена связь успеваемости школьников разных классов _ 2с типо _ 2логическими особенностями проявления свойств нервной системы . 0 силой и "внешним" балансом (таблица 21). типологических особенностей свойств нервной системы учащихся со средним баллом успеваемости ----------------T-------------------------------------------¬ ¦ Классы ¦ Свойства нервной системы ¦ ¦ +----------------------T--------------------+ ¦ ¦ сила нервной системы ¦ "внешний" баланс ¦ ¦ +----------T-----------+----------T---------+ ¦ ¦ мальчики ¦ девочки ¦ мальчики ¦ девочки ¦ ¦во всех классах¦ (n=60) ¦ (n=60) ¦ (n=60) ¦ (n=60) ¦ +---------------+----------+-----------+----------+---------+ ¦ 1 - 4 ¦ -0, 43 5* 0 ¦ -0, 47 5** 0 ¦ 0, 07 ¦ 0, 15 ¦ ¦ 5 - 8 ¦ -0, 50 5** 0 ¦ -0, 07 ¦ 0, 47 5** 0 ¦ 0, 51 5*** 0 ¦ ¦ 9 - 11 ¦ -0, 21 ¦ -0, 48 5** 0 ¦ 0, 48 5** 0 ¦ 0, 45 5** 0 ¦ L---------------+----------+-----------+----------+--------- Примечание: * - p Из данных, приведенных в таблице, видно, что за небольшим иск лючением успеваемость отрицательно связана с силой нервной систе мы, что означает, у школьников со слабой нервной системой успева емость выше, чем у школьников с сильной нервной системой. Начиная со средних классов выявлена связь успеваемости с "внешним" балансом: у школьников с преобладанием возбуждения ус певаемость выше, чем у школьников с преобладанием торможения, причем различия высокозначимые (p Полученные данные в отношении силы - слабости нервной системы совпадают с данными лаборатории Э. И. Голубевой (1994) лучшие сред ние баллы как по гуманитарным, так и по естественным дисциплинам имели школьники со слабой нервной системой. Кроме того, более ус певающим была присуща и более высокая активированность, которая авторами рассматривается как преобладание возбуждения над тормо жением. Наши данные и данные Э. А. Голубевой расходятся как с утвердив шейся точкой зрения, что преимущество в успеваемости имеют школь ники с сильной нервной системой, так и с не менее распространен ной точкой зрения, что успеваемость не связана с типологическими особенностями свойств нервной системы. Мы полагаем, что справедливы все точки зрения. Если у учащего ся выражена мотивация учения, то влияние свойств нервной системы может нейтрализоваться как за счет прилежания учащихся, так и за счет выработки рационального стиля учебной деятельности (В. С. Мер лин). Если учитель создает во время опроса учащихся психологичес кую напряженность, то больше шансов не стушеваться, не растерять ся у школьников с сильной нервной системой. Если же обстановка в классе во время опроса, написания контрольных работ и экзаменов спокойная, то успеваемость в большей мере будет зависеть от под готовки к урокам дома, от систематичности учения дома, к чему, вероятно, больше склонны лица со слабой нервной системой ввиду их большей монотонноустойчивости (а систематическая учебная работа дома - занятие довольно однообразное). Возможно, лучшая успевае мость школьников со слабой нервной системой связана и с тем, что они быстрее врабатываются т. е. включаются в ситуацию урока. 1. Проблема оценивания результатов учебной деятельности не по теряла своей остроты для всех участников педагогического процес са: учителей, учащихся, родителей. 2. При этом большинство учителей склонны переоценивать роль отметок в процессе обучения, составляя по ним мнение о личных ка чествах ученика; родители расценивают отметки как показатель уровня способностей и интеллекта ребенка; для учащихся отметки чаще всего выступают показателем успешности учебной деятельности, в зависимости от которой формируется самооценка и уровень притя заний. 3. Субъективность отметок определяется рядом факторов. Основ ные среди них: стиль руководства и личностные особенности учите лей, взаимообуславливающие друг друга. 4. В методике оценивания знаний и умений учащихся в ситуации опроса, в зависимости от стиля руководства, можно выделить харак терные, типичные методические приемы и средства оценивания, что позволяет говорить о стилях оценочной деятельности учителя. 5. Отношение учащихся к ситуации опроса и оценивание на уроке определяется как стилем руководства учителя, так и уровнем успе ваемости. 6. Мотивацию учащихся на отметку можно рассмотреть как положи тельную, оказывающую подкрепляющее влияние на успешность учебной деятельности школьников. 7. На успеваемость учащихся оказывают влияние нейродинамичес кие и личностные особенности. При этом степень выраженности этого влияния зависит как от мотивации учения школьника, так и от пси хологической ситуации опроса на уроке. 1. Проблематика отметки не потеряла своей остроты для всех участников учебного процесса: учителей, учащихся и их родителе, причем для последних даже в большей степени. При этом роль и зна чимость отметок _ 1для учителей . 0 состоит в получении обратной связи об эффективности обучения и как основание для суждения о личности учащегося; _ 1для учащихся . 0 - как оценка своего прилежания, как осно вание для формирования самооценки и уровня притязаний, возмож ность поступить в вуз; для _ 1родителей . 0 - как оценка способности своих детей и собственных усилий в их воспитании. 2. Многие учителя, учащиеся и их родители признают субъектив ность отметок. Среди многих факторов, приводящих к субъективности отметок, одним из ведущих является стиль руководства учителя, за висящий в свою очередь от личностных особенностей учителей. 3. Наиболее объективно оценивают знания и умения учащихся учи теля с демократическим стилем руководства. Учителя с авторитарным стилем руководства занижают отметки, а учителя с попустительским стилем - завышают их. 4. Стиль руководства учителей влияет на методику проведения опроса и оценивания успеваемости учащихся. Учителя с демократи ческим стилем руководства создают более благоприятные условия для реализации учащимися своих знаний, чаще используют отметки и фик сируют их в школьной документации. Учителя-автократы, проявляя агрессивность, создают напряженную обстановку в классе. 5. Учащиеся по-разному оценивают ситуацию опроса у учителей с разными стилями руководства: у учителей с демократическим стилем, в основном, как положительно-устойчивую, у учителей с авторитар ным стилем - как отрицательно-устойчивую и у учителей с попусти тельским стилем - как нестабильную. 6. Успеваемость учащихся зависит от их личностных и нейродина мических особенностей и от мотивации. Мотив на получение знаний во всех классах преобладает над мотивом отметки, однако с возрас том это различие становится все меньшим. Отмечена тенденция, что лучше успевают школьники, имеющие слабую нервную систему и преоб ладание возбуждения по "внешнему" балансу. 7. Полученные результаты свидетельствуют об отсутствии в про цессе профессиональной подготовки будущих учителей системы обуче ния оценочной деятельности. В связи с этим педагогическим кафед рам целесообразно ввести практикум по формированию педагогических умений оценочной деятельности, а в лекционном курсе вопросы о выставлении отметок, их роли и объективности выделить в самостоя тельную тему. а) да, можно сравнить успеваемость моего ребенка с другими; б) затрудняюсь ответить, т. к. чаще всего на собраниях рассмат риваются общественные вопросы; в) нет, я предпочитаю приходить в школу по мере необходимости и не посвящаю других родителей в свои проблемы. 2. Регулярно ли учителя выставляют отметки в дневник вашего ребенка? 3. Оспариваете ли Вы с учителем несправедливую отметку вашего ребенка? 4. Если бы Вы изменяли существующую 5-балльную систему отме ток, то Вы: 6. Часто ли Вы анализируете с ребенком причины той или иной отметки? б) подробно анализируем отметки за контрольные работы и отмет ки за четверть; 7. Согласны ли Вы с утверждением, что родители преувеличивают значение отметок? 9. Согласны ли Вы, что учителя более склонны отличникам ста вить "5", а троечникам "3"? 10. Считаете ли Вы, правильным обсуждение успеваемости отдель ного ребенка на родительском собрании? а) да, мое настроение очень зависит от успеваемости ребенка и его трудно бывает сдержать; 1. Согласны ли Вы с утверждением, что учителя преувеличивают значение отметки: 3. К Вам в класс пришел новый ученик. О чем, прежде всего го ворят его отметки в табеле: 4. Вносите ли Вы коррективы в методику преподавания отдельной темы после выставления отметок за контрольную работу: в) нет, т. к. не считаю, что это вина учеников, а требования должны быть едиными. 5. Если бы вы изменяли существующую 5-балльную систему отме ток, Вы: 6. Чем Вы руководствуетесь при выставлении отметок за четверть; а) среднеарифметическим баллом; 7. Согласны ли Вы с тем, что нужно выставлять отметки за до машнюю работу: б) согласен, это контролирует ученика, но при выставлении ито говой отметки их не учитываю; в) отметки не выставляю, т. к. это несамостоятельная работа. 8. Считаете ли Вы, что успеваемость учащихся - показатель про фессионализма учителя: 9. Как Вы для себя решает проблему существования среднего бал ла в классах: а) предъявляю ко всем неукоснительно одинаковые требования; б) стараюсь избежать этого, но часто ловлю себя на том, что иду на поводу; 10. Из предложенных утверждений выберите одно, с которым сог ласны: а) девочки, в основном, прилежнее мальчиков, что отражается в отметках, б) мальчики по природе способнее девочек, но менее усидчивы, что сказывается на отметках; 11. Считаете ли Вы правильным, что отметки оглашаются в классе: а) считаю это обязательным; 12. Считаете ли Вы правильным обсуждение успеваемости отдель ного учащегося на родительском собрании: а) да, это помогает родителям адекватно оценить своего ребенка; 13. Записываете ли Вы в дневник отметку сразу после ее выстав ления? Поясните свой ответ: 14. Как решается проблема отметок администрацией Вашей школы: а) действиям учителей предоставляется полная свобода; б) администрация заинтересована в отметках для поддержания ав торитета школы; 1. Многообразие форм контроля знаний, умений, навыков учащихся (фронтальный опрос, программированный опрос и др. ). 2. Использование на уроке многообразных форм оценивания уча щихся (оценочных суждений, отметок) 3. Комментирование выставляемых отметок в соответствии с нор мами. 5. Индивидуально-дифференцированный подход к ученику в отноше нии мер воздействия через отметку. 6. Точность формулировок вопросов в понятной для учащихся фор ме. 7. Оценивание знаний и умений учащихся непосредственно после ответа. 8. Терпеливость в общении с отвечающим, проявление педагоги ческого такта в ситуациях, вызывающих раздражение 9. Разумная мера помощи учащемуся со стороны учителя во время опроса (наводящие вопросы и др. ) 10. Широкое распределение внимания на всех задействованных в опросе учеников 11. Воспринимает ли учитель реакцию ученика на свои вопросы. 12. Замечает психофизическое состояние детей в ситуации опроса. 13. Организовано ли учителем наблюдение учащихся за ответами одноклассников. 14. Поддержание дисциплины в классе в момент опроса учащихся. 15. Включение в опрос максимального количества учащихся. 16. Эмоциональное сопереживание с отвечающим, проявление заин тересованности в качестве ответа. 17. Выставление отметок в журнал за выполнение письменных до машних работ. 19. Позитивная реакция учителя на оспаривание учеником отметки. 20. Независимость оценивания от внешних и внутренних факторов (настроения, самочувствия, наличия конфликтов с учащимися, пове дения учеников на уроке и др. ). 21. Равномерное поурочное оценивание учащихся с различной ус певаемостью. 22. Привлечением учащихся к обсуждению выставляемых отметок. 23. Организация на уроке самоконтроля и самооценки результатов учебной деятельности. 25. Непродуктивное преобладание времени опроса учащихся над другими этапами урока. 26. Отсутствие в журнале графических показателей затруднений учителя при выставлении отметок (стирание, исправление, подстав ление отметок). 27. Соответствие четвертных отметок текущим (в отличии от выс тавления четвертной по двум текущим, по последним отметкам в чет верти, вывода средне-арифметического и др. ). 28. Преобладание способов побуждения учащихся к деятельности в ситуации опроса (комментарии, вызывающие положительные чувства в связи с проделанной работой) над способами принуждения (напомина ние об отметке, резкие замечания, нотации и др. ). 30. Организация учителем деятельности учащихся по исправлению текущих неудовлетворительных отметок. 31. Внешнее проявление уверенности при выставлении отметок. 32. Отсутствие шаблонности в форме вопросов педагога, вызываю щих автоматизацию ответа учащегося. 33. Соблюдение временного регламента проверки и выставления отметок за самостоятельные письменные работы в журнал, сообщение результатов учащимся в оптимальные сроки. 34. Предпочитает ли учитель не ставить неудовлетворительные отметки в классный журнал. 35. Использование педагогом при опросе наглядных пособий и оборудования. Уважаемые коллеги, отнесите каждый из предложенных показателей эффективности учебного процесса к одной из шкал: 31 ШКАЛА 0 - оптимальная стратегия опроса учащихся учителем. 32 ШКАЛА 0 - оценивание учителем результатов учебной 33 ШКАЛА 0 - формирование учителем балльных оценок учащихся. ----T-------------------T------------------T--------------------¬ ¦ ¦ стратегия опроса ¦ собственно ¦ фиксирование ¦ ¦ № ¦ учащихся учителем ¦ оценивание ¦ балльных оценок ¦ ¦ ¦ 3ШКАЛА 1. 0 ¦ 3ШКАЛА 2. 0 ¦ 3ШКАЛА 3. 0 ¦ +---+-------------------+------------------+--------------------+ ¦ 1. ¦ ¦ ¦ ¦ ¦ 2. ¦ ¦ ¦ ¦ ¦ 3. ¦ ¦ ¦ ¦ ¦ 4. ¦ ¦ ¦ ¦ ¦ 5. ¦ ¦ ¦ ¦ ¦ 6. ¦ ¦ ¦ ¦ ¦ 7. ¦ ¦ ¦ ¦ ¦ 8. ¦ ¦ ¦ ¦ ¦ 9. ¦ ¦ ¦ ¦ ¦10. ¦ ¦ ¦ ¦ ¦11. ¦ ¦ ¦ ¦ ¦12. ¦ ¦ ¦ ¦ ¦13. ¦ ¦ ¦ ¦ ¦14. ¦ ¦ ¦ ¦ ¦15. ¦ ¦ ¦ ¦ ¦16. ¦ ¦ ¦ ¦ ¦17. ¦ ¦ ¦ ¦ ¦18. ¦ ¦ ¦ ¦ ¦19. ¦ ¦ ¦ ¦ ¦20. ¦ ¦ ¦ ¦ ¦21. ¦ ¦ ¦ ¦ ¦22. ¦ ¦ ¦ ¦ ¦23. ¦ ¦ ¦ ¦ ¦24. ¦ ¦ ¦ ¦ ¦25. ¦ ¦ ¦ ¦ ¦26. ¦ ¦ ¦ ¦ ¦27. ¦ ¦ ¦ ¦ ¦28. ¦ ¦ ¦ ¦ ¦29. ¦ ¦ ¦ ¦ ¦30. ¦ ¦ ¦ ¦ ¦31. ¦ ¦ ¦ ¦ ¦32. ¦ ¦ ¦ ¦ ¦33. ¦ ¦ ¦ ¦ ¦34. ¦ ¦ ¦ ¦ ¦35. ¦ ¦ ¦ ¦ L---+-------------------+------------------+-------------------- 2Экспертные оценки по показателям эффективности учебного процесса ш1. 0 -----------T-----------------------------------T-----------¬ ¦ Вариант А¦ 3Эксперты 0 ¦ ¦ +----------+---T---T---T---T---T---T---T---T---+Номер шкалы¦ ¦ №/№ ¦ 1 ¦ 2 ¦ 3 ¦ 4 ¦ 5 ¦ 6 ¦ 7 ¦ 8 ¦ 9 ¦ ¦ +----------+---+---+---+---+---+---+---+---+---+-----------+ ¦ 1. ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ ¦ 2. ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ ¦ 3. ¦ 2 ¦ 3 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ ¦ 4. ¦ 2 ¦ 1 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 5. ¦ 2 ¦ 1 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 6. ¦ 1 ¦ 1 ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 7. ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 8. ¦ 1 ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 9. ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 10. ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 0 ¦ 0 ¦ 1 ¦ ¦ 11. ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 12. ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ ¦ 13. ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 14. ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ ¦ 15. ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 1 ¦ ¦ 16. ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 17. ¦ 3 ¦ 2 ¦ 3 ¦ 3 ¦ 3 ¦ 3 ¦ 3 ¦ 3 ¦ 3 ¦ 3 ¦ ¦ 18. ¦ 3 ¦ 3 ¦ 2 ¦ 3 ¦ 3 ¦ 3 ¦ 3 ¦ 2 ¦ 3 ¦ 3 ¦ ¦ 19. ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ ¦ 20. ¦ 2 ¦ 1 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 21. ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 22. ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ 1 ¦ 3 ¦ 1 ¦ 2 ¦ ¦ 23. ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 24. ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 25. ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 26. ¦ 3 ¦ 2 ¦ 3 ¦ 3 ¦ 3 ¦ 2 ¦ 3 ¦ 0 ¦ 3 ¦ 3 ¦ ¦ 27. ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ 2 ¦ 2 ¦ ¦ 28. ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 29. ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 30. ¦ 1 ¦ 2 ¦ 1 ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 3 ¦ 1 ¦ 1 ¦ ¦ 31. ¦ 2 ¦ 3 ¦ 2 ¦ 2 ¦ 2 ¦ 3 ¦ 2 ¦ 1 ¦ 2 ¦ 2 ¦ ¦ 32. ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ ¦ 33. ¦ 3 ¦ 1 ¦ 3 ¦ 3 ¦ 3 ¦ 0 ¦ 3 ¦ 0 ¦ 3 ¦ 3 ¦ ¦ 34. ¦ 3 ¦ 1 ¦ 1 ¦ 3 ¦ 3 ¦ 3 ¦ 1 ¦ 1 ¦ 3 ¦ 3 ¦ ¦ 35. ¦ 1 ¦ 1 ¦ 1 ¦ 0 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ 1 ¦ L----------+---+---+---+---+---+---+---+---+---+----------- 1 - 3ШКАЛА 1. 0 - стратегия опроса учащихся учителем; 2 - 3ШКАЛА 2. 0 - собственно оценивание учителем результатов учебной деятельности школьников; 3 - 3ШКАЛА 3. 0 - фиксирование учителем балльных оценок учащихся в школьной документации. Результаты кластерного анализа показали согласованность экс пертов. Первый кластер образуют оценки 1, 3, 4, 5, 6, 7, 9 экспертов, второй - 2 и 8. |
|
© 2007 |
|