Первые шаги в направлении оценки мы сделали еще в самом начале проекта, когда формулировали задачи и ожидаемые результаты.Задачи у нас получились конкретные и измеримые, и результаты тоже измеримые и вполне конкретные.
Так что же даст нам основания считать, что мы достигли поставленной цели, а инвестору- что он не зря потратил деньги, поддержав наш проект?
Конечно, наличие фактических изменений в жизни целевой группы проекта.
Причем зафиксированные!
В результате любого проекта мы получаем два вида результатов: количественные и качественные. Количественные демонстрируют ЧТО СДЕЛАНО, качественные- ЧТО ИЗМЕНИЛОСЬ оттого, что мы сделали.
Рассмотрим на примере.
Мы поставили перед собой цель — повышение конкурентоспособности молодежи на рынке труда, содействие профессиональной и социальной самореализации молодежи.
Достигнутая цель выглядит следующим образом:
Сколько-то учащихся (каких классов, какого возраста, сколько всего?) скольких-то школ (скольких?) приняли участие в комплексе обучающих и мотивирующих мероприятий (сколько было этих мероприятий? сколько времени продолжалось обучение?).
На этих занятиях они приобрели определенные умения и навыки (есть результаты тестов и деловых игр, подтверждающих, что сколько- то процентов от общего числа участников имеют такие-то знания и обладают такими-то умениями и навыками).
Те же тесты и результаты прохождения деловых игр подтверждают, что участники проекта (или их часть — какая?) пользуются полученными
знаниями и умениями достаточно уверенно, чтобы утверждать, что они смогут применить их не только в игровой, но и в реальной ситуации, а значит, смогут быть эффективными при выполнении учебных и п роизводствен н ых задач.
Количественные и качественные изменения целевой аудитории проекта произошли благодаря успешной реализации запланированных нами мероприятий и привели к решению поставленных нами проектных задач. Все результаты — и количественные, и качественные — всегда имеют количественные (числовые) характеристики.
С количественными результатами все понятно, никто не будет возражать против утверждения, что количество выражается числом.
Как это выглядит:
Мы провели анализ имеющихся возможностей и потребностей в получении трудовых навыков школьниками и имеем на руках проверенные данные в виде текстов или сборников в электронной или печатном виде (указываем их количество), которые а) мы сами использовали входе реализации проекта; б) могут быть использованы другими заинтересованными сторонами.
В исследовании приняли участие сколько-то учеников скольких-то школ (точные цифры!), сколько-то учителей и сколько-то родителей.
При проведении исследования были использованы следующие инструменты и методы (далее следует перечисление-анкетирование, опросы, интервью и т.д. с указанием количества участников).
На основании полученных данных сформировали перечень необходимых знаний и умений и перечень имеющихся у целевой аудитории умений и знаний.
Методом простого сравнения выяснили, каких не достает. На основе полученных данных разработали интерактивный обучающий модуль (продолжительностью столько-то часов), позволяющий за отведенное время сформировать у участников определенный набор трудовых и социальных умений или развить имеющиеся до необходимого уровня.
Внедрили учебный модуль в школах. Сколько было участников и сколько школ — это мы сосчитали чуть раньше.
Мы привлекли экспертов, чтобы они помогли нам разработать и внедрить методику (кого мы выбрали в качестве экспертов? сколько было экспертов?) и оценить ее эффективность.
Описание результатов можно прочитать в открытом доступе на сайте (адрес сайта) или в брошюре (объем, тираж, кто стал получателем, как распространялась публикация?).
В презентациях (сколько их было? где проходили?), посвященных результатам проекта, приняли участие (кто? сколько их было?).
Еще одним результатом проекта стала договоренность со школами (сколько их?) о включении нашего модуля в программу следующего учебного года В этой работе будут участвовать волонтеры из числа участников и сторонников проекта (кто эти люди? сколько их?)
Но в результате проекта мы получили не только количественные, но и качественные результаты. Какуже сказано выше, качественные результаты тоже надо выразить ЧИСЛОМ. И здесь многие придут в недоумение: как можно измерить ЧИСЛОМ качественное изменение? Разве можно измерить числом избавление от одиночества или подготовленность подростков ктрудовой деятельности?
Оказывается, не только можно, но и крайне необходимо. Только тогда, когда мы научимся это делать, мы сможем реально понять и оценить, что конкретно и как изменил наш проект. В противном случае все наши утверждения о том, что кто-то стал счастливее или лучше подготовлен к жизни, — просто красивые слова.
Итак, вернемся к примерам:
Благодаря проведенному анализу специалисты, работающие с детьми, стали лучше понимать, каких именно трудовых навыков не хватает школьникам для самореализации (количество специалистов, которые знакомы и используют эти результаты в своей работе, докажет, что это не просто слова, а фактическое изменение, которого мы добились).
Мы создали новую методику и утверждаем, что она эффективнее старых (сравним результаты обучения старыми методами и результаты обучения по нашей методике. В результате такого сравнения выяснится, например, что по старой методике только 50% детей усваивают знания на 100%, а по нашей — все 80%. Что раньше посещаемость занятий была 65%, а у нас 100%). Вот так цифры подтверждают качественное изменение.
Мы внедрили новую методику и утверждаем, что благодаря ее внедрению все, кто учился по этой методике, повысили свои компетенции, стали более подготовленными, а значит, повысилась их конкурентоспособность на рынке труда. Чтобы подтвердить наши красивые слова конкретными цифрами, надо указать, сколько новых компетенций приобретено, сколько подростков стали пользоваться этими компетенциями, насколько быстрее они решают поставленные задачи или насколько меньше технических ошибок совершают. Конечно, чтобы получить эти цифры, нам придется сравнить компетенции участников до обучения и после, убедиться, что компетенций стало больше, а ихуровень-выше (сравнить данные тестов до и после обучения, проанализировать результаты ролевых игр и т.п.).
Безусловно, для того, чтобы получить качественные результаты, выраженные в числах, мы должны уже на этапе разработки проекта подумать, как мы измерим те изменения, которые хотим получить. ВАЖНО провести все необходимые измерения в начале проекта, чтобы в конце нам было с чем сравнивать.
И тогда результат проекта «жить стало веселее» будет выглядеть следующим образом: «В результате проекта жить у нас в деревне стало веселее. 90% жителей отмечают, что они проводят свободное время, занимаясь в клубах и кружках по интересам, тогда как в начале проекта таких было только 10%. Более 70% молодежи деревни утверждают, что они могут реализовать свои творческие интересы, участвуя в мероприятиях, которые проводятся в Клубе, а до начала проекта таких было только 5%….»
Конечно, эти цифры — пример, и мы специально приводим такие впечатляющие цифры изменений. В реальном проекте разница между «до» и «после» может быть небольшой, но даже незначительные изменения ситуации к лучшему очень важны, потому что за этими цифрами стоят живые люди, и каждый их них представляет ценность, и поэтому наши проекты достойны поддержки. Главное, чтобы мы могли обосновать и продемонстрировать эти изменения, а не просто написать слова.
В ходе реализации и после завершения проекта мы будем оценивать наши достижения методом сопоставления запланированных и фактически полученных результатов. Совпадение запланированных и реальных результатов подтвердит, что мы выбрали правильные методы. Соблюдение сроков покажет, что мы все грамотно спланировали. Исполнение бюджета докажет наш профессионализм в планировании расходов и управлении финансами.
Но, чтобы сравнивать, нам нужно изначально обозначить конкретные результаты, которых мы хотим достичь, заложить те самые количественные ориентиры, которые для нас будут означать успех проекта. Например:
Масштаб исследования — не менее 500 школьников, 100 родителей, 50 учителей.
Охват учебных заведений — не менее 5 школ участвуют в проекте и внедряют новую методику. Охват аудитории в рамках обучающего модуля — не менее 50 учащихся в каждой школе.
Формирование базовых компетенций — не менее 3 новых компетенций у каждого участника обучения.
Уровень владения навыками по окончании обучения — не ниже 60% по результатам теста, не менее 50 баллов из 100 возможных по итогам деловой игры.
Ну, итакдалее.
Безусловно, в результате реализации задуманного проекта возможны и расхождения — по срокам, по затратам и даже по качественным и
количественным показателям. Возможно, мы отметим, что участников обучающего модуля, дошедших до финала, оказалось меньше, чем планировалось, но зато качественные изменения их отношения к труду более значительные (это доказывается результатами прохождения тестов и игровых заданий). Или нам удалось оптимизировать затраты, привлечь дополнительные средства и волонтеров, и в результате в проекте участвовало на 20 человек больше, и это здорово. Или пришлось увеличить продолжительность обучающего модуля, чтобы достичь запланированного развития, но этого того стоило. Или появилась необходимость скорректировать содержание модуля, усилить мотивационную часть и увеличить количество игровых компонентов, но это позволило удержать и усилить интерес участников к проекту и, в конечном счете, обеспечило достижение запланированных показателей или даже превзойти их.
Но увидеть эти расхождения и понять, почему они появились, можно только тогда, когда мы точно представляем результаты, которые хотим получить, и то, как мы будем эти результаты измерять.
Для любого эксперта, оценивающего заявки на получение поддержки, важно видеть, что мы точно понимаем, какие результаты хотим получить в рамках своего проекта, и сможем оценить степень их достижения.
Задание для проектных команд: на основе статьи провести оценку своего проекта и представить результаты на онлайн встрече 13 октября.
При подготовке материала использовано пособие «Занимательное проектоведение. Часть 1. «
