Позитивные измененияОбщество

Методика Outcome Mapping

Создание карт поведенческих изменений

Любой социальный проект предполагает мониторинг и оценку его результатов. В идеале система мониторинга и оценки должна закладываться уже на этапе планирования проекта. Около 20 лет назад подразделение оценки канадского IDRC (International Development Research Center — Международного центра исследований в области развития) разработало методику планирования проектов, включая систему мониторинга и оценки. Эта методика базируется на идее, что в основе всех социальных изменений лежит изменение поведения людей и организаций. Методику назвали Outcome mapping. На русский язык это можно перевести как «создание карт поведенческих изменений».

Английское outcome в сфере социального проектирования подразумевает изменение, которое произошло вследствие каких-то действий проекта, но уже не совсем в зоне его контроля. Примерно так: вы дали человеку удочку, но не в ваших силах заставить его рыбачить. Однако если он забросил удочку в воду, значит, проект подействовал и разработчики получили нужный outcome.

Методика «Создание карт поведенческих изменений» основана на системном, а скорее даже на экосистемном подходе. Команда исполнителей социального проекта — это отдельная система. Люди, группы и организации, с которыми она взаимодействует напрямую, находятся на ее внешней границе. В рамках методики Outcome mapping их называют boundary partners. На русский язык этот термин стоит переводить как «непосредственные партнеры проекта».

Создание карт поведенческих изменений предполагает проведение одной или нескольких встреч, на которых происходит планирование как самого проекта, так и системы его мониторинга и оценки. Процесс создания карт поведенческих изменений делится на три этапа.

Этап 1. От миссии до стратегии

На первом этапе разрабатывают видение или миссию проекта и определяют все группы и организации, с которыми проект будет непосредственно взаимодействовать. Для каждой группы или организации создается описание, как должно измениться ее поведение в результате воздействия проекта. В методике IDRC эти описания называются outcome challenge, в русском языке можно использовать термин «ожидаемые изменения».

Далее для каждого партнера составляется список маркеров прогресса — конкретных изменений в поведении, которые можно будет наблюдать в результате воздействия проекта. Все эти поведенческие изменения раскладываются по шкале, и эта шкала измеряет одновременно и сравнительную значимость, и вероятность того, что ожидаемые изменения произойдут с точки зрения команды разработчиков проекта: «мы ожидаем увидеть», «мы будем рады увидеть», «мы будем счастливы увидеть». Очевидно, что шкала эмоционально заряжена, и это ее несомненный плюс. Все-таки социальные проекты — это «про сердце», про искреннее желание что-то изменить к лучшему, и хорошо, когда методика планирования дает людям возможность открыто говорить о своих чувствах.

Затем создатели проекта определяют стратегии для достижения ожидаемых изменений и конкретные принципы работы, которым проект будет следовать. Это интересная особенность методики: она сразу предполагает, что по ходу работы в зависимости от того, как пойдет дело, проекту свои действия придется адаптировать, опираясь на данные мониторинга и оценки.

Пример маркеров прогресса для ожидаемых изменений в поведении местных сообществ в результате программы «Модельный лес».

Ожидаемые изменения

В результате программы мы бы хотели видеть, что местные сообщества понимают важность совместного управления ресурсами в партнерстве с другими потребителями этих ресурсов в регионе и участвуют в планировании соответствующих мероприятий и действий. Эти сообщества заслужили доверие других партнеров и получили признание со стороны представителей власти, благодаря чему могут конструктивно участвовать в обсуждении и принятии решений. Они могут четко планировать и озвучивать свои цели и планы относительно управления лесами, которые соответствуют местной ситуации и потребностям сообщества. По мере необходимости они обращаются за поддержкой к внешним техническим экспертам. Они продвигают идеи модельного леса в своих сообществах и побуждают других партнеров продолжать сотрудничество.

Маркеры прогресса

Мы ожидаем увидеть, что местные сообщества:

1. Участвуют в регулярных встречах с партнерами по программе «Модельный лес» (МЛ).
2. Создают структуру для сотрудничества между партнерами, которая обеспечивает представление всех местных интересов (механизмы создания структуры).
3. Приобретают новые навыки для участия в реализации концепции МЛ.
4. Предоставляют тот минимум человеческих и финансовых ресурсов, который необходим для работы концепции МЛ.

Мы были бы рады видеть, что местные сообщества:

1. Озвучивают видение концепции МЛ, соответствующее местным условиям.
2. Продвигают концепцию МЛ и свой опыт ее применения.
3. Привлекают новых партнеров из числа людей, использующих ресурсы леса.
4. По мере необходимости привлекают внешних экспертов как источник информации или технической поддержки.
5. Просят о проведении дополнительных тренингов и консультаций.
6. Разрабатывают и распространяют кейсы с конкретными примерами пользы от внедрения концепции МЛ.
7. Находят новые возможности для сотрудничества с другими институтами и участниками.
8. Находят новые возможности для получения финансирования и успешно привлекают средства из разных источников.

Мы были бы счастливы видеть, что местные сообщества:

1. Играют роль лидеров в вопросах управления ресурсами, видя при этом среднесрочную и долгосрочную перспективы.
2. Делятся полученными уроками и опытом с другими сообществами на национальном и международном уровнях для продвижения концепции МЛ.
3. Оказывают влияние на обсуждение и формирование национальной политики по вопросам использования и управления ресурсами.

Этап 2. Система мониторинга

Второй этап создания карты поведенческих изменений посвящен разработке системы мониторинга: команда составляет план работы по мониторингу, который определяет, кто, как и когда будет собирать информацию о маркерах прогресса и кто и как будет ее использовать. На этом этапе также составляются три журнала на основании предлагаемых шаблонов: для мониторинга изменений у партнеров, для реализации стратегии и для деятельности, осуществляемой в привязке к выбранным принципам.

Этап 3. План оценки проекта

Третий этап — формирование плана оценки проекта. На этом этапе разработчики проекта определяют, кто и как будет использовать результаты оценки, на какие вопросы нужно ответить, кто и как будет собирать необходимые для этого данные, сроки проведения оценки и ее стоимость. Подробный план оценки необязательно разрабатывать сразу же при планировании проекта, это можно сделать уже в ходе его реализации.

Методику создания карт поведенческих изменений можно назвать очень человечной, потому что все описания в ней сфокусированы на действиях человека и на их эмоциональной оценке. А как уверяют нейропсихологи, человеческому мозгу удобнее всего оперировать именно категориями действий и вообще мозг заточен под наблюдение за другими людьми.

За 20 лет существования методики вокруг нее выросло сообщество пользователей. К сожалению, в России создание карт поведенческих изменений не получило широкого распространения. Возможно, это связано с тем, что IDRC никогда не работал у нас в регионе. На сайте сообщества нет материалов на русском языке. В России сложно найти организацию, которой бы было интересно попробовать методику, потому что консультантов по мониторингу и оценке приглашают, как правило, когда проект уже как минимум разработан и получил финансирование.

До сих пор для многих НКО основной метод разработки проектов — заполнение формы грантовой заявки. Ситуация, когда сначала разрабатывается проект, а потом уже заполняется заявка, у многих вызывает недоумение. Но в будущем, возможно, это изменится.

Методика создания карт поведенческих изменений может быть полезна во многих случаях. Представим, что имеется некий проект, направленный на социальную интеграцию подростков. Как измерить, что эта интеграция произошла? Если описать, какие модели поведения можно наблюдать у социально неинтегрированного и социально интегрированного подростка, это позволит построить систему измерения. Таким образом, методика создания карт поведенческих изменений очень пригодилась бы любой организации, чья деятельность связана с людьми и направлена на то, чтобы изменить мир через поведение людей, которые в нем живут.

Что почитать:

• первое пособие по созданию карты поведенческих изменений (на английском);
• сайт сообщества пользователей методики.

Наталья Кошелева, консультант по мониторингу и оценке, член правления российской Ассоциации специалистов по оценке программ и политик (АСОПП), президент Международной организации сотрудничества в области оценки (2013–2014)

Outcome Mapping, or Creating a map of behavioral changes

Any social project implies monitoring and assessment of its outcomes. In a perfect world, monitoring and assessment system should be included in the project already at the planning stage. Around twenty years ago, the assessment department of the Canadian International Development Research Center (IDRC) developed a method of project planning that includes a monitoring and assessment system. This method is based on a concept that all social changes stem from the changes in the behavior of people and organizations. This method was called Outcome Mapping, which basically means creating maps of behavioral changes.

The word “outcome” in social designing means a change that has occurred due to some activities of a project, but is already beyond its control. It’s like when you give a man a fishing rod, but you cannot make him start fishing. But if he puts out a rod and line, it means the project is a success and the designers have achieved the desired outcome.

Outcome Mapping is based on systemic, or perhaps even ecosystemic approach. A team of project executors is a system in itself. People, groups, and organizations with which it interacts directly are situated on its outside borders. In the terms of Outcome Mapping method, they are called “boundary partners”, or a project’s immediate partners.

Creating a map of behavioral change implies holding one or several meeting in order to devise a system for monitoring and assessment as well as the plan of the project itself. Outcome Mapping process has three stages.

Stage 1. From mission to strategy

The first stage involves coming up with a vision or a mission of a project, and identifying all groups and organizations with which the project will be in direct contact. A separate description is created for each of such group or organization, including a note on how its behavior must change as a result of the project’s implementation. The IDRC method calls such descriptions “outcome challenge”, or, in other words, expected changes.

Then the team compiles a list of “progress markers” for each partner. This list includes specific changes in behavior that can be observed due to the project’s impact. All these behavioral changes are spread across the scale that at the same time measures the comparative value and the probably of the expected changes actually happening according to project designers: “we expect to see”, “we would like to see” and “we would love to see”. It is obvious that such scale is very emotionally loaded, which is its distinctive advantage. After all, social projects involve people giving their hearts with a sincere desire to change something for the best, and it is a good thing when a planning method allows people to openly express their feelings.

Then the project creators define strategies for ensuring the desired changes and specific working principles that the project will adhere to. This is an interesting feature of the method: it implies right from the start that as the project proceeds, the authors will need to adjust their actions based on the data provided by monitoring and assessment system.

An example of progress markets for desired changes in behavior of local communities as an outcome of Model Forest program.

Outcome challenge

The program intends to see local communities that recognize the importance of, and engage in the planning of resource management activities in partnership with other resource users in their region. These communities have gained the trust of the other members of the partnership and the recognition of government officials so that they can contribute constructively to debates and decisionmaking processes. They are able to clearly plan and articulate a vision of their forest management activities and goals that is relative to their context and needs. They call upon external technical support and expertise as appropriate. They act as champions for model forest concepts in their communities and motivate others in the partnership to continue their collaborative work.

Progress markers

Expect to see local communities:

1. Participating in regular Model Forest (MF) partnership meetings.
2. Establishing a structure for cooperation in the partnership that ensures that all local interests are represented (mechanics of setting up the structure).
3. Acquiring new skills for involvement in the MF.
4. Contributing the minimum human and financial resources necessary to get the MF operational.

Like to see local communities:

1. Articulating a vision for the MF that is locally relevant.
2. Promoting the MF concept and their experiences with MFs.
3. Expanding the partnership to include all the main forest users.
4. Calling upon external experts when necessary to provide information or meet technical needs.
5. Requesting new opportunities for training and extension.
6. Producing and disseminating concrete examples of benefits arising from MF examples.
7. Identifying opportunities for collaboration with other institutions and actors.
8. Identifying opportunities for, and successfully obtaining funding from a range of sources.

Love to see local communities:

1. Playing a lead role in resources management with view to long- and medium-term benefits.
2. Sharing lessons and experiences with other communities nationally and internationally to encourage other MFs.
3. Influencing national policy debate and policy formulation on resource use and management.

Stage 2. Monitoring system

The second stage in Outcome Mapping focuses on developing the monitoring system. The team sets up a working plan regarding the monitoring which identifies the actors, the methods and the timings of gathering information on progress markers, as well as who and how will use this data. At this stage, project authors create three journals based on offered templates: for monitoring changes among partners, for strategy implementation, and for the activities that are being conducted in accordance with the chosen principles.

Stage 3. Project assessment plan

The third stage is coming up with a plan for project assessment. At this stage, project designers decide on who and how will use the assessment results, what questions need answering, who and how will collect the data required for evaluation, the timeframe for assessment process, and the related costs. A detailed assessment plan does not necessarily need to be devised immediately during project planning, it can be done on course of its implementation.

The Outcome Mapping method can be considered very human-centered, because all of its descriptions are focused on human activities and on their emotional evaluation. Meanwhile neuropsychologists claim that a human brain finds it most comfortable to operate within the categories of action, and the brain in general is tailored to observe other people. Over the past twenty years since the method was was developed, a whole community of users has grown around it.

Unfortunately, Outcome Mapping failed to get traction among the Russian users. One possible reason is that the IDRC never had any presence in our region. The community website does not have any publications in the Russian language. It is hard to find an organization in Russia that would be interested in trying out the method, because monitoring and assessment consultants are usually invited then the project is at least has already been developed and has received funding.

Up to this day, many NGOs consider filling out an application form for a grant as the primary method for project development. A situation when an organization first develops a project, and only then fills in the application, is often frowned upon. But in the future this may change.

Outcome Mapping, or creating maps of behavioral changes, can prove useful in many ways. Let’s imagine a project that is aimed at social integration of teenagers. How can we assume that the integration has in fact taken place? If we make a description of what behavioral models are typical of socially integrated and non-socially integrated teenagers, it may help us come up with a system of measurement. Therefore, Outcome Mapping method would be of great help to any organization that deals primarily with people and that aims to make the world a better place through the behavior of the people who inhabit it.

Further reading:

• the first guide to Outcome Mapping (in English);
• website of the community that uses this method.

Natalia Kosheleva, monitoring and Evaluation Consultant, member of the Board of the Russian Evaluation Association, former President of the International Organization for Cooperation in Evaluation (2013–2014)

DOI 10.55140/2782-5817-2022-2-1-16-20

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl