Позитивные измененияБизнес

Оценка социального возврата на инвестиции (SROI) на примере проекта «Начни свое дело»

Подход к оценке социального возврата на инвестиции (SROI) активно используется во всем мире для социальных проектов, включая социальное предпринимательство. Благодаря SROI доноры и инвесторы получают не только понимание экономической устойчивости проектов, но и непосредственной пользы и значимости для людей, что и является задачей модели социального предпринимательства. В данной статье мы хотели бы рассказать, как и зачем проводилась оценка для проекта «Начни свое дело» компании «ОМК».

Что такое социальный возврат на инвестиции (SROI)

Социальный возврат на инвестиции (SROI) — подход к анализу инвестиционной эффективности социальных проектов и программ, который позволяет измерять и учитывать ценность в широком смысле слова. Он представляет собой усовершенствованную модель финансового анализа «затраты-выгоды» (CBA) и позволяет сопоставить вложенные в проект или программу средства с ценностью социальных, экономических и экологических результатов, которые создает этот проект для людей¹. Метод SROI основан на определенных принципах и стандартах.

1. Social Value International (The Global Network for Social Value and Impact Management). Retrived from: https://socialvalueint.org/ (accessed: 21.09.2022)

Стейкхолдеры (люди, чьи интересы затронуты проектом) находятся в центре анализа SROI, что позволяет измерить изменения, действительно важные для людей и организаций, которые их достигают, и для которых они достигаются. В рамках анализа SROI для передачи ценности результатов для стейкхолдеров используются денежные единицы, что делает возможным расчет показателя «возврата на инвестиции» путем сопоставления суммы ценности всех результатов проекта со всеми инвестициями в его реализацию.

Например, соотношение 3:1 означает, что, вложив 1 рубль в некий проект или деятельность, мы получим 3 рубля в виде созданных этим проектом или деятельностью ценностей для людей.

Денежные единицы в социальном возврате на инвестиции — это единица измерения ценности, а не стоимости результатов, использование которой позволяет сравнить результаты проекта с вложенными в него ресурсами и сделать вывод о его инвестиционной эффективности.

Положительный показатель SROI больше 1, например, 2:1, говорит о том, что социальный проект имеет положительные результаты, которые в два раза превосходят по ценности сумму вложенных в него средств. SROI меньше единицы не обязательно говорит о том, что проект не эффективен, возможно, инвестиции в него еще не достигли точки «окупаемости» и требуется дальнейший анализ. И наконец, любое отрицательное значение SROI говорит о том, что проект неэффективен, потому что его отрицательное воздействие превосходит положительное.

Существуют два вида оценки социального возврата на инвестиции:

• оценочный (evaluative SROI) — когда коэффициент SROI рассчитывается ретроспективно на основании фактических результатов, которые уже были достигнуты;
• прогнозный (forecast SROI) — когда мы пытаемся спрогнозировать, какой объем социальных ценностей будет создан, если наша деятельность достигнет запланированных результатов.

Прогнозная оценка SROI особенно полезна на этапе планирования деятельности. Благодаря ей можно понять, как максимизировать воздействие социальных инвестиций и определить, какие показатели нужно будет отслеживать и измерять в ходе реализации проекта или деятельности.

Основная задача SROI — предоставить информацию инвесторам и социальным предпринимателям для принятия управленческих решений, управления результатами. Инвесторам анализ дает возможность увидеть различные сценарии развития проекта, скорректировать воздействие или методы работы проекта.

Подход к оценке социального возврата на инвестиции может быть использован как для больших масштабных проектов, так и для небольших предприятий, он универсален и может адаптироваться под конкретные задачи и ресурсы. Самая затратная часть анализа — это монетизация и построение модели SROI. Обычно именно эта часть интересует инвесторов и доноров. При этом во многих случаях достаточно ограничиться построением теории изменений, определением круга стейкхолдеров и результатов для них. Для стартапов и малых предпринимателей будет достаточно реализации первых нескольких шагов анализа. Такой анализ не потребует значительных усилий и ресурсов и будет очень полезен для понимания воздействия, оказываемого деятельностью предпринимателей.

Стоимость работы по оценке SROI зависит от масштаба проекта, его охвата по стейкхолдерам, по регионам. А также от той степени погружения, которая требуется заказчику, и от необходимости делать монетизацию и рассчитывать модель SROI. Как и в любом исследовании, большая часть ресурсов требуется на сбор данных, на проведение интервью, на вовлечение самих участников. Наиболее трудоемкими и затратными являются проекты по оценке инфраструктурных программ, грантовых конкурсов, длительных комплексных программ с широким фокусом воздействия.

Дополнительные расходы потребуются, если необходимо сделать независимую верификацию результатов оценки.

Руководство по применению SROI опубликовано на сайте организации-основоположника подхода Social Value International: https://www.socialvalueint.org/guide-to-sroi/.

Принципы SROI

SROI — подход, который допускает разнообразие используемых методов сбора и анализа данных при условии соблюдения единых принципов.

Таблица 1. Принципы SROI и их реализация в оценке программы «Начни свое дело»

Этапы исследования и взаимодействие со стейкхолдерами

Рассмотрим реализацию принципов и подхода SROI на конкретном примере. Оценка была проведена для компании «ОМК», которая занимается поддержкой социальных предпринимателей в городах своего присутствия. Программа «Начни свое дело» реализуется с 2016 года, она была запущена последовательно в трех городах: Чусовой (Пермский край) — в 2016 году, Благовещенск (Республика Башкортостан) — в 2017 году и Выкса (Нижегородская область) — в 2018 году. Оценка социального возврата на инвестиции по программе «Начни свое дело» проводилась в мае-июне 2021 года и включала несколько этапов.

Выбор объекта оценки и определение стейкхолдеров

Вовлечение стейкходеров является основополагающим принципом SROI. Под стейкхолдерами понимаются все, на кого воздействует программа и кто воздействует на нее. Во внимание принимают довольно широкий круг стейкхолдеров, включая тех, которые не вовлечены непосредственно в деятельность проектов. Такой подход позволяет собрать больше информации, шире и глубже увидеть процессы. Однако на практике эксперты сталкиваются с различными ограничениями, связанными со сбором данных. Поиск оптимального баланса ресурсов и охвата стейкхолдеров, то есть глубиной оценки, — важная задача эксперта по оценке.

В нашем примере было принято решение включить в число стейкхолдеров программы непосредственно социальных предпринимателей, сотрудников, для которых они создали рабочие места за время реализации программы (сбор данных проводился через социальных предпринимателей), а также местные сообщества (сбор данных проводился через Центры инноваций социальной сферы в регионах и местные администрации).

Анализ SROI по программе «Начни свое дело» проходил в очень сжатые сроки, и с этим связаны серьезные ограничения в определении и включении в анализ существенных стейкхолдеров программы.

В таблице представлены основные стейкхолдеры программы «Начни свое дело», описано возможное воздействие на них и представлена информация о том, были ли они включены в анализ и почему (См. Таблица 2).

Таблица 2. Анализ стейкхолдеров программы «Начни свое дело»

Поскольку социальные предприниматели являются основной целевой аудиторией программы «Начни свое дело», было принято решение сосредоточиться на них, а для других групп стейкхолдеров принимать во внимание при расчете SROI только чисто экономические результаты в виде налоговых отчислений СП и доходов людей, которых они трудоустроили. Такое решение соответствует первому принципу SROI — вовлекать стейкхолдеров — и пятому — не переоценивать свой вклад: поскольку фактически ни сотрудники СП, ни местные сообщества не были доступны исследователям, были учтены для них только те результаты, которые можно было установить без их непосредственного участия.

Кроме того, в анализ и расчеты не были ни в каком виде включены результаты для клиентов — пользователей товаров и услуг социальных предпринимателей, поскольку они также не были доступны исследователям.

При таком ограничительном подходе к результатам программы, исследователи приняли решение также скорректировать вклады в программу и не учитывать в основном расчете гранты и инвестиции в социальные предприятия из других источников. Таким образом, в качестве вклада в программу приняты только все расходы на реализацию программы со стороны компании «ОМК».

Таким образом, в анализ SROI включены полные данные о результатах программы у социальных предпринимателей и только экономические результаты для местных сообществ и сотрудников социальных предприятий.

Построение карты результатов

На основании данных, полученных из документов программы и интервью с ее сотрудниками в компании «ОМК», был подготовлен проект карты результатов программы для СП, который отражал основные направления деятельности и изменения, которые планировались в результате этих видов деятельности. Проект был проверен и уточнен со стейкхолдерами на следующем этапе работы.

На рисунке 1 представлена карта результатов программы «Начни свое дело», включенных в анализ по итогам качественного этапа исследования с учетом его ресурсных и временных ограничений.

Рисунок 1. Карта результатов программы «Начни свое дело», включенных в анализ

Сбор качественных данных

Целью этого этапа является уточнение результатов, получение информации о том, как достигаются изменения у стейкхолдеров, какие положительные и отрицательные результаты связаны с деятельностью.

В рамках качественного этапа исследования были проведены интервью с представителями местных администраций и Центров инноваций социальной сферы регионов, в которых реализуется программа, а также с экспертами программы и фокус-группы с социальными предпринимателями. Сбор информации в фокус-группах на данном этапе исследования проходил в соответствии с принципом насыщения — когда большая часть информации на фокус-группах стала повторяться, а доля новых существенных фактов стала минимальной, этап был завершен.

По итогам фокус-групп, помимо очевидного результата, связанного с ростом личных доходов социальных предпринимателей, был установлен ряд других важных для них показателей.

За счет обучения и участия в индивидуальных акселерационных программах участники программы смогли приобрести уникальные знания и навыки в области социального предпринимательства. Этот результат можно считать промежуточным для других результатов проекта, однако в ходе фокус-групп выяснилось, что он сам по себе представляет ценность для СП, даже если их бизнес оказался не таким удачным, как предполагалось.

Несмотря на доступность различных материалов по СП онлайн и наличие формальных центров поддержки СП, например, в виде Центров инноваций социальной сферы, участники отметили, что нигде нет такой комплексной программы обучения, которая давала бы необходимые и достаточные знания для перехода от теории к практике.

Особую ценность для участников программы представляет индивидуальное общение с менторами и экспертами в акселерационной программе для победителей конкурса. Этот формат они признали уникальным и недоступным в других местах.

Среди существенных результатов, учитываемых в дальнейшем анализе, были такие:

• Рост профессиональных навыков и знаний;
• Личное благополучие;
• Баланс рабочего и свободного времени;
• Стресс, связанный с ответственностью;
• Связь с сообществом социальных предпринимателей;
• Уровень доходов.

Сбор количественных данных

В оценке учитывались следующие показатели:

• Число рабочих мест, в том числе для людей с инвалидностью;
• Объемы налоговых отчислений и страховых выплат в ФОТ;
• Динамика прибыли предприятий;
• Уровень доходов предпринимателей, его изменение в связи с программой;
• Привлеченное финансирование из других источников.

Помимо информации о социальных результатах — изменениях в жизни социальных предпринимателей, а также экономических результатов для их сотрудников и местных сообществ, анкеты содержали также фактологическую информацию о работе социальных предприятий, чтобы лучше представить продукты деятельности, реализованной в рамках программы, и информацию о дополнительных составляющих модели SROI (воздействие программы, монетизация результатов и т. д.).

Некоторые количественные данные, использованные как в описательной части отчета, так и в модели SROI, были собраны на основании информации, предоставленной местными администрациями городов и Центрами инноваций социальной сферы. В частности, это данные, связанные с объемом налоговых отчислений и страховых выплат на фонд оплаты труда от социальных предприятий, которые получили поддержку по программе «Начни свое дело».

Учет воздействия программы

Социальные проекты и программы всегда учитывают определенный региональный и местный контекст, поэтому при анализе их результатов очень важно рассматривать влияние других факторов. Например, на анализируемую программу могут оказывать действие другие проекты и организации, общая социально-экономическая обстановка и, несомненно, характеристики и особенности самих участников программы.

Такой подход позволяет смоделировать картину социального воздействия, более объективно отражающую реальность. Полученная в результате информация позволяет эффективнее управлять воздействием.

Как правило, при анализе SROI учитываются следующие аспекты воздействия:

«Мертвый груз» (по данным, полученным в контрольной группе) — в каком объеме результаты могут быть достигнуты при отсутствии программы или проекта;

Атрибуция — в каком объеме свой вклад в достижение результата вносят другие организации и проекты;

Перенос результата — в каком объеме проект не решает проблему, а переносит ее в другую область — на другой географический район, другую группу людей и т. д.;

Сокращение результата — если результат продолжает существовать после завершения проекта, в течение какого времени он будет по-прежнему связан с проектом, и как эта связь будет ослабевать с каждым годом. Это не обязательно означает, что результат у людей будет тоже убывать — просто он будет уже больше связан с другими факторами: их самостоятельной работой, новыми проектами, в которых они будут участвовать и т. д.²

2. The Guide to SROI. Retrieved from: https://www.socialvalueint.org/guide-to-sroi/ (accessed: 21.09.2022)

В ходе обсуждения в фокус-группах не было отмечено какихлибо возможностей для переноса результата на другую группу стейкхолдеров, а для того, чтобы учесть «мертвый груз» и атрибуцию, в анкету был включен вопрос о воздействии, при ответе на который респондентам было предложено указать, насколько достижение ими тех или иных результатов связано с их участием в программе «Начни свое дело». Соответствующий показатель воздействия программы был включен в расчет SROI в качестве элемента модели, и далее модель была протестирована на чувствительность к нему (см. ниже).

Все результаты оценивались ретроспективно за 5 лет реализации программы — с 2016 по 2020 год включительно, и расчет на будущее не проводился. По итогам обсуждений с СП в фокусгруппах, а также исходя из опыта оценки аналогичных программ и проектов, исследователи решили, что в среднем связь результатов с программой сокращается на 20–25% в год для разных городов. Этот показатель был включен в модель по расчету SROI и модель была так же протестирована на чувствительность к нему (см. ниже).

Ценность результатов и монетизация, использованный метод расчета

Важным этапом анализа социального возврата на инвестиции является так называемая монетизация результатов — поиск и определение финансовых «прокси» (англ. proxy — представительная переменная, букв. «показатель, представляющий другой показатель»), которые будут обозначать ценность результатов, которые не имеют «рыночной стоимости» для стейкхолдеров. Следует отметить, что в данном случае речь идет не о стоимости или цене этих результатов, а об их потребительской ценности — насколько они соответствуют потребностям и запросам стейкхолдеров, для которых они достигаются.

В практике SROI допускается использование готовых прокси, которые уже применялись в других отчетах, если группа стейкхолдеров, для которых определялись прокси, схожа с анализируемой.

Важно отметить, что финансовые прокси, обозначая потребительскую ценность разных результатов одного проекта для одной группы людей, должны соотноситься с относительной важностью этих результатов. Для этого рекомендуется использовать якорный метод расчетов прокси, когда за основу берется прокси одного результата, который может быть получен любым из перечисленных выше методов, а другие прокси рассчитываются на основании значения «якорного» прокси при помощи «весов» — показателей относительной важности разных результатов для стейкхолдеров в процентах или любых других единицах.

Именно такой подход был использован при определении прокси социальных результатов для стейкхолдеров программы «Начни свое дело». За основу («якорь») расчета был взят показатель изменения ежемесячного дохода социальных предпринимателей.

В качестве «весов» для расчета ценности других результатов использовались средние показатели важности результатов и показатель воздействия программы — насколько результат по мнению СП связан с их участием в программе.

Построение модели и расчет SROI

На основании полученных данных количественного исследования была построена модель и рассчитан показатель социального возврата на инвестиции по каждому городу — Чусовой, Благовещенск, Выкса — и объединенная модель в целом по программе.

Модель была построена по данным за 5 лет реализации программы «Начни свое дело» по состоянию на текущий момент, без прогнозирования социальных и экономических результатов на будущее в соответствии с принципом «не переоценивать свой вклад».

Для расчета ценности социальных результатов по годам финансовые прокси, скорректированные на воздействие программы, умножались на количество социальных предприятий/ рабочих мест, получивших поддержку в соответствующий год.

Поскольку в ходе фокус-групп с социальными предпринимателями выяснилось, что даже те, чьи проекты получили поддержку в первый год, до сих пор связывают результаты своей работы с программой, в рамках 5 лет реализации программы результаты учитывались нарастающим итогом. Модель была протестирована на чувствительность к разным показателям — результаты тестирования включены в отчет.

Значение показателя социального возврата на инвестиции в программу «Начни свое дело» во всех случаях является положительным и превышает 1, что свидетельствует об инвестиционной эффективности данной социальной программы. Всего за 5 лет реализации совокупная ценность результатов программы составила свыше 144 000 000 рублей, что соответствует показателю SROI 4:1, что значит, что на каждый вложенный в программу рубль в ней создаются результаты, ценность которых составляет порядка четырех рублей в денежном выражении.

Следует отметить, что показатель тем больше, чем дольше идет программа в городе: растет число социальных предприятий, большинство из них продолжают функционировать по завершении финансовой и менторской поддержки от ОМК, но при этом результаты их работы сохраняют связь с программой.

Программа «Начни свое дело» эффективна с инвестиционной точки зрения: без учета социальных результатов показатель SROI является положительным и составляет не менее 1,6:1 в целом по программе; с учетом социальных результатов показатель SROI по программе составляет не менее 4:1.

Юлия Ходорова, руководитель направления исследований БФ «Культура благотворительности»

Assessment of the Social Return on Investment (SROI), Case: Start Your Own Business Project

The Social Return on Investment (SROI) approach is actively used worldwide for social projects, including social entrepreneurship. Thanks to SROI, donors and investors gain an understanding not only of the economic sustainability of projects, but also of the direct benefit and importance to the people, which is the ultimate goal of the social enterprise business model. In this article, we would like to describe how and why the evaluation was conducted for OMK’s Start Your Own Business project.

What is social return on investment (SROI)

Social Return on Investment (SROI) is an approach to analysis of the investment effectiveness of social projects and programs, which measures and accounts for value in a broad sense. It is a refinement of the Cost-Benefit Analysis (CBA) model that allows us to compare the money invested in a project or program with the value of the social, economic and environmental outcomes that the project creates for people¹. The SROI method is based on certain principles and standards.

1. Social Value International (The Global Network for Social Value and Impact Management). Retrived from: https://socialvalueint.org/ (accessed: 21.09.2022)

Stakeholders (the people whose interests are affected by the project) are at the focus of the SROI analysis, allowing you to measure the changes that really matter to the people and organizations that achieve them and for whom they are achieved. SROI analysis uses monetary units to communicate the value of outcomes to stakeholders, which makes it possible to calculate the Return on Investment metric by comparing the value of all project outcomes to all investments in its implementation.

For example, a ratio of 3:1 means that if we invest 1 ruble in a project or activity, we will receive 3 rubles in the form of value created by that project or activity for the people.

Monetary unit in the Social Return on Investment is a unit of value, rather than cost, of outcomes, the use of which allows us to compare the performance of a project with the resources invested in it and to draw a conclusion about its investment efficiency.

A positive SROI greater than 1, such as 2:1, means that the positive outcomes of the social project are twice the value of the money invested in it. SROI less than one does not necessarily indicate that the project is not effective, perhaps the investment in it has not yet reached the point of return and requires further analysis. Finally, any negative SROI value indicates that the project is ineffective because its negative impact exceeds its positive impact.

There are two types of Social Return on Investment estimates:

• evaluative SROI, when the SROI coefficient is calculated retrospectively based on actual outcomes that have already been achieved;
• forecast SROI, when we try to predict how much social value will be created if our activities achieve the planned outcomes.

SROI is particularly useful in the planning phase. It gives an idea on how to maximize the impact of social investments and determine which metrics will need to be monitored and measured during the course of a project or activity.

The main task of SROI is to provide information enabling investors and social entrepreneurs to make management decisions and manage outcomes. For investors, the analysis provides an opportunity to see different scenarios for the development of the project, to adjust the impact or methods of operation of the project.

The Social Return on Investment approach can be used for large-scale projects as well as for small enterprises, it is versatile and can be adapted to specific tasks and resources. The most costly part of the analysis is the monetization and construction of the SROI model. This is usually the part that investors and donors are interested in. In many cases, it is enough to develop a theory of change, define the stakeholder circle and the outcomes received by the stakeholders. For startups and small businesses, the implementation of the first few steps of this analysis is sufficient. Such an analysis would require little effort and resources, and would be very useful in understanding the impact produced by the entrepreneurs’ activities.

The cost of SROI assessment work depends on the scale of the project, its coverage by stakeholders and by region, on the degree of immersion that the customer requires, and on the need to monetize the project and to calculate the SROI model. As with any research study, most of the resources are required to collect data, to conduct interviews, and to involve the participants themselves. The most time-consuming and costly projects are those related to evaluating infrastructure programs, grant competitions, and long-term comprehensive programs with a broad focus of impact.

Additional costs will be incurred if independent verification of assessment results is required.

The SROI application guide is published on the website of the founding organization of the Social Value International approach: https://www.socialvalueint.org/guide-to-sroi/.

SROI principles

SROI is an approach that allows for a variety of data collection and analysis methods as long as the same principles are followed.

Table 1. The SROI Principles and Their Implementation in the Evaluation of the Start Your Own Business Program

Research stages and stakeholder engagement

Let’s look at the implementation of the SROI principles and approach with a specific example. The evaluation was conducted for OMK, a company supporting social entrepreneurs in the cities where it operates. The Start Your Own Business program has been in place since 2016, and was launched sequentially in three localities: Chusovoy (Perm Krai) in 2016, Blagoveshchensk (Republic of Bashkortostan) in 2017 and Vyksa (Nizhny Novgorod Region) in 2018. The Start Your Own Business program’s social return on investment was evaluated in May-June 2021 and included several steps.

Selection of the object of evaluation and identification of stakeholders

Stakeholder involvement is a fundamental principle of SROI. Stakeholders are defined as everyone who is affected by the program and who affects it. A fairly wide range of stakeholders is taken into account, including those who are not directly involved in the activities under the projects. This approach allows us to gather more information and to see processes more broadly and deeply. In practice, however, experts encounter various constraints related to data collection. Finding the optimal balance of resources and stakeholder coverage, i.e., depth of evaluation, is an important task for the evaluator.

In our example, it was decided to include the social entrepreneurs themselves, the employees for whom they created jobs during the program (data collection was conducted through the social entrepreneurs), and local communities (data collection was conducted through the Social Innovation Centers in the regions and local administrations) among the program stakeholders.

The Start Your Own Business SROI analysis was conducted within a very tight timeframe, and there are serious limitations in identifying and including significant program stakeholders in the analysis.

The table presents the key stakeholders in the Start Your Own Business program, describes the possible impact on them, and provides information on whether and why they were included in the analysis (See Table 2).

Table 2. Stakeholder Analysis of the Start Your Own Business Program

Since social entrepreneurs are the main target audience of the Start Your Own Business program, it was decided to focus on them, while taking into account purely economic outcomes (in the form of tax deductions by SE and income of their employees) for other stakeholder groups in the SROI calculation. This decision is consistent with the first principle of SROI, to involve stakeholders, and the fifth, not to over-claim: since neither the SE staff nor the local communities were actually available to researchers, only those outcomes that could be established without their direct involvement were taken into account for them.

In addition, the outcomes for customers (users of goods and services provided by social entrepreneurs) were not included in the analysis and calculations in any form, because they were not available to researchers either.

With this restrictive approach to program outcomes, the researchers also decided to adjust contributions to the program and not include grants and investments in social enterprises from other sources in the main calculation. Thus, only all of OMK’s expenditures on the implementation of the program are accepted as a contribution to the program.

Thus, the SROI analysis includes complete data on program outcomes for social entrepreneurs and only economic outcomes for local communities and employees of social enterprises.

Creating a scorecard

Based on the data from the program documents and interviews with the staff at OMK, a draft program scorecard was prepared for the SE, which reflected the main activities and changes planned as a result of these activities. The project was tested and refined with stakeholders in the next phase.

The figure 1 presents a scorecard of the Start Your Own Business program included in the analysis from the qualitative phase of the study, taking into account its resource and time constraints.

Figure 1. Scorecard for Start Your Own Business Program Included in the Analysis

Collecting qualitative data

The purpose of this phase is to clarify the outcomes, to obtain information about how changes are achieved with stakeholders, what positive and negative outcomes are associated with the activity.

As part of the qualitative phase of the study, interviews were conducted with representatives of local administrations and Social Innovation Centers in the regions where the program is being implemented, as well as with program experts, and focus groups with social entrepreneurs. The information was collected in focus groups at this phase of the study following the principle of saturation — when most information from the focus group got repeated, and the proportion of new material facts became minimal, the phase was completed.

According to the results of focus groups, in addition to the obvious outcome related to the growth of social entrepreneurs’ personal income, a number of other important metrics for them have been established.

Through training and participation in individual acceleration programs, program participants were able to acquire unique knowledge and skills in the field of social entrepreneurship. This outcome could be considered intermediate to the other outcomes of the project, but focus groups revealed that it was a value in itself to SEs, even if their business was not as successful as anticipated.

Despite the availability of various SE materials online and the existence of formal SE support centers, such as Social Innovation Centers, participants noted that there wasn’t a comprehensive training program available that would provide the necessary and sufficient knowledge to move from theory to practice.

The program participants found personal communication with mentors and acceleration program experts (for contest winners) to be the most valuable. They recognized this format as unique and unavailable elsewhere.

The material outcomes considered in further analysis included the following:

• Growth of professional skills and knowledge;
• Personal well-being;
• Work-life balance;
• Stress related to responsibility;
• Connecting with the social entrepreneur community;
• Income level.

Quantitative data collection

The following metrics were taken into account in the evaluation:

• Number of jobs, including for people with disabilities;
• Volume of tax deductions and payroll insurance payments;
• Corporate profit dynamics;
• The level of income of entrepreneurs and its change related to the program;
• Funding raised from other sources.

In addition to information about social outcomes, such as changes in the lives of social entrepreneurs, as well as economic outcomes for their employees and local communities, the questionnaires also contained factual information about the work of social enterprises to better represent the products of the activities implemented under the program and information about additional components of the SROI model (program impact, monetization of outcomes, etc.).

Some of the quantitative data used in both the report narrative and the SROI model were gathered from information provided by local city governments and the Social Innovation Centers. In particular, this included data related to the volume of tax deductions and payroll insurance payments from social enterprises that received support under the Start Your Own Business program.

Program impact evaluation

Social projects and programs always take into account the specific regional and local context, so it is very important to consider the influence of other factors when analyzing their outcomes. For example, the program being analyzed may be affected by other projects and organizations, the general socio-economic environment, and, of course, by the specifics of the program participants themselves.

This approach allows us to model a picture of social impact that reflects reality more objectively. The resulting information allows one to manage the impact more effectively.

Typically, the following aspects of impact are considered in SROI analysis:

Deadweight (based on the data obtained in the control group) — an estimation of the value that would have been created if the program activities did not happen;

Attribution — to what extent other organizations and projects contribute to the outcome;

Displacement — to what extent the project does not solve the problem, but transfers it to another area (another geographical area, another group of people, etc.);

Drop-off — if the outcome continues to exist after the project, how long it will still be connected to the project, and how that connection will weaken with each year. This does not necessarily mean that the outcomes people get will also decrease, but they will be more related to other factors: their own work, new projects in which they will participate, etc.²

2. The Guide to SROI. Retrieved from: https://www.socialvalueint.org/guide-to-sroi/ (accessed: 21.09.2022)

The focus group discussions did not highlight any opportunities to transfer the outcome to another stakeholder group, and in order to account for deadweight and attribution, the questionnaire included an impact question asking respondents to indicate how much of their achievement of certain outcomes was related to their participation in the Start Your Own Business program. The corresponding program impact metric was included in the SROI calculation as an element of the model, and the model was further tested for sensitivity to the metric (see below).

All outcomes were evaluated retrospectively for five years of program implementation, from 2016 to 2020 inclusive, and forecast calculations were not carried out. Based on discussions with SEs in focus groups and from the experience evaluating similar programs and projects, researchers decided that on average, the correlation of outcomes to the program drops by 20-25% per year for different localities. This metric was included in the SROI calculation model and the model was also tested for sensitivity to the metric (see below).

Value of outcomes and monetization, calculation method used

An important phase in the analysis of social return on investment is the so-called monetization of outcomes — the search for and identification of financial proxies, which will denote the value of outcomes that do not have a market value for stakeholders. It should be noted that in this case we are not talking about the cost or price of these outcomes, but about their use value: how well they meet the needs and demands of the stakeholders for whom they are achieved.

In SROI practice, it is acceptable to use ready-made proxies that have already been used in other reports, as long as the stakeholder group for which the proxies were defined is similar to the one being analyzed.

It is important to note that financial proxies, denoting the consumer value of different outcomes of one project for one group of people, must be related to the relative importance of these outcomes. For this purpose it is recommended to use the anchor method in proxy calculations, when a proxy of one outcome is taken as a basis, which can be obtained by any of the above methods, and other proxies are calculated on the basis of the anchor proxy value using weights, i.e. indicators of relative importance of different outcomes for stakeholders in percentages or any other units.

This was the approach used in determining the proxy for social outcomes for Start Your Own Business stakeholders. The anchor of the calculation was the change in monthly income of social entrepreneurs.

The weights used to calculate the value of the other outcomes were the average importance of the outcomes and the impact of the program: to what extent the SEs perceived the outcome to be related to their participation in the program.

Model development and sroi calculation

Based on the data obtained from the quantitative study, a model was developed and the SROI metric was calculated for each locality (Chusovoy, Blagoveshchensk and Vyksa) and the combined model for the program as a whole.

The model was developed using five years worth of historical data from the Start Your Own Business program to the present moment, without projecting social and economic outcomes for the future, in accordance with the principle “do not over-claim”.

To calculate the value of social outcomes by year, financial proxies adjusted for program impact were multiplied by the number of social enterprises/jobs supported in the respective year.

Since focus groups with social entrepreneurs revealed that even those whose projects received support in the first year still associate the results of their work with the program, the five-years’ program outcomes were taken into account cumulatively. The model was tested for sensitivity to various metrics; the test results are included in the report.

The value of the indicator of social return on investment in the Start Your Own Business program in all cases is positive and exceeds 1, indicating the investment efficiency of this social program. In just five years of implementation, the cumulative value of the program outcomes was more than 144,000,000 rubles, which corresponds to an SROI of 4:1. This means that for every ruble invested in the program it creates about four rubles worth of outcomes.

It should be noted that the longer the program has been going on at a specific locality, the larger a metric becomes: the number of social enterprises is growing, most of them continue to operate after the end of OMK financial and mentor support, but the outcomes of their work remain related to the program.

The Start Your Own Business program is effective from an investment point of view: without taking into account social outcomes, the SROI is positive and is at least 1.6:1 for the whole program; taking into account social outcomes, the SROI for the program is at least 4:1.

Juliya Khodorova, head of research, Giving Culture Foundation

DOI 10.55140/2782-5817-2022-2-3-35-45

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl