Позитивные измененияБизнес

Какой у вас индекс счастья? 

Обзор ежегодной конференции Ассоциации специалистов по оценке программ и политик

Одним из важных событий осени для российских специалистов, чьи профессиональные интересы связаны с оценкой, является ежегодная конференция Ассоциации специалистов по оценке программ и политик. Центральная тема конференции в 2023 году — оценка качества жизни и благополучия. Каким опытом и практиками по вопросам внедрения и применения мониторинга и оценки в социальной сфере делились участники конференции — в нашем материале.

В фокусе — счастье

IX конференция российской Ассоциации специалистов по оценке программ и политик (АСОПП) прошла 17-18 октября 2023 года в онлайн-формате. В этом году на конференции были представлены 42 доклада и проведены 14 тематических и дискуссионных сессий. В работе конференции приняли участие более 500 человек со всех концов России: от Южно-Сахалинска до Калининграда и Махачкалы, отмечают организаторы.

В программе конференции было два главных трека: «Оценка с фокусом на благополучие» и «Оценка социокультурных проектов», а также тематические блоки, посвященные оценке в отдельных областях — например, социальном предпринимательстве, в сфере работы с детьми с особенностями развития, людьми с ограниченными возможностями, а также различными видами хронических заболеваний и т. п. Традиционно несколько сессий было посвящено методологии оценки.

«Программа была очень насыщенной. Было представлено множество интересных и содержательных докладов. Актуальность рассматриваемых вопросов и принципиальность в их обсуждении говорят о том, что интерес к оценке не снижается. Я думаю, что благодаря нашим спикерам и партнерам, которым хочется выразить благодарность, конференция предоставила возможность всем участникам расширить знания, повысить профессиональные компетенции, изучить существующий опыт и ознакомить коллег со своими реально работающими практиками. На мой взгляд, это событие является очень важным и полезным, способствует формированию духа единства сообщества специалистов по оценке и вдохновляет на новые свершения», — отметила Анна Лыгина, президент АСОПП.

Не первый год в работе конференции принимает участие Счетная палата РФ, для которой оценка реализации госпрограмм и госполитики — это одна из функций. В последние годы контролирующий орган активно продвигает доказательный подход.

«В 2021-2022 гг. мы проводили большой конкурс среди государственных и муниципальных служащих по применению доказательного подхода к принятию управленческих решений¹. В 2023 году в партнерстве с Финансовым университетом мы проводим конкурс исследовательских проектов для студентов и аспирантов². Надеемся, что это поможет создать сообщество людей, заинтересованных в оценке, среди студентов, исследователей и тех, кто принимает решения», — сказала на открытии конференции АСОПП Анастасия Ким, замначальника инспекции департамента исследований и методологии Счетной палаты РФ.

¹ Счетная палата Российской Федерации. (2022). Конкурс Счетной палаты Российской Федерации «Практики и инициативы доказательного подхода к принятию управленческих решений» — 2022. Режим доступа: https://ach.gov.ru/page/contest-2022?ysclid=lq6lwqk97z789634494. (дата доступа: 11.12.2023).

² Счетная палата Российской Федерации. (2023). Конкурс исследовательских проектов «Применение доказательного подхода для оценки государственных программ, проектов, мер». Режим доступа: https://ach.gov.ru/statements/konkurs?ysclid=lq6mh5we6i912394087. (дата доступа: 11.12.2023).

Центральной темой конференции в этом году стала оценка качества жизни и благополучия. Еще в 1960-х гг. исследователи стали приходить к выводу, что валовой внутренний продукт (ВВП) и уровень жизни не являются теми идеальными показателями, которые должны описывать жизнь общества и отдельного индивида. Так появился концепт «качество жизни», ориентированный на комплексную оценку различных, в том числе и нематериальных, сфер жизни общества³.

³Алмакаева, А. (2018). Как исследуют качество жизни? 21.05.2018. ПостНаука. Режим доступа: https://postnauka.org/faq/86535. (дата доступа: 11.12.2023).

А в 1972 году появилось понятие «Валового национального счастья», которое ввел в обиход король Бутана вместо общепринятого ВВП. Так маленькое государство в Южной Азии стало пионером среди стран, где счастье поставлено во главу угла национальной политики. В 2008 году в королевстве был разработан соответствующий инструмент — «Индекс валового национального счастья». С тех пор индексы счастья стали рассчитывать для различных стран. Например, есть Всемирный доклад о счастье (World Happiness Report), публикуемый подразделением ООН по поиску решений стабильного развития⁴. Согласно докладу 2023 года, Россия занимает 70 место из 137 стран по показателю счастья. Возглавили рейтинг Финляндия, Дания и Исландия.

4 Helliwell, J. F., Layard, R., Sachs, J. D., Aknin, L. B., De Neve, J.-E., & Wang, S. (Eds.). (2023). World Happiness Report 2023 (11th ed.). Sustainable Development Solutions Network. Retrieved from: https://worldhappiness.report/. (accessed: 11.12.2023).

Через призму счастья и благополучия: обзор международного опыта

Подходы к оценке качества жизни, благополучия и счастья тесно связаны между собой, отмечает член правления АСОПП, консультант по мониторингу и оценке программ и проектов социальной направленности Наталья Кошелева.

На взгляд эксперта, эти подходы можно сгруппировать в три большие группы, выделенные на основании критерия масштаба воздействия:

1. Национальный/территориальный

Цель программы и политики — обеспечить качество жизни, благополучие и счастье людей в какой-то стране или на какой-то территории.

2. В рамках конкретной организации

Цель программы или проекта — обеспечить качество жизни, благополучие и счастье людей внутри какой-то организации.

3. Индивидуальный

Цель программы и политики — обеспечить качество жизни, благополучие и счастье конкретных людей. Национальный/территориальный подход можно продемонстрировать на примере Бутана, где Индекс валового национального счастья включает 9 сфер человеческой жизни:

• Психологическое благополучие;
• Здоровье;
• Использование времени (например, достаточное время для сна рассматривается как один из важных факторов, которые влияют на благополучие);
• Образование;
• Культурное разнообразие и устойчивость;
• Качественное управление;
• Качество жизни в местных сообществах;
• Экологическое разнообразие;
• Уровень жизни.

Анкета опроса для определения Индекса валового национального счастья включает 249 вопросов. Например, в блоке «Психологическое благополучие» жителей королевства просят назвать 6-7 самых важных факторов и вещей, которые делают их счастливыми, оценить по шкале от 0 до 10 качество своей жизни, а также сказать, насколько они получают от нее удовольствие.

В каких единицах можно измерить благополучие? Институт исследований счастья (Happiness Research Institute) предлагает использовать такую единицу измерения как WALY (Wellbeing Adjusted Life Years) — годы жизни, скорректированные с учетом субъективного уровня благополучия. Этот подход пришел из медицины, где единицы измерения здоровья — это QALY (Quality Adjusted Life Years) — годы жизни с поправкой на ее качество и DALY (Disability Adjusted Life Years) — годы жизни, скорректированные по нетрудоспособности.

По своей сути WALY похож на киловатт-час: если у нас есть электроприбор мощностью один киловатт, то за час непрерывной работы он использует один киловатт-час электроэнергии. При расчете WALY в качестве «мощности» используют субъективные оценки благополучия по шкале от 0 до 10, где 10 означает, что человек удовлетворен жизнью полностью. Если человек в течение года был полностью удовлетворен своей жизнью, объем «потребленного» им благополучия составит один WALY, объясняет Наталья Кошелева.

Исследователи также пробуют считать потери и прирост благополучия под влиянием различных факторов и политик. Кроме того, WALY позволяет считать возврат счастья на инвестиции (HROI — Happiness Return on Investment).

По словам Натальи Кошелевой, очень активно развиваются подходы к оценке того, как проекты влияют на субъективное благополучие людей. Так, большая работа в этом направлении была проведена в Великобритании. В стране есть центр, который занимается доказательными подходами в области проектов, направленных на повышение благополучия. Четыре вопроса, касающиеся личного благополучия, включены в ежегодный опрос населения с 2011 года. По шкале от 1 до 10 респондентам предлагается оценить, насколько они удовлетворены своей жизнью в настоящее время, в какой степени считают, что то, что делают в своей жизни, имеет смысл, насколько счастливыми они чувствовали себя вчера, а также насколько тревожно они чувствовали себя вчера.⁵

⁵Office for National Statistics. Surveys using our four personal well-being questions. Retrieved from: https://www.ons.gov.uk/peoplepopulationandcommunity/wellbeing/methodologies/surveysusingthe4officefornationalstatisticspersonalwellbeingquestions. (accessed: 11.12.2023).

В Великобритании есть также креативные подходы к измерению благополучия. В этом преуспели музеи, которые придерживаются позиции, что цель выставки — это в том числе влияние на эмоциональное и психологическое состояние людей. Для того, чтобы это проверить, всем посетителям предлагается на входе на экспозицию выбрать листочек определенного цвета и прикрепить его на дерево. Согласно цветовому кодированию, например, лист красного цвета означает «я чувствую себя хорошо и благополучно», лист желтого цвета — нейтральное состояние, зеленый — «мне грустно». На выходе с экспозиции посетителей ждет новое дерево. А дальше считается количество листочков определенного цвета на входе и выходе, чтобы понять, повлияла ли экспозиция на состояние людей.

Российский опыт

В последние три года разного рода индексы измерения счастья и благополучия стали появляться и в России. Первым был Индекс качества жизни в городах России, разработанный в 2021 году ВЭБ.РФ совместно с консалтинговой компанией PwC (в настоящее время «Технологии доверия») и РАНХиГС в сотрудничестве с Агентством стратегических инициатив (АСИ). Это информационно- аналитическая система, которая на 2023 год состоит из нескольких компонентов⁶:

• База данных, содержащая значения более чем 300 показателей для 218 городов России. С ее помощью можно анализировать и сравнивать города между собой, в том числе с зарубежными городами (по отдельным показателям);
• Профили городов. Можно изучить детальный портрет каждого города и сравнить значения по тем или иным показателям со средними по России или по кластеру сопоставимых городов.

6 ВЭБ.РФ. (2023). Индекс качества жизни. Режим доступа: https://citylifeindex.ru/. (дата доступа: 11.12.2023).

Также в 2021 году появился Общий индекс детского благополучия, который развивает Фонд Тимченко, а в 2022 году — Индекс качества жизни городов РУСАЛа. Все они имеют похожую архитектуру и используют конкретные индикаторы. Далее мы рассмотрим подробнее каждый из этих индексов, а также то, каким образом можно использовать индексы для оценки ситуации на той или иной территории.

Индекс качества жизни и устойчивого развития городов РУСАЛа

Индекс, разработанный в 2022 году, лег в основу новой стратегии социальных инвестиций компании. Как рассказала Ирина Бахтина, директор по устойчивому развитию РУСАЛа, в его основу взяли критерии, которые используются в Организации экономического сотрудничества и развития (ОЭСР), а также Индексе качества жизни ВЭБ.РФ⁷. Отличие индекса РУСАЛа от базы данных ВЭБ.РФ — численность населения в изучаемых территориях. РУСАЛ заинтересован в том, чтобы смотреть на качество жизни и устойчивость в городах и населенных пунктах, где проживает до 50 тысяч человек. При разработке индекса были использованы 66 показателей: статистические данные (32 показателя), данные опросов (19 показателей), а также данные, которые компания получает, отправляя запросы региональным и местным властям (15 показателей). Инструмент, разработанный РУСАЛом, охватывает 21 территорию (города и муниципальные районы) по 12 направлениям качества жизни по трем аспектам: ценности, среда и потенциал.

⁷ ВЭБ.РФ. (2023). Индекс качества жизни. Режим доступа: https://citylifeindex.ru/. (дата доступа: 11.12.2023).

«Ценности» включают следующие характеристики:

1) Баланс между работой и личной жизнью, возможности для отдыха, потребление товаров и услуг.

2) Возможность регулярного общения с родными и знакомыми, доверие в обществе, готовность участвовать в социальных мероприятиях.

3) Удовлетворенность своей жизнью и уверенность в завтрашнем дне.

4) Общественная безопасность.

«Среда» включает:

1) Удобная, привлекательная и разнообразная городская среда: улицы, парки, общественные места.

2) Хорошее здоровье и развитое медицинское обслуживание.

3) Хорошая экология и развитая система обращения с отходами в городе.

4) Наличие качественного, благоустроенного и удобно расположенного жилья.

«Потенциал» включает следующие характеристики:

1) Наличие работы, обеспечивающей возможность для заработка и профессионального развития.

2) Широкие возможности для получения качественного образования для детей и взрослых.

3) Удобство передвижения в городе и возможность выезжать за его пределы.

4) Высокое качество управления (гражданские права).

«Мы все время повторяем: это не рейтинг, это диагностика. Нам важно видеть, где, что и почему у нас проседает. На результаты нам важно смотреть в сравнении, сопоставлять. Почему это важно: если наш сотрудник и члены его семьи перемещаются с одного завода на другой, мы хотим понимать, насколько изменится его качество жизни», — говорит Ирина Бахтина.

По итогам 2022 года возглавляют индекс региональные центры (Волгоград, Красноярск, Саяногорск, Новокузнецк), а также Шарыповский район Красноярского края и Кандалакша (Мурманская область), аутсайдеры — территории Иркутской области. Так, город Тайшет в Иркутской области с населением 34 тыс. человек занял 21 место из 21 по уровню социально-экономического благополучия. Респонденты дали низкую субъективную оценку качеству благоустройства, отметили плохую освещенность улиц, низкую посещаемость детьми занятий дополнительного образования, низкий балл ЕГЭ, малое количество мероприятий в городе и учреждениях культуры, высокую аварийность и низкую финансовую доступность жилья.

Понимание проблемного поля — это прежде всего, ориентир для принятия решений в области социальных инвестиций. В связи с этим в компании надеются, что, сфокусировавшись на значимых для Тайшета и других городов и областей проблемах, можно будет в последующие годы увидеть изменения, которые в том числе покажет индекс.

Индекс детского благополучия

Индекс детского благополучия — это источник данных о том, насколько благополучно живут дети. Такие индексы используются во многих странах мира. Например, есть отчет Министерства по делам детства Ирландии о состоянии сферы детства в стране, Индекс детской бедности и лишений в Кыргызской Республике, «Исследование национальных когорт» и «Школьные обследования здоровья» в Финляндии, Индекс благополучия детей Казахстана.

В России Индекс детского благополучия⁸ был разработан при участии Фонда Тимченко, РАНХиГС, МГУ им. Ломоносова, МГППУ, НИУ ВШЭ, Общественной палаты РФ, Минпросвещения России.

⁸ Фонд Тимченко. (2022). Об Индексе детского благополучия. Режим доступа: https://cwb-index.timchenkofoundation.org/about/. (дата доступа: 11.12.2023).

Инструмент состоит из двух индексов: Статистического индекса детского благополучия, который рассчитывается на основании 27 показателей, публикуемых Росстатом, и Субъективного индекса детского благополучия, который рассчитывается на основании 18 показателей, полученных в ходе опросов детей и их родителей.

Статистический индекс включает четыре домена: здоровье, развитие, материальное благополучие и безопасность. В Субъективном индексе шесть доменов: здоровье, материальное благополучие, безопасность, образование, социальные отношения и самореализация. Система сбора данных для расчета субъективного индекса построена таким образом, что его можно измерить не только для отдельного региона, но и для конкретной школы. В каждом из доменов анализируются ответы по трем вопросам. Например, в домене «Материальное благополучие» это вопросы про оценку материального положения, есть ли у ребенка личные вещи, выезжал ли он куда-то отдыхать.

Разработчики индекса подчеркивают, что важно измерять отдельно статистический и субъективный индекс детского благополучия, а также уделять особое внимание ситуации, когда детские оценки ниже статистических.

«Конечно же, для нас важнее не сами цифры, которые будут выстраивать рейтинг — для нас, как для фонда, главным является благополучие ребенка. То есть как данные такого масштабного исследования влияют на принятие управленческих решений на основе доказательного подхода», — говорит Элина Илларионова, руководитель аналитической службы Фонда Тимченко.

Согласно российскому Индексу детского благополучия за 2022 год, семьи с детьми испытывают материальные трудности: лишь 50% опрошенных детей высоко оценили материальное положение своей семьи. Кроме того, есть потенциал для улучшения ситуации с детским отдыхом: из всех опрошенных детей 55% за последний год выезжали куда-либо. У детей низкая самооценка: только 45% опрошенных детей говорят, что у них есть достижения и успехи, которыми они гордятся. Есть потенциал для повышения мотивации и интереса детей к учебе: из всех опрошенных детей 70% ответили, что им нравится учиться в школе, 65% — что им интересно на уроках.

Эти данные могут стать основой для практических шагов. Так, в Алтайском крае по результатам проведенного исследования организовали группы дневного пребывания для детей из семей, испытывающих материальные трудности, что дает родителям свободное время для работы (либо ее поиска) или обучения для последующего увеличение дохода семьи. В Нижневартовске в библиотеках создали пространства для увлечений детей и подростков. В Лангепасе летом организовали пришкольные лагеря и досуговые площадки, работающие по вечерам. Это поможет детям попробовать что-то новое и открыть таланты в новых сферах. А в Тамбовской области решили повысить интерес детей к учебе через расширение олимпиадных направлений и реализацию новых программ дополнительного образования: художественную, естественнонаучную, техническую, туристско-краеведческую, социально-педагогическую, физкультурно-спортивную.

Как рассказала Элина Илларионова, разработчики индекса ведут сотрудничество с региональными аналитическими группами (например, на базе университетов), которые могут формировать практические рекомендации профильным ведомствам. Массивы данных по Субъективному и Статистическому индексам детского благополучия открытые и могут быть полезны широкому кругу заинтересованных пользователей: представителям региональной и федеральной власти, НКО и социальным инвесторам, экспертному и научному сообществу, родителям и детям.

«Мы стараемся, чтобы данные индекса были встроены в нормативно-правовые акты, и на их основе шла разработка программ в области детского благополучия. Мы также считаем, что представление результатов исследования должно проходить с широким привлечением детской аудитории, и чтобы данные использовались не только для принятия управленческих решений, но и для обоснования необходимости проведения политики в интересах детей», — говорит Элина Илларионова.

Что может предложить позитивная психология как область научного знания

Как восприятие счастья и благополучия зависит от самого человека? Влияют ли на это внешние обстоятельства, в которых человек живет? Почему субъективное и психологическое благополучие важно включать в оценку? Ответы можно найти, обратившись к позитивной психологии.

Когда мы говорим «позитивная психология», то чаще всего возникают ассоциации с аффирмациями, положительным настроем и мышлением. Другими словами, «мысли позитивно — все будет хорошо». Однако это не совсем так. Позитивная психология как особое направление психологических знаний и практик изучает ресурсы человека, удовлетворенность, ценности, таланты и их связь с счастьем. Речь об этом также шла в рамках трека «Оценка с фокусом на благополучие».

Понятие субъективного благополучия появилось в психологии в 1970-е гг., когда в круг объектов этой области науки вошла древняя философская проблема счастья и встал вопрос о путях его эмпирического исследования, рассказала Анна Хегай, аспирант и преподаватель Высшей школы экономики, психолог-методист Благотворительного детского фонда «Виктория».

Исследователи выделяют три подхода к тому, что можно измерить:

1. Субъективное благополучие (Э. Динер) — то, насколько сам человек считает, что его жизнь близка к максимально желательному состоянию.

2. Психологическое благополучие (К. Рифф, Д. Леонтьев) — оценка выраженности личностных качеств, определяющих счастье (позитивные отношения с другими, самопринятие, наличие цели в жизни и др.).

3. Качество жизни — объективная оценка благоприятности внешних условий жизни.

Уже в 1970 г. при изучении благополучия в Скандинавских странах финский социолог Э. Аллардт разделил все человеческие потребности на три категории: обладать, любить и существовать (быть)⁹. Для каждой категории рассматривались как объективные, так и субъективные параметры удовлетворения. Только сам человек может сказать, насколько его жизнь можно назвать полной, насыщенной и осмысленной. Т. е. можно говорить о субъективно воспринимаемом качестве жизни.

⁹ Allardt, E. (1993). Having, Loving, Being: An Alternative to Swedish Model of Welfare Research. In M. Nussbaum, & A. Sen (Eds.), The Quality of Life (pp. 1-8). Oxford Scholarship. https://doi.org/10.1093/0198287976.003.0008

Известные исследователи, нобелевский лауреат Дэвид Канеман и его соавтор Амос Тверски, также выяснили, что уровень воспринимаемого качества жизни и уровень субъективного благополучия очень мало зависит от внешних обстоятельств: «Жизненные обстоятельства вносят лишь небольшой вклад в дисперсию счастья по сравнению с вкладом самой личности»¹⁰. Эта особенность была названа парадоксом субъективного благополучия.

¹⁰ Kahneman, D. & Tversky, A. (2000). Choices, Values, and Frames. New York: Cambridge University Press.

Хорошая новость в том, что если вы достаточно оптимистичны и довольны жизнью, то что бы с вами ни случилось, этот уровень будет быстро возвращаться. «После сильных потрясений (смерть близких, развод, тяжелая болезнь) в течение 3-5 лет уровень воспринимаемого благополучия восстанавливается. Кроме того, с возрастом люди оказываются более добродушными. Это такой возрастной личностный рост. Люди в 40 лет скорее довольны своей жизнью, чем люди в 17 лет», — рассказала Анна Хегай.

Согласно модели, предложенной профессором Калифорнийского университета Соней Любомирски¹¹, счастье является результатом:

• генетической предрасположенности (50%);
• обстоятельств жизни (10%);
• преднамеренной деятельности (поведения) (40%).

 И если на генетическую предрасположенностью и обстоятельства жизни влияние самого человека ограничено, изменение поведенческих моделей находится в его власти. Можно изменить свое отношение к жизни, образ мыслей, привычки, повысить самооценку и так далее.

При этом важным элементом роста счастья является выполнение какой-либо деятельности, требующей волевых усилий, например регулярное обучение чему-либо. Таким образом, внешние обстоятельства, которые не связаны с преднамеренной активностью, не оказывают длительного влияния на субъективное благополучие. В то время как целенаправленная деятельность, связанная с посильными затруднениями и волевыми решениями, дает основу пролонгированному изменению уровня благополучия¹².

¹¹ Lyubomirsky, S., Sheldon, K. M., & Schkade, D. (2005). Pursuing happiness: The architecture of sustainable change. Review of general psychology, 9(2), 111-131. https://doi.org/10.1037/1089-2680.9.2.111.

¹² Лебедева, А. А. (2012). Теоретические подходы и методологические проблемы изучения качества жизни в науках о человеке. Психология. Журнал Высшей школы экономики, 9(2), 3-19.

Психологическая наука предлагает также диагностический инструментарий, который позволяет измерять личностные ресурсы, воспринимаемую поддержку, жизненную позицию, субъективное благополучие. Анна Хегай приводит следующие индикаторы, связанные с благополучием, которые можно измерить до и после реализации социально-психологических проектов и программ:

1) Резильентность (способность к восстановлению и росту после стресса).

2) Жизнестойкость (вовлеченность, принятие риска, контроль).

3) Чувство связанности (постижимость, управляемость, осмысленность жизни).

4) Оптимизм.

5) Самооценка.

6) Самоэффективность (вера в свою способность справляться).

7) Толерантность к неопределенности.

8) Самоконтроль.

Как отмечает Анна Хегай, включение соответствующих опросников (например, тесты жизнестойкости, шкала удовлетворенности базовых потребностей, скрининг тревоги и депрессии, опросник восприятия будущего) в проведение оценки социальных проектов и программ позволяет получить новый важный пласт знаний об их воздействии.

Заключение

Как показала конференция АСОПП 2023 года, подходы к оценке благополучия и счастья многообразны и очень интересны. Как отмечают эксперты, при их использовании важно, чтобы субъективный и объективный подходы использовались в комплексе, гармонично дополняя друг друга. Оценка эффективности каждого из этих подходов требует разработки собственного инструментария. При этом, участники конференции неоднократно отметили, что разного рода аналитические инструменты, используемые в рамках обоих подходов, помогают принимать управленческие решения, основанные на данных. Говоря о других сессиях конференции АСОПП, большое внимание участников привлекли сессии трека «Оценка социокультурных проектов» — по данным организаторов, в них приняли участие более 150 человек. Доклады, представленные в рамках трека, были посвящены опыту как больших фондов, поддерживающих культурные проекты, которым нужно оценивать результаты своих программ, так и небольших НКО, которые оценивают свои проекты.

В следующих выпусках журнала «Позитивные изменения» мы подробно раскроем некоторые темы докладов, звучавших на конференции. Посмотреть записи всех сессий конференции можно в группе АСОПП во ВКонтакте¹³ и на странице ассоциации в YouTube¹⁴.

¹³ https://vk.com/asopp

¹⁴ https://www.youtube.com/@asopp

Юлия Вяткина

Редактор журнала «Позитивные изменения»

What’s Your Happiness Index?

A Glimpse into the Annual Conference of the Association of Specialists in Program and Policy Evaluation

One of the pivotal events of this autumn for Russian professionals engaged in the field of evaluation is the annual conference hosted by the Association of Specialists in Program and Policy Evaluation. The central theme of the 2023 conference was assessing the quality of life and well-being. In this piece, we explore the experiences and practices shared by conference participants regarding the implementation and application of monitoring and evaluation in the social sphere.

Shifting the spotlight to happiness

The IX conference of the Russian Association of Specialists in Program and Policy Evaluation (ASPPE) took place online on October 17-18, 2023. This year’s conference featured 42 presentations and hosted 14 thematic and discussion sessions. The event drew over 500 attendees from all corners of Russia, spanning from Yuzhno-Sakhalinsk in the Far East to Kaliningrad in the West and Makhachkala in the South, the organizers say.

The conference program encompassed two main tracks: “Wellbeing-Focused Evaluation” and “Evaluation of Sociocultural Projects,” in addition to thematic segments dedicated to evaluation in specific domains — such as social entrepreneurship, working with children with special developmental needs, individuals with disabilities, and various forms of chronic illnesses. As usual, several sessions were also devoted to evaluation methodologies.

“The program was exceptionally rich, packed with engaging and substantive presentations. The relevance of the issues on the table and the profound discussions surrounding them underscore that interest in evaluation remains unwavering. I believe that thanks to our speakers and partners, whom I’d like to extend my heartfelt appreciation to, the conference offered an opportunity for all participants to expand their knowledge, enhance their professional competencies, delve into existing practices, and introduce their real-world working experiences to colleagues. In my view, this event holds great significance and utility, nurturing a sense of unity within the evaluation community and inspiring fresh achievements,” remarked Anna Lygina, President ASPPE.

The Accounts Chamber of the Russian Federation, which is responsible for evaluating the implementation of state programs and policies, among other things, has been an active participant in the conference for several years. In recent times, this regulatory body has been actively championing an evidence-based approach.

“In 2021-2022, we organized an extensive competition for government and municipal employees to encourage the adoption of an evidence- based approach in decision-making.¹ In 2023, in collaboration with the Financial University, we are hosting a research project competition for undergraduate and graduate students.² We aspire to cultivate a community of individuals passionate about evaluation among students, researchers, and decision-makers,” stated Anastasia Kim, Deputy Head of Inspection at the Research and Methodology Department of the Accounts Chamber of the Russian Federation, during the ASPPE conference’s opening session.

¹ Accounts Chamber of the Russian Federation. (2022). Competition of the Accounts Chamber of the Russian Federation “Practices and initiatives of evidence-based approach to management decision-making” — 2022. Retrieved from: https://ach.gov.ru/page/contest-2022?ysclid=lq6lwqk97z789634494. (accessed: 11.12.2023).

² Accounts Chamber of the Russian Federation. (2023). Research Project Competition “Application of Evidence-Based Approach for Evaluation of State Programs, Projects, and Measures.” Retrieved from: https://ach.gov.ru/statements/konkurs?ysclid=lq6mh5we6i912394087. (accessed: 11.12.2023).

The central theme of this year’s conference revolved around the evaluation of quality of life and well-being. As early as the 1960s, researchers began to conclude that gross domestic product (GDP) and the standard of living were not the ideal indicators to describe society’s life and individual well-being. That is how the concept of “quality of life” emerged, oriented toward a comprehensive assessment of various aspects of societal life, including non-material ones.³

³ Almakaeva, A. (2018). How is Quality of Life Researched? 21.05.2018. PostNauka. Retrieved from: https://postnauka.org/faq/86535. (accessed: 11.12.2023).

In 1972, the concept of Gross National Happiness was introduced by the King of Bhutan in place of the commonly used GDP. This immediately elevated a small South Asian nation to become a trailblazer among countries making happiness the cornerstone of national policy. In 2008, the kingdom developed the corresponding tool — the Gross National Happiness Index. Happiness indices have since been calculated for various countries. One example is the World Happiness Report, published by the UN’s Sustainable Development Solutions Network.⁴ According to the 2023 report, Russia ranks 70th out of 137 countries in terms of happiness, with Finland, Denmark, and Iceland leading the chart.

⁴Helliwell, J. F., Layard, R., Sachs, J. D., Aknin, L. B., De Neve, J.-E., & Wang, S. (Eds.). (2023). World Happiness Report 2023 (11th ed.). Sustainable Development Solutions Network. Retrieved from: https://worldhappiness.report/. (accessed: 11.12.2023).

Through the prism of happiness and well-being: an overview of international experience

Approaches to assessing the quality of life, well-being, and happiness are intricately interlinked, as noted by Natalia Kosheleva, a member of the ASPPE Board and a consultant specializing in monitoring and evaluating socially oriented programs and projects.

According to the expert, these approaches can be categorized into three major groups, distinguished by their impact scale:

1. National/Territorial

Programs and policies aiming to enhance the quality of life, well-being, and happiness of people within a specific country or territory.

2. Organization-Specific

Programs or projects whose objective is to promote the quality of life, well-being, and happiness of individuals within a given organization.

3. Individual

The goal of programs and policies is to ensure the quality of life, well-being, and happiness of specific individuals.

The national/territorial approach can be illustrated by Bhutan, where the Gross National Happiness Index encompasses 9 spheres of human life:

• Psychological well-being;
• Health;
• Time utilization (e.g., adequate sleep is considered an important part of well-being);
• Education;
• Cultural diversity and sustainability;
• Quality management;
• Quality of life in local communities;
• Ecological diversity;
• Standard of living.

The survey questionnaire for the Gross National Happiness Index comprises 249 questions. For instance, in the Psychological Well-Being section, residents of the kingdom are asked to identify the 6-7 most important factors and elements that contribute to their happiness, rate the quality of their life on a scale of 0 to 10, and express how much pleasure they derive from it.

Which units can we measure well-being in? The Happiness Research Institute suggests a unit of measurement known as WALY (Wellbeing Adjusted Life Years) — life years adjusted based on the subjective level of well-being. This approach originates from the field of medicine, where health is measured in QALYs (Quality Adjusted Life Years) and DALYs (Disability Adjusted Life Years).

In essence, WALY is akin to a kilowatt-hour: if we have an electrical device with a power of one kilowatt, it consumes one kilowatt-hour of electricity in an hour of continuous operation. When calculating WALY, subjective well-being ratings on a scale of 0 to 10 are used as “power,” where 10 signifies complete life satisfaction. If a person is completely satisfied with their life for a year, the well-being “consumed” amounts to one WALY, Natalia Kosheleva explains.

Researchers also strive to calculate well-being losses and gains resulting from various factors and policies. Moreover, WALY enables the measurement of the Happiness Return on Investment (HROI).

According to Natalia Kosheleva, there is a significant development in the assessment of how projects impact individuals’ subjective well-being. For example, substantial work in this direction has been carried out in the United Kingdom. There is a center dedicated to evidence-based approaches in projects aimed at enhancing well-being. Since 2011, the annual population survey features four questions related to personal well-being. Respondents are asked to rate their current life satisfaction on a scale of 1 to 10, assess the significance of their life pursuits, reflect on their happiness the previous day, and indicate their level of anxiety during the same period.⁵

⁵Office for National Statistics. Surveys using our four personal well-being questions. Retrieved from: https://www.ons.gov.uk/peoplepopulationandcommunity/wellbeing/methodologies/surveysusingthe4officefornationalstatisticspersonalwellbeingquestions. (accessed: 11.12.2023).

In the UK, creative approaches to measuring well-being have also emerged. Convinced that the purpose of exhibitions includes influencing people’s emotional and psychological states, museums have particularly excelled in this area. To assess this impact, all visitors are invited to select a leaf of a specific color at the entrance to the exhibition and attach it to a tree. Following a color-coded system, a red leaf signifies “I feel good and prosperous,” a yellow leaf indicates a neutral state, and a green leaf expresses “I feel sad.” At the exit, visitors encounter another tree. Subsequently, the number of leaves of each color at the entrance and exit is tallied to gauge whether the exhibition has affected people’s emotional states. 

Russian experience

Over the past three years, various indices for measuring happiness and well-being have also made their debut in Russia. The pioneer was the Russian Cities Quality of Life Index, developed in 2021 by VEB.RF in collaboration with PwC (now known as Trust Technologies) and the Russian Academy of National Economy and Public Administration, in partnership with the Agency for Strategic Initiatives (ASI). This comprises an information and analytical system that, as of 2023, consists of several components:⁶

• A database encompassing data on over 300 indicators for 218 cities across Russia. It allows analyzing and comparing cities, including with their foreign counterparts (based on individual indicators).
• City profiles, offering a detailed portrait of each city and facilitating comparisons of specific indicators with the national average or a cluster of similar cities.

The Timchenko Foundation also developed the General Index of Child Well-being, introduced in 2021, followed by the RUSAL Cities Quality of Life Index in 2022. These indices share a similar structure and rely on specific indicators. In the following sections, we will delve into each of these indices in more detail and explore how they can be utilized to assess conditions in various regions.

⁶ VEB.RF (2023). Quality of Life Index. Retrieved from: https://citylifeindex.ru/. (accessed: 11.12.2023).

RUSAL’s cities quality of life and sustainable development index

This index, introduced in 2022, forms the basis of the company’s new social investment strategy. Irina Bakhtina, RUSAL’s Chief Sustainability Officer, explained that it is founded on criteria used by the Organization for Economic Cooperation and Development (OECD) as well as the VEB.RF Quality of Life Index.⁷ The key distinction between RUSAL’s index and VEB.RF’s database lies in the population size of the territories under examination. RUSAL is interested in evaluating the quality of life and sustainability in cities and communities with populations of below 50,000.

⁷ VEB.RF (2023). Quality of Life Index. Retrieved from: https://citylifeindex.ru/. (accessed: 11.12.2023).

66 indicators were considered in the development of this index, including statistical data (32 indicators), survey data (19 indicators), and information obtained through requests to regional and local authorities (15 indicators). RUSAL’s comprehensive tool covers 21 territories, including cities and municipal districts, across 12 dimensions of quality of life, categorized into three aspects: Values, Environment, and Potential.

“Values” include the following characteristics:

1) Work-life balance, leisure opportunities, and consumption of goods and services.

2) The ability to maintain regular contact with family and acquaintances, trust in the community, and a willingness to participate in social activities.

3) Satisfaction with life and confidence in the future.

4) Public safety.

“Environment” includes:

1) A comfortable, appealing, and diverse urban environment, encompassing streets, parks, and public spaces.

2) Good health and access to advanced medical care.

3) Favorable environmental conditions and an advanced waste management system within the city.

4) Availability of high-quality, well-maintained, and conveniently located housing.

“Potential” comprises the following characteristics:

1) Access to employment opportunities that enable income and professional growth.

2) Extensive opportunities for receiving quality education for both children and adults.

3) Convenient transportation within the city and the ability to travel beyond its borders.

4) Effective governance and protection of civil rights.

“We consistently emphasize: this is not a ranking; it’s a diagnostic tool. It is crucial for us to identify areas where we may be falling short and to understand why. It is essential to examine the results in a comparative context. Why is this important? If our employees and their families move from one plant to another, we want to assess how their quality of life might change,” explains Irina Bakhtina.

Based on the results of 2022, regional centers such as Volgograd, Krasnoyarsk, Sayanogorsk, Novokuznetsk, along with the Sharypovsky district of the Krasnoyarsk Krai and Kandalaksha in the Murmansk region, took the lead in the index rankings. Conversely, the territories of the Irkutsk region lagged behind. For instance, Taishet, a city in the Irkutsk region with a population of 34,000, occupied the 21st position out of 21 in terms of socio-economic well-being. Respondents provided a low subjective rating of urban improvement quality, highlighted inadequate street lighting, noted low participation of children in extracurricular activities, reported low scores in the Unified State Exam (USE), mentioned a scarcity of events and cultural institutions in the city, pointed out a high accident rate, and cited limited affordability of housing.

Understanding the landscape of these issues serves as a crucial reference point for making decisions regarding social investments. In this regard, the company hopes that by addressing significant problems in Taishet and other cities and regions, it will witness improvements reflected in the index in the years to come.

Child well-being index

The Child Well-Being Index serves as a data source to gauge the quality of life for children. Such indices are employed in numerous countries across the world. For instance, there is a report from Ireland’s Department of Children’s Affairs on the state of the child sector in the country, the Child Poverty and Hardship Index in the Kyrgyz Republic, the National Cohort Study and School Health Surveys in Finland, and Kazakhstan’s Child Wellbeing Index.

In Russia, the Child Well-Being Index⁸ was developed with contributions by the Timchenko Foundation, the Russian Academy of National Economy and Public Administration, Lomonosov Moscow State University, Moscow State University of Psychology and Education, National Research University Higher School of Economics, the Public Chamber of the Russian Federation, and the Russian Ministry of Education.

⁸ The Timchenko Foundation. (2022). About the Child Well-Being Index. Retrieved from: https://cwb-index.timchenkofoundation.org/about/. (accessed: 11.12.2023).

This instrument consists of two indices: the Statistical Index of Child Well-Being, calculated based on 27 indicators published by Rosstat, and the Subjective Index of Child Well-Being, derived from 18 indicators obtained through surveys of children and their parents.

The Statistical Index encompasses four domains: health, development, material well-being, and security. Meanwhile, the Subjective Index includes six domains: health, material well-being, safety, education, social relationships, and self-actualization. The data collection system for the Subjective Index is designed to allow measurement not only at a regional level but also at the level of specific schools. Within each domain, responses to three questions are analyzed. For example, in the “Material Well-Being” domain, these questions pertain to assessing the family’s financial situation, whether the child has personal belongings and whether the child has been on vacation.

The creators of the index emphasize the importance of separately measuring the statistical and subjective indices of child well-being, with special attention given to situations where children’s assessments fall below the statistical figures.

“Of course, for us, the priority is not just the numbers that compile the ranking. As a foundation, our primary concern is the well-being of the child. In other words, how the data from such a comprehensive study influences management decision-making based on an evidence-based approach,” explains Elina Illarionova, Head of the Analytical Service at the Timchenko Foundation.

According to the Russian Child Well-Being Index for 2022, families with children are facing financial challenges, with only 50% of surveyed children rating their family’s financial situation positively. Additionally, there is room for improvement in children’s access to leisure activities, as 55% of surveyed children had not traveled anywhere in the past year. Children’s self-esteem is relatively low, with only 45% of them reporting achievements and successes they take pride in. Furthermore, there is potential to enhance children’s motivation and interest in learning, as 70% of the surveyed children expressed liking school, and 65% found their lessons interesting.

These findings can serve as the foundation for practical initiatives. For example, in Altai Krai, day care groups were established for children from families facing financial difficulties, allowing parents the freedom to work or pursue further education, thereby increasing the family’s income. In Nizhnevartovsk, libraries have created spaces for children and teenagers to explore their interests. In Langepas, summer camps and evening leisure activities were organized, enabling children to discover new talents and interests. In the Tambov region, efforts are being made to boost children’s interest in learning through the expansion of Olympiad programs and the introduction of new supplementary education programs in various fields: arts, natural science, technology, tourism and local lore, social science and pedagogy, physical education and sports.

According to Elina Illarionova, the developers of the index collaborate with regional analytical groups, often based at universities, which can provide practical recommendations to specialized agencies. Both the Subjective and Statistical Indices of Child Well-Being are publicly accessible and can benefit a wide range of stakeholders, including regional and federal authorities, NGOs, social investors, the expert and scientific community, as well as parents and children.

“We strive to ensure that the index data is integrated into regulatory frameworks to lay the groundwork for child welfare programs. On top of that, we believe that presenting the research results should involve the active participation of children, and that the data should not only inform management decisions but also justify the need for child-centric policies,” emphasizes Elina Illarionova.

What positive psychology can offer as a field of scientific knowledge

How does an individual’s perception of happiness and well-being relate to themselves? Are external circumstances in which a person lives influencing this perception? Why is it essential to incorporate subjective and psychological well-being into our evaluations? Answers to these questions can be found by delving into the realm of positive psychology.

When we mention “positive psychology,” most often, it conjures associations with affirmations, a positive mindset, and optimistic thinking. In other words, “think positively, and everything will be fine.” However, this is not the complete picture. Positive psychology, as a distinct branch of psychological knowledge and practice, explores the resources within individuals, their satisfaction, values, talents, and their connection to happiness. These discussions were also part of the Wellbeing-Focused Evaluation track.

The concept of subjective well-being emerged in psychology during the 1970s when the age-old philosophical question of happiness became a focal point for empirical investigation within this field, as explained by Anna Hegai, a graduate student and teacher at the Higher School of Economics, and a psychologist-methodologist at the Victoria Charitable Children’s Foundation.

Researchers identify three approaches to measuring well-being:

1. Subjective well-being (E. Diener) — how closely a person believes their life aligns with the most desirable state.

2. Psychological well-being (C. Ryff, D. Leontiev) — the assessment of personality traits that contribute to happiness (positive relationships with others, self-acceptance, having a life purpose, etc.).

3. Quality of life — an objective evaluation of the favorability of external living conditions. As far back as 1970, while studying well-being

in Nordic countries, Finnish sociologist E. Allardt categorized all human needs into three groups: having, loving, and being.9 For each category, both objective and subjective measures of satisfaction were examined. Only individuals themselves can determine how complete, fulfilling, and meaningful their lives are — in other words, their subjectively perceived quality of life.

Renowned researchers, including Nobel laureate Daniel Kahneman and his collaborator Amos Tversky, have discovered that perceived quality of life and subjective well-being are minimally affected by external circumstances. They found that “life circumstances make only a small contribution to the variance of happiness — far smaller than the contribution of inherited temperament or personality.”10 This phenomenon has been termed the paradox of subjective well-being.

The encouraging news is that if you possess a sufficient level of optimism and life satisfaction, this state of well-being can be quickly regained, regardless of external events. Anna Hegai explains, “After significant life shocks, such as the loss of loved ones, divorce, or severe illness, individuals typically regain their previous level of well-being within 3-5 years. Additionally, people tend to become more content and good-natured with age. This reflects a form of personal growth associated with aging. Individuals in their 40s tend to report greater life satisfaction than those in their 17s.”

According to a model proposed by UCR professor Sonja Lyubomirsky,11 happiness can be attributed to the following factors:

• Genetic predisposition (50%);
• Life circumstances (10%);
• Intentional activities and behaviors (40%).

While genetic predisposition and life circumstances cannot be easily influenced, behavioral change is within an individual’s control. People can alter their outlook on life, thought patterns, habits, and self-esteem.

Moreover, engaging in activities that demand intentional effort, such as continuous learning, plays a pivotal role in achieving lasting happiness. This implies that external circumstances, which are not related to intentional activity, have a fleeting impact on subjective well-being,¹² whereas purposeful activities involving effortful challenges and volitional choices form the foundation for sustained well-being.

¹² Lebedeva, A. A. (2012). Theoretical approaches and methodological problems of studying the quality of life in human science. Psychology. Higher School of Economics Journal, 9(2), 3-19.

Psychological science also provides diagnostic tools for measuring personal resources, perceived support, life orientation, and subjective well-being. Anna Hegai lists several well-being indicators that can be assessed before and after the implementation of social and psychological projects and programs:

1) Resilience (the ability to recover and grow after facing stress).

2) Endurance (engagement, risk-taking, control).

3) Sense of connection (understanding, manageability, meaningfulness in life).

4) Optimism.

5) Self-esteem.

6) Self-efficacy (belief in one’s ability to cope).

7) Tolerance of uncertainty.

8) Self-control.

As Hegai notes, incorporating relevant questionnaires (e.g., resilience assessments, basic needs satisfaction scales, anxiety and depression screenings, and future perception questionnaires) into the evaluation of social projects and programs yields valuable insights into their impact.

CONCLUSION As demonstrated by ASPPE conference 2023, approaches to assessing well-being and happiness are diverse and highly intriguing. Experts emphasize the importance of using subjective and objective methods in tandem, as they harmoniously complement each other. Evaluating the effectiveness of each of these approaches requires the development of its unique set of tools. Furthermore, conference participants consistently highlighted how various analytical instruments employed in both approaches facilitate data-driven decision-making.

Turning our attention to other sessions at the ASPPE conference, the sessions within the Evaluation of Sociocultural Projects track garnered significant interest, with more than 150 attendees, according to the organizers. The presentations within this track revolved around the experiences of both large foundations that support cultural projects, necessitating the evaluation of their program outcomes, and small NGOs engaged in project assessment.

In the upcoming issues of Positive Changes Journal, we will dive deeply into some of the themes explored during the conference presentations. You can access recordings of all conference sessions on the ASPPE VKontakte page¹³ and the Association’s YouTube channel.¹⁴

¹³ https://vk.com/asopp

¹⁴ https://www.youtube.com/@asopp

Yulia Vyatkina

Editor, Positive Changes Journal

DOI 10.55140/2782-5817-2023-3-4-12-23

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl