Как выглядел бы современный спектр теорий оценок в виде линий метро? (Lemire, 2020)

Стресс-тестирование - это метод выявления недостатков программ и проектов на ранних этапах разработки и реализации.

Подход основан на двух предпосылках:
- программы должны быть устойчивы к негативным воздействиям внешней и внутренней среды;
- ведомства, ответственные за реализацию программ, как правило, не ориентированы на выявление их слабых сторон и акцентируют внимание лишь на реализации программы/проекта по изначально сформулированному плану.

Симуляция негативного воздействия внешней или внутренней среды до того, как реализуются шоки, должна помочь избежать избыточных расходов и снизить вероятность недостижения целей в реальных условиях.

Huey T. Chen et al. (2020). Proactive Evaluation: The Program Stress Test. American Journal of Evaluation. Issue 4

Появление метода синтетического контроля - это, вероятно, самая важная за последние два десятка лет инновация в оценке политик (policy evaluation). Так появление подхода описывают (Athey, Imbens, 2017).

По сути синтетический контроль напоминает одновременно разность-в-разностях и мэтчинг.

Краткое введение в теорию и практику использования синтетического контроля можно прочитать в книге Скотта Каннингема "Causal Inference: the mixtape".

Это отличный новый учебник по эконометрике, который отличается от других книг по causal inference (например, "Mostly harmless econometrics"):
- доступной он-лайн версией (ссылка)
- кодами примеров на Stata и R
- разделами с кратким введением в ориентированные ациклические графы (DAG) и причинно-следственную модель потенциальных результатов (potential outcomes causal model).

Семинар "Поведенческая экономика, nudge ("подталкивание") и госполитика: разговор с Ричардом Талером" (26.04. 6:00pm ET или 27.04. 1:00am по Москве) - о том, как повлияла поведенческая наука на процессы разработки государственной политики, в том числе, об интеллектуальном раскрытии данных и информации ("smart disclosure") - как предоставить гражданам более широкий доступ к данным, необходимым им для того, чтобы делать осознанный выбор в процессе принятия решений.

Эксперименты по оценке универсального базового дохода - хороший тест для доказательной социальной политики, иллюстрирующий конкретные сложности ее реализации на практике.

Дебаты о том, представляет ли собой универсальный базовый доход просто “раздачу денег” или инновационный способ организации социальной политики, продолжаются с завидной интенсивностью (десятки статей и монографии каждый год).

Но тут интересно посмотреть на то, как именно проводятся рандомизированные эксперименты с базовым доходом. По сути, ни один из рассмотренных экспериментов не оценивает универсальный базовый доход, выплачиваемый без проверок нуждаемости и без условий выплат.

Дилемма сводится к следующему: эксперименты с базовым доходом погружены в контур социальной политики, поэтому эксперименты должны соответствовать правилам, установленным не из научных соображений (вмешательство политики в границы науки). Но необходимость сохранения научной легитимности экспериментов диктует задачу отстаивания исследователями основных методологических аспектов при проведении эксперимента (вмешательство науки в границы политики).

Получить обоснованные оценки тех или иных интервенций - центральная задача доказательного подхода к принятию решений. Классическое допущение таких оценок - отсутствие интерференции эффектов между единицами анализа (людьми, предприятиями и т.д.), то есть потенциальный результат зависит исключительно от исследуемого воздействия на определенную единицу анализа и не зависит от воздействия на другие. Но во многих случаях такое предположение не выполняется. Например, в пространственном контексте важную роль играют механизмы распространения и диффузии эффектов.

Так, оценка причинно-следственных эффектов интервенций в области обеспечения качества воздуха сталкивается с проблемой интерференции, так как интервенции на уровне конкретного источника загрязнения (установка очистного оборудования на угольных электростанциях) будут оказывать влияние на качество воздуха и здоровье населения в различных местах, и при этом качество воздуха и здоровье в каждом конкретном месте будут затронуты эффектами различных интервенций на различных источниках загрязнения.

Интерференция причинно-следственных эффектов в этом случае объясняется сложными атмосферными процессами, определяющими, как переносятся в пространстве загрязнения воздуха из определенного источника, и имеет двучастную структуру: 1) единицы интервенций - например, угольные электростанции, на которых применяются или не применяются системы обработки выбросов загрязняющих веществ; и 2) единицы результатов, представляющие интерес, - госпитализации по программе Medicare среди 22 млн участников этой программы на уровне различных территориальных образований (единицы результатов).

Это исследование о влиянии установки систем обработки выбросов угольными электростанциями в США на здоровье населения (статья) подробно разбирается на последнем Online Causal Inference Seminar, одном из лучших научных семинаров по causal inference, оценке причинно-следственных эффектов.

Экономист Дэни Родрик: "На любой вопрос по поводу той или иной экономической политики правильным будет ответ: «В зависимости от обстоятельств». Нам нужны экономические факты и анализ, чтобы получить детали, от которых зависит желаемый конечный результат. Ключевые слова в действительно полезной экономической науке – непредвиденные обстоятельства, контекстуальность и неуниверсальность. Экономическая наука учит нас, что бывает время для бюджетной экспансии и время для бюджетного сжатия. Есть время, когда правительство должно вмешиваться в производственные цепочки, и время, когда оно должно оставить рынки в покое. Иногда налоги должны быть высокими, а иногда низкими. Торговля должна быть более свободной на одних направлениях, и регулироваться на других. Установление связей между обстоятельствами реального мира и желаемостью тех или иных видов государственного вмешательства – вот в чём экономика действительно хороша."

https://www.project-syndicate.org/commentary/economic-policy-must-abandon-universal-paradigms-by-dani-rodrik-2021-05

Надежность данных критична и для аудита (оценки), и для разработки мер государственной политики. Когда используется информация низкого качества, часть “мощности” инструментов госполитики по достижению цели будет теряться.

Использование информации высокого качества - точной, своевременной, репрезентативной, релевантной целям госполитики и доступной разработчикам дизайна госполитики - обеспечивает оптимальное соотношение между затратами на разработку мер (решений) и вероятностью достижения цели, то есть обеспечивает пропорциональность дизайна госполитики.

О различных ситуациях отклонения от оптимальности этого соотношения (недостаточный и избыточный дизайн) по ссылке.

https://telegra.ph/Nedostatochnyj-i-izbytochnyj-dizajn-gospolitiki-vzglyad-s-tochki-zreniya-kachestva-informacii-05-20

Мы в Счетной палате запустили конкурс практик и инициатив по доказательной политике среди федеральных государственных органов, органов государственной власти субъектов Российской Федерации, органов местного самоуправления, а также отдельных команд (коллективов) государственных служащих.

Подробности и форма заявки по ссылке.

Еще сформулировали шесть базовых и наиболее важных для российской системы стратегического управления принципов доказательной политики:

1. Использовать результаты научных исследований, систематических обзоров, результаты моделирования и прогнозирования на основе надежных данных, определять и вовлекать заинтересованные стороны для формализации проблем, требующих государственного вмешательства.

2. Выбирать оптимальные механизмы государственной политики по итогам приоритизации широкого круга возможных альтернатив.

3. Проводить пилоты и эксперименты по реализации мер государственной политики (включая рандомизированные контролируемые эксперименты) для надежного тестирования результативности мер государственной политики.

4. Формировать информативные программные документы стратегического планирования и отчетность по ним на основе измеримых целей, прозрачной и задокументированной теории изменений, расчетов издержек и сроков с учетом ошибки оптимистичности планирования.

5. Проводить оценку воздействия для получения доказательств высокого качества результативности мер государственной политики (проектов, программ).

6. Использовать доказательства высокого качества для принятия управленческих решений в ходе бюджетного процесса, масштабирования мер (проектов) с доказанными эффектами, прекращения реализации мер (проектов) с доказанной неэффективностью.

Проводим в последний день весны (31 мая в 18:00 мск) в рамках гЛокальной недели оценки открытый семинар “Микросимуляционное моделирование как инструмент оценки социальной политики”.

На семинаре обсудим особенности микросимуляционного подхода к моделированию и прогнозированию доходов, оценке бедности и неравенства доходов.

Александр Горюнов (главный инспектор, Департамент исследований и методологии) расскажет о квазидинамической микросимуляционной модели и ее применении для оценки перспектив достижения национальной цели двукратного сокращения уровня бедности к 2030-му году и анализа эффективности различных вариантов социальных трансфертов в контексте достижения этой цели.

Поделятся с участниками опытом и на примерах покажут роль оценки при принятии решений Дарья Попова (Университет Эссекса) и Михаил Матыцин (Всемирный Банк). Они расскажут о модели RUSMOD и оценке перераспределительных эффектов антикризисных мер социальной поддержки в России.

В обсуждении примут участие:
- Дарья Цыплакова, директор департамента исследований и методологии Счетной палаты Российской Федерации.
- Андрей Малокостов, главный инспектор департамента исследований и методологии Счетной палаты Российской Федерации.
- Марина Карцева, старший научный сотрудник Института социального анализа и прогнозирования РАНХиГС при Президенте Российской Федерации.
- Ольга Растрыгина, экономист ОЭСР.
- Елена Андреева, старший научный сотрудник НИФИ Министерства финансов Российской Федерации.
- Анастасия Ким, заместитель начальника инспекции по аудиту национальных целей департамента исследований и методологии Счетной палаты Российской Федерации

Семинар пройдет 31 мая 2021 года в 18:00 мск на русском языке с синхронным переводом на английский.

Для регистрации, пожалуйста, заполните форму: https://forms.gle/LnYR55esaNdtDuZb8

гЛокальная неделя оценки (gLocal Evaluation Week) будет проходить с 31 мая по 4 июня 2021. Это неделя панельных дискуссий и семинаров под эгидой Глобальной инициативы по оценке (Global Evaluation Initiative) о методологии оценивания и мониторинга программ и политики на глобальном и локальном уровнях.

https://ach.gov.ru/news/instrument-otsenki-sotsialnoy-politiki-schetnaya-palata-priglashaet-na-otkrytyy-seminar

Использование результатов научных исследований повышает эффективность государственных проектов и программ. Но при этом чиновники редко используют результаты исследований в процессе разработки и реализации государственных политик.

Как механизмы подотчетности могут способствовать внедрению доказательной политики? Модель принципал-агента подсказывает 4 таких административных механизма:
- скриниг (экзамены госслужащих);
- мониторинг (контроль за деятельностью);
- автономию (независимость при выполнении задач);
- позитивные и негативные стимулы (например, премирование).

На основе анализа данных опросов чиновников из Перу и Индии можно увидеть, что различные механизмы подотчетности положительно коррелированы с уровнем использования доказательств в работе чиновников. А вот решение проблемы доступности для чиновников информации о доказательных практиках само по себе не может повысить использование доказательств.

Статья: Celeste Beesley, Darren Hawkins, Nicholas Moffitt (2021). What leads government officials to use impact evidence? Journal of Public Policy

https://telegra.ph/CHto-stimuliruet-gosudarstvennyh-sluzhashchih-ispolzovat-dokazatelstva-pri-prinyatii-reshenij-06-22

Часто при обсуждении развития доказательной политики говорим об использовании строгих методов оценки влияния проектов. Это квази-экспериментальные статистические или даже экспериментальные методы.

Помимо требований к ресурсам, такие методы могут иметь юридические и этические ограничения, и зачастую они сложно подстраиваются:
- под задачи формирующей оценки (когда оценка проводится для корректировки дизайна проекта или хода его реализации);
- под задачи адаптивной оценки (когда оценка проводится для разработки новых подходов в сложной и меняющейся среде).

Затраты при использовании ряда методов оценки влияния порой могут превосходить ресурсные возможности, и в итоге многие составляющие влияния государственных программ остаются вне наблюдения в течение десятилетий.

В качестве подхода к оценке влияния в условиях, когда иные методы не применимы, можно использовать теоретически обоснованный подход экспресс-оценки (rapid impact evaluation, RIE), который отличается низкой стоимостью и высокой адаптивностью под конкретные задачи.

Подход экспресс-оценки RIE включает три новых составляющих:

1) Упрощенная результирующая метрика влияния, основанная на предположении, что основными показателями эффекта являются вероятность наступления эффекта и его величина.
2) Сценарные контрфактические предположения на основе рассмотрения сценария реализации альтернативных мер, которые при этом являются осуществимыми, возможными, эффективными, законными и этичными (например, тех мер, которые реализуются в аналогичных условиях или рассматривались в ходе принятия решения о выборе данной меры).
3) Подход, основанный на учете интересов и взглядов стейкхолдеров, исходит из того, что каждая группа стейкхолдеров имеет свой взгляд на реализацию меры и соответственно свой канал влияния на ее реализацию.

Про механику экспресс-оценок и аргументацию их валидности написали по ссылке ниже.

https://telegra.ph/EHkspress-ocenka-vliyaniya-chto-delat-v-sluchae-kogda-strogie-ocenki-vliyaniya-provesti-nelzya-07-07

Оценка проекта (программы) или отдельной меры госполитики всегда строится на явно или неявно заданном критерии, который отделяет «успешные» проекты от «неуспешных». Критериями успеха, конечно, должен быть далеко не факт "исполнения бюджета" / "деньги потрачены".

Если с базовыми критериями оценки (например, критерием результативности) знакомо абсолютное большинство государственных служащих, то менее очевидные, например согласованность мероприятий или устойчивость результатов, известны уже не многим, а применяются пока еще реже. Использование не одного или нескольких, а целого ряда критериев (и даже иногда просто осведомленность о них) позволяет рассматривать каждый проект с разных сторон и совершенствовать его в разрезе этих новых характеристик.

Какие критерии бывают? Какие области критериев (связанные с разработкой и реализацией проекта)? Какие источники? Недавняя статья (Teasdale, 2021) как раз об интегрированной модели критериев из 11 областей и 10 источников критериев на выбор оценщика или аудитора.

https://telegra.ph/Kriterii-ocenki-integrirovannaya-model-oblastej-i-istochnikov-07-14

Базовый элемент в планировании и оценке конкретных проектов и программ - это описание и картирование логики (теории изменений). Но это не просто цепочка от "потраченных ресурсов" до "конечных результатов" и "эффектов". Теория изменений - это описание механизма проекта, предположений о его работе.

Теория изменений может быть:
- "слабой" - простой набросок работы механизма проекта; или
- "сильной" - с обоснованием доказательств работы механизма, явно прописанными причинно-следственными связями между действиями в проекте, его мероприятиями, детальной, разработанной с масштабным вовлечением зантересованных сторон и бенефециаров проектов (сложность теории изменений "коррелирует" со сложностью проекта или программы), с понятной визуализацией.

Ниже короткая (14 минут) лекция:
- о том, что такое "формализация проблемы";
- как теория изменений используется в качестве прикладного инструмента для оценки госпроектов (например, федеральных/ региональных проектов, госпрограмм).

https://www.youtube.com/watch?v=b09wg95Bwi0

Интенсивный экономический рост и защита окружающей среды традиционно рассматриваются как противоречащие друг другу. В одних странах противоречие может решаться через рыночные механизмы (в «зеленых» отраслях создаются новые рабочие места). В других - через попытку установить ограничивающие целевые показатели по экологии для чиновников. Работает ли в принципе такой подход?

В статье (Du, Yi, 2021) на примере анализа политических стимулов (целевых показателей) для чиновников и экономических/ экологических результатов в китайских городах показывается , что такой подход работает (впрочем, есть некоторые ограничения методологии оценки):

- относительные экономические цели действительно стимулируют чиновников "работать" на все более высокие темпы экономического роста (оценка деятельности чиновников по тому, кто из них "показывает" лучшие результаты экономического роста в своем городе);

- абсолютные экологические цели побуждают учитывать экологические вопросы и "сдерживать" экономический рост, если он наносит вред экологии (оценка на основе конкретных значений снижения выбросов).

Оценка чиновников только по относительным показателям (модель сравнительной конкуренции) чревата игнорированием экологической повестки: чиновники закрывают глаза на природоохрану и нарушения в этой сфере. Один из выводов статьи о том, что внедрение дополнительных абсолютных экологических показателей в систему оценивания чиновников на уровне городов привело к более равномерному развитию и меньшим потерям для окружающей среды.

https://telegra.ph/Postanovka-celevyh-pokazatelej-politicheskie-stimuly-i-neprostoj-kompromiss-mezhdu-ehkonomicheskim-razvitiem-i-zashchitoj-okruzh-07-23

В проектах моделей компетенций, которые разработала Еврокомиссия, один из кластеров - о доказательном принятии решений.

В нем у госслужащих такие компетенции, как:

1) исследование и формализация проблемы, которую планируется решить путем государственного вмешательства;
2) научная грамотность;
3) идентификация необходимых доказательств;
4) умение выстраивать взаимодействие с экспертным сообществом;
5) поиск и использование результатов научных исследований;
6) оценка качества и релевантности информации для принятия управленческих решений;
7) управление закупками;
8 ) управление данными;
9) работа с моделями с учетом их ограничений, корректное использование их результатов.

Научная грамотность для “начального уровня” - это “знание того, какую роль peer-review и воспроизводимость исследований играют в подтверждении валидности научных результатов”.

Идентификация необходимых доказательств для “начального уровня” это, в том числе, способность выявить основные доказательные пробелы, сформулировать общую постановку проблемы и разработать логику интервенции, найти ресурсы для устранения этих доказательных пробелов.

Оценка качества и релевантности информации для принятия управленческих решений для “продвинутого уровня” это способность создавать возможности для сбора данных в ходе реализации мер госполитики и извлекать ценность из коротких циклов обратной связи, например, данных в реальном времени от граждан и заинтересованных сторон для повышения результативности госполитики.

Немного подробнее о том, какие компетенции нужны госслужащим, а какие - исследователям, по ссылке.

Как оценить результат государственной политики с помощью данных? Обзор методов на примерах. Лекция Евгения Яковлева из Российской экономической школы - это часть небольшого вводного курса по доказательной политике от Счетной палаты.

Сколько стоят данные? Какова их общественная ценность? Какие инвестиции в данные оправданы? Какую ценность имеет каждое конкретное наблюдение для предиктивной способности алгоритмов? Какой должна быть справедливая компенсация владельцам данных?

Рынки данных зачастую отсутствуют, но рыночные механизмы не всегда будут позволять достигать общественно оптимального уровня производства и использования данных из-за того, что данные не являются традиционным частным благом.

Ценность данных зависит от того, на каком этапе создания общественной ценности находятся данные: “сырые” необработанные данные, предобработанные данные, интегрированные данные (связанные данные из нескольких источников), их анализ, получение инсайтов на основе данных и действия на основе полученных инсайтов (доказательная политика).

Ценность данных увеличивается на каждом таком этапе и находится в зависимости от ценности на самом последнем шаге (от ценности доказательного принятия решений). Например, ценность данных о получателях социальной помощи (сейчас хранятся в бумажном виде) зависит от того, какие действия могли бы стать возможными при использовании результатов анализа этих данных в машиночитаемом виде - например, от адаптивности и скорости разработки индивидуальных программ социальной адаптации для тех, кто в них нуждается, при использовании рекомендательных алгоритмов.

В последние два года научным сообществом опубликовано несколько десятков статей о различных подходах к оценке стоимости данных. Но консенсуса об измерении ценности данных пока нет.

Например, Диана Койл и Анабель Менли (Coyle, Manley, 2021) используют совместный анализ (conjoint analysis) для определения общественной ценности показателей World Development Indicators. Это опрос потенциальных потребителей относительно выбора между различными комбинациями цен и характеристик данных (временной разрез, пространственная гранулярность и иные атрибуты) и байесовское моделирование на основе его результатов.

Другая ветка анализа опирается на использование вектора Шепли. Оценка стоимости данных решается как проблема распределения ценности алгоритма между различными источниками данных. Это достаточно хорошо изученная экономистами проблема распределения прибыли, созданной коллективными усилиями, в теории кооперативных игр.

Подход помогает, например, определять значимые наблюдения с точки зрения точности обнаружения пневномнии: при обучении на данных низкого качества удаление обучающих данных с низкими значениями Шепли повышает точность модели.

https://telegra.ph/Ocenka-stoimosti-dannyh-skolko-stoyat-dannye-i-kakie-investicii-v-nih-opravdany-08-15

Квазирыночные механизмы и доказательства их работы: почему важны административные данные и личный опыт потребителей?

Квазирыночные реформы - это проектирование рынков с целью повысить качество или возможность выбора услуг для потребителей (например, в сфере здравоохранения, образования, социальных услуг). Рыночные механизмы могут включаться через подушевое финансирование, через аутсорсинг задач НКО или бизнесу. Но чтобы ответить на вопрос, к каким последствиям в действительности привела квазирыночная реформа, внедрение рынков должно сопровождаться оценкой их эффективности и последствий. Для таких оценок могут оказаться недостаточными агрегированные данные (на уровне поставщиков - школ, больниц, предприятий и т.д.). На какие-то вопросы могут помочь ответить только детализированные административные данные: достигнут ли эффект за счет повышения качества услуг или за счет "снятия сливок" - привлечения "удобных" потребителей (например, успевающих школьников). А на какие-то - информация об удовлетворенности пользователей и их личном опыте получения услуг.

https://telegra.ph/Kvazirynochnye-mehanizmy-i-dokazatelstva-ih-raboty-pochemu-vazhny-administrativnye-dannye-i-lichnyj-opyt-potrebitelej-08-24

Административно-бюджетное управление США (OMB) запускает сайт Evaluation.gov, где ведомства должны будут размещать свои материалы для демонстрации прогресса на пути к достижению целей (на основе данных).

Его задача - дать исследователям и предпринимателям понимание тех типов вопросов, которые ведомства задают о достижении результатов госпрограмм, и ориентировку для необходимых дополнительных исследований, которые могут помочь заполнить пробел в знаниях о этих результатах.

В 2019 г. Конгресс США принял Акт об основах разработки доказательной политики. Это обязательства для ведомств назначить руководителей по данным (chief data officers), руководителей по оценке (chief evaluation officers) и ответственных по статистике (statistical official). Ведомства также должны разрабатывать и публиковать на сайте Evaluation.gov (с февраля 2022 года):
- повестки обучения - Learning agendas (вопросы о том, что необходимо изучить для разработки или реализации проектов и функций ведомств);
- годовые планы оценки - Annual evaluation plans;
- оценки потенциала - Capacity assessments (чтобы помочь ведомствам оценить свои возможности и инфраструктуру для сбора доказательств)

По сути, это дорожные карты работы ведомств по генерации доказательств там, где это больше всего необходимо, и определения того, на сколько госпрограммы достигают или не достигают целей.

Вот пример плана оценки от министерства (департамента) образования. В плане 5 приоритетных направлений:
1. Решение проблемы воздействия COVID-19 на студентов, преподавателей и работников системы образования.
2. Содействие равенству в доступе учащихся к образовательным ресурсам, возможностям и доброжелательной среде.
3. Поддержка разнообразных педагогических кадров и профессионального роста для улучшения обучения студентов.
4. Удовлетворение социальных, эмоциональных и академических потребностей учащихся.
5. Повышение доступа к послешкольному образованию, его финансовой доступности, успешности завершения и после зачисления.
6. Укрепление межведомственной координации и вовлечения общественности в продвижение системных изменений.

По разделам плана по каждому приоритету приводится контекст проекта или программы, исследовательские вопросы, методы сбора и анализа данных, описание предполагаемых продуктов (иногда вызовы для оценки). Например, есть раздел с исследовательскими вопросами о результативности стратегий обучения взрослых, о том, какие еще недостаточно изученные стратегии обучения взрослых можно изучить с помощью оценки воздействия, какой возможный дизайн для такого исследования. В качестве метода использовался систематический обзор результатов существующих исследований и выявления пробелов в базе знаний (в данном случае исследование уже проведено, результаты опубликованы).

Мы подвели итоги первого конкурса Счетной палаты по доказательной политике среди органов исполнительной власти. Заявок было подано немало - 41 команда госслужащих, в основном - из регионов.

Вот результаты.

Номинация «Моделирование»

1-е место – не присуждалось

2-е место – Администрация Главы Республики Бурятия и Правительства Республики Бурятия за использование математического моделирования для прогнозирования необходимого количества мест в дошкольных детских учреждениях и обоснования социальной политики в области демографии.

3-е место – Комитет финансов Санкт-Петербурга за использование математического моделирования для обоснования бюджетной политики путем определения оптимальных объемов заимствований, а также анализа уязвимостей бюджетной системы Санкт-Петербурга.

Дополнительно мы отметили Департамент экономического развития Смоленской области за использование математической модели для прогнозирования состояния регионального рынка труда, определения необходимого количества мест в учреждениях профессионального образования и обоснования политики в области профессионального образования.

Номинация «Оценка эффектов»

1-е место - Комитет финансов Санкт-Петербурга за применение количественных и качественных методов исследований при проведении обзоров бюджетных расходов.

Комитет финансов Санкт-Петербурга разработал методологию для обзоров расходов бюджета города, которая включает обширный перечень методов - от проведения фокус-групповых интервью с получателями государственной социальной помощи до репрезентативного выборочного обследования домохозяйств. Цель проведения обзоров – выявление недостаточно эффективно используемых ресурсов для их перенаправления на решение наиболее приоритетных задач.

2-е место – не присуждалось.

3-е место – не присуждалось.

Дополнительно отметили Министерство финансов Алтайского края за применение теории изменений для анализа реализации Проекта поддержки местных инициатив в крае, а также Роструд за использование качественных методов исследований для оценки деятельности территориальных органов службы.

Номинация «Социологические методы для оценки государственной политики»

1-е место – Министерство финансов Российской Федерации за использование качественных методов исследований для совершенствования оказываемых государственных (муниципальных) услуг в социальной сфере.

2-е место – Министерство труда и социальной защиты Новгородской области за использование социологических методов исследований для совершенствования механизмов снижения бедности.

3-е место – не присуждалось.

Дополнительно вне номинаций конкурсная мы отметили Роструд за раскрытие административных данных о состоянии рынка труда для широкого круга исследователей, что может способствовать проведению новых исследований и совершенствованию государственной политики в этой сфере.