Задачу проведения доказательной политики в государственном секторе осложняет отсутствие единого стандарта для идентификации и интеграции научных фактов в процесс принятия решений.

В качестве стандарта для оценки качества доказательств предлагается система THEARI:
- theoretical
- empirical
- applicable
- replicable
- impact.

Система основана на оценке доказательств по пятибалльной шкале в зависимости от уровня валидации. Чем выше уровень валидации, тем в большей степени доказательство подходит для интеграции в процесс принятия управленческих решений.

Об этом статья Катрин Оливер (профессор социологии и здравоохранения Лондонской школы гигиены и тропической медицины) и Анетт Боаз (профессор Кингстонского университета) «Стандарты фактов для принятия решений в сфере государственной политики», опубликованная в академическом журнале Palgrave Communications.

Обзор по ссылке.

Для преодоления глобальных кризисов необходимы системные трансформационные изменения, для управления ими - их качественная оценка. Стандартные критерии для оценки программ и проектов не отвечают изменениям такого глобального масштаба. В связи с этим актуален вопрос выработки гибких и легко модицифицируемых под конкретные задачи критериев оценки масштабных системных трансформаций, а также апробация этих критериев на примере трансформаций в ответ на кризис после пандемии коронавируса и в рамках реформы глобальной продовольственной системы.

Об этом статья Майкла Пэттона (ведущего специалиста по прикладной оценке) "Критерии оценки трансформации: значение в контексте пандемии коронавируса и изменения климата" , опубликованная на сайте журнала American Journal of Evaluation.

Обзор статьи по ссылке.

"Грамматика институтов" - это подход к анализу институтов через фокус на синтаксических структурных элементах, которые составляют и формируют институты, воплощенные в языковой форме. К таким институтам относятся государственные политики, стратегии, законы и нормы. 

Подход был предложен Сью Кроуфорд и Элионор Остром еще в 1995 году. Вместе с тем, распространению “грамматики институтов” препятствуют значительные затраты времени и ресурсов, связанные с его применением.  Преодолению этой проблемы может помочь применение машинного обучения для классификации синтаксических элементов "грамматики институтов".

Об этом статья "Machine Coding of Policy Texts with the Institutional Grammar", принятая к публикации в журнале «Public administration».

Обзор по ссылке.

Как выглядел бы современный спектр теорий оценок в виде линий метро? (Lemire, 2020)

Стресс-тестирование - это метод выявления недостатков программ и проектов на ранних этапах разработки и реализации.

Подход основан на двух предпосылках:
- программы должны быть устойчивы к негативным воздействиям внешней и внутренней среды;
- ведомства, ответственные за реализацию программ, как правило, не ориентированы на выявление их слабых сторон и акцентируют внимание лишь на реализации программы/проекта по изначально сформулированному плану.

Симуляция негативного воздействия внешней или внутренней среды до того, как реализуются шоки, должна помочь избежать избыточных расходов и снизить вероятность недостижения целей в реальных условиях.

Huey T. Chen et al. (2020). Proactive Evaluation: The Program Stress Test. American Journal of Evaluation. Issue 4

Появление метода синтетического контроля - это, вероятно, самая важная за последние два десятка лет инновация в оценке политик (policy evaluation). Так появление подхода описывают (Athey, Imbens, 2017).

По сути синтетический контроль напоминает одновременно разность-в-разностях и мэтчинг.

Краткое введение в теорию и практику использования синтетического контроля можно прочитать в книге Скотта Каннингема "Causal Inference: the mixtape".

Это отличный новый учебник по эконометрике, который отличается от других книг по causal inference (например, "Mostly harmless econometrics"):
- доступной он-лайн версией (ссылка)
- кодами примеров на Stata и R
- разделами с кратким введением в ориентированные ациклические графы (DAG) и причинно-следственную модель потенциальных результатов (potential outcomes causal model).

Семинар "Поведенческая экономика, nudge ("подталкивание") и госполитика: разговор с Ричардом Талером" (26.04. 6:00pm ET или 27.04. 1:00am по Москве) - о том, как повлияла поведенческая наука на процессы разработки государственной политики, в том числе, об интеллектуальном раскрытии данных и информации ("smart disclosure") - как предоставить гражданам более широкий доступ к данным, необходимым им для того, чтобы делать осознанный выбор в процессе принятия решений.

Эксперименты по оценке универсального базового дохода - хороший тест для доказательной социальной политики, иллюстрирующий конкретные сложности ее реализации на практике.

Дебаты о том, представляет ли собой универсальный базовый доход просто “раздачу денег” или инновационный способ организации социальной политики, продолжаются с завидной интенсивностью (десятки статей и монографии каждый год).

Но тут интересно посмотреть на то, как именно проводятся рандомизированные эксперименты с базовым доходом. По сути, ни один из рассмотренных экспериментов не оценивает универсальный базовый доход, выплачиваемый без проверок нуждаемости и без условий выплат.

Дилемма сводится к следующему: эксперименты с базовым доходом погружены в контур социальной политики, поэтому эксперименты должны соответствовать правилам, установленным не из научных соображений (вмешательство политики в границы науки). Но необходимость сохранения научной легитимности экспериментов диктует задачу отстаивания исследователями основных методологических аспектов при проведении эксперимента (вмешательство науки в границы политики).

Получить обоснованные оценки тех или иных интервенций - центральная задача доказательного подхода к принятию решений. Классическое допущение таких оценок - отсутствие интерференции эффектов между единицами анализа (людьми, предприятиями и т.д.), то есть потенциальный результат зависит исключительно от исследуемого воздействия на определенную единицу анализа и не зависит от воздействия на другие. Но во многих случаях такое предположение не выполняется. Например, в пространственном контексте важную роль играют механизмы распространения и диффузии эффектов.

Так, оценка причинно-следственных эффектов интервенций в области обеспечения качества воздуха сталкивается с проблемой интерференции, так как интервенции на уровне конкретного источника загрязнения (установка очистного оборудования на угольных электростанциях) будут оказывать влияние на качество воздуха и здоровье населения в различных местах, и при этом качество воздуха и здоровье в каждом конкретном месте будут затронуты эффектами различных интервенций на различных источниках загрязнения.

Интерференция причинно-следственных эффектов в этом случае объясняется сложными атмосферными процессами, определяющими, как переносятся в пространстве загрязнения воздуха из определенного источника, и имеет двучастную структуру: 1) единицы интервенций - например, угольные электростанции, на которых применяются или не применяются системы обработки выбросов загрязняющих веществ; и 2) единицы результатов, представляющие интерес, - госпитализации по программе Medicare среди 22 млн участников этой программы на уровне различных территориальных образований (единицы результатов).

Это исследование о влиянии установки систем обработки выбросов угольными электростанциями в США на здоровье населения (статья) подробно разбирается на последнем Online Causal Inference Seminar, одном из лучших научных семинаров по causal inference, оценке причинно-следственных эффектов.

Экономист Дэни Родрик: "На любой вопрос по поводу той или иной экономической политики правильным будет ответ: «В зависимости от обстоятельств». Нам нужны экономические факты и анализ, чтобы получить детали, от которых зависит желаемый конечный результат. Ключевые слова в действительно полезной экономической науке – непредвиденные обстоятельства, контекстуальность и неуниверсальность. Экономическая наука учит нас, что бывает время для бюджетной экспансии и время для бюджетного сжатия. Есть время, когда правительство должно вмешиваться в производственные цепочки, и время, когда оно должно оставить рынки в покое. Иногда налоги должны быть высокими, а иногда низкими. Торговля должна быть более свободной на одних направлениях, и регулироваться на других. Установление связей между обстоятельствами реального мира и желаемостью тех или иных видов государственного вмешательства – вот в чём экономика действительно хороша."

https://www.project-syndicate.org/commentary/economic-policy-must-abandon-universal-paradigms-by-dani-rodrik-2021-05

Надежность данных критична и для аудита (оценки), и для разработки мер государственной политики. Когда используется информация низкого качества, часть “мощности” инструментов госполитики по достижению цели будет теряться.

Использование информации высокого качества - точной, своевременной, репрезентативной, релевантной целям госполитики и доступной разработчикам дизайна госполитики - обеспечивает оптимальное соотношение между затратами на разработку мер (решений) и вероятностью достижения цели, то есть обеспечивает пропорциональность дизайна госполитики.

О различных ситуациях отклонения от оптимальности этого соотношения (недостаточный и избыточный дизайн) по ссылке.

https://telegra.ph/Nedostatochnyj-i-izbytochnyj-dizajn-gospolitiki-vzglyad-s-tochki-zreniya-kachestva-informacii-05-20

Мы в Счетной палате запустили конкурс практик и инициатив по доказательной политике среди федеральных государственных органов, органов государственной власти субъектов Российской Федерации, органов местного самоуправления, а также отдельных команд (коллективов) государственных служащих.

Подробности и форма заявки по ссылке.

Еще сформулировали шесть базовых и наиболее важных для российской системы стратегического управления принципов доказательной политики:

1. Использовать результаты научных исследований, систематических обзоров, результаты моделирования и прогнозирования на основе надежных данных, определять и вовлекать заинтересованные стороны для формализации проблем, требующих государственного вмешательства.

2. Выбирать оптимальные механизмы государственной политики по итогам приоритизации широкого круга возможных альтернатив.

3. Проводить пилоты и эксперименты по реализации мер государственной политики (включая рандомизированные контролируемые эксперименты) для надежного тестирования результативности мер государственной политики.

4. Формировать информативные программные документы стратегического планирования и отчетность по ним на основе измеримых целей, прозрачной и задокументированной теории изменений, расчетов издержек и сроков с учетом ошибки оптимистичности планирования.

5. Проводить оценку воздействия для получения доказательств высокого качества результативности мер государственной политики (проектов, программ).

6. Использовать доказательства высокого качества для принятия управленческих решений в ходе бюджетного процесса, масштабирования мер (проектов) с доказанными эффектами, прекращения реализации мер (проектов) с доказанной неэффективностью.

Проводим в последний день весны (31 мая в 18:00 мск) в рамках гЛокальной недели оценки открытый семинар “Микросимуляционное моделирование как инструмент оценки социальной политики”.

На семинаре обсудим особенности микросимуляционного подхода к моделированию и прогнозированию доходов, оценке бедности и неравенства доходов.

Александр Горюнов (главный инспектор, Департамент исследований и методологии) расскажет о квазидинамической микросимуляционной модели и ее применении для оценки перспектив достижения национальной цели двукратного сокращения уровня бедности к 2030-му году и анализа эффективности различных вариантов социальных трансфертов в контексте достижения этой цели.

Поделятся с участниками опытом и на примерах покажут роль оценки при принятии решений Дарья Попова (Университет Эссекса) и Михаил Матыцин (Всемирный Банк). Они расскажут о модели RUSMOD и оценке перераспределительных эффектов антикризисных мер социальной поддержки в России.

В обсуждении примут участие:
- Дарья Цыплакова, директор департамента исследований и методологии Счетной палаты Российской Федерации.
- Андрей Малокостов, главный инспектор департамента исследований и методологии Счетной палаты Российской Федерации.
- Марина Карцева, старший научный сотрудник Института социального анализа и прогнозирования РАНХиГС при Президенте Российской Федерации.
- Ольга Растрыгина, экономист ОЭСР.
- Елена Андреева, старший научный сотрудник НИФИ Министерства финансов Российской Федерации.
- Анастасия Ким, заместитель начальника инспекции по аудиту национальных целей департамента исследований и методологии Счетной палаты Российской Федерации

Семинар пройдет 31 мая 2021 года в 18:00 мск на русском языке с синхронным переводом на английский.

Для регистрации, пожалуйста, заполните форму: https://forms.gle/LnYR55esaNdtDuZb8

гЛокальная неделя оценки (gLocal Evaluation Week) будет проходить с 31 мая по 4 июня 2021. Это неделя панельных дискуссий и семинаров под эгидой Глобальной инициативы по оценке (Global Evaluation Initiative) о методологии оценивания и мониторинга программ и политики на глобальном и локальном уровнях.

https://ach.gov.ru/news/instrument-otsenki-sotsialnoy-politiki-schetnaya-palata-priglashaet-na-otkrytyy-seminar

Использование результатов научных исследований повышает эффективность государственных проектов и программ. Но при этом чиновники редко используют результаты исследований в процессе разработки и реализации государственных политик.

Как механизмы подотчетности могут способствовать внедрению доказательной политики? Модель принципал-агента подсказывает 4 таких административных механизма:
- скриниг (экзамены госслужащих);
- мониторинг (контроль за деятельностью);
- автономию (независимость при выполнении задач);
- позитивные и негативные стимулы (например, премирование).

На основе анализа данных опросов чиновников из Перу и Индии можно увидеть, что различные механизмы подотчетности положительно коррелированы с уровнем использования доказательств в работе чиновников. А вот решение проблемы доступности для чиновников информации о доказательных практиках само по себе не может повысить использование доказательств.

Статья: Celeste Beesley, Darren Hawkins, Nicholas Moffitt (2021). What leads government officials to use impact evidence? Journal of Public Policy

https://telegra.ph/CHto-stimuliruet-gosudarstvennyh-sluzhashchih-ispolzovat-dokazatelstva-pri-prinyatii-reshenij-06-22

Часто при обсуждении развития доказательной политики говорим об использовании строгих методов оценки влияния проектов. Это квази-экспериментальные статистические или даже экспериментальные методы.

Помимо требований к ресурсам, такие методы могут иметь юридические и этические ограничения, и зачастую они сложно подстраиваются:
- под задачи формирующей оценки (когда оценка проводится для корректировки дизайна проекта или хода его реализации);
- под задачи адаптивной оценки (когда оценка проводится для разработки новых подходов в сложной и меняющейся среде).

Затраты при использовании ряда методов оценки влияния порой могут превосходить ресурсные возможности, и в итоге многие составляющие влияния государственных программ остаются вне наблюдения в течение десятилетий.

В качестве подхода к оценке влияния в условиях, когда иные методы не применимы, можно использовать теоретически обоснованный подход экспресс-оценки (rapid impact evaluation, RIE), который отличается низкой стоимостью и высокой адаптивностью под конкретные задачи.

Подход экспресс-оценки RIE включает три новых составляющих:

1) Упрощенная результирующая метрика влияния, основанная на предположении, что основными показателями эффекта являются вероятность наступления эффекта и его величина.
2) Сценарные контрфактические предположения на основе рассмотрения сценария реализации альтернативных мер, которые при этом являются осуществимыми, возможными, эффективными, законными и этичными (например, тех мер, которые реализуются в аналогичных условиях или рассматривались в ходе принятия решения о выборе данной меры).
3) Подход, основанный на учете интересов и взглядов стейкхолдеров, исходит из того, что каждая группа стейкхолдеров имеет свой взгляд на реализацию меры и соответственно свой канал влияния на ее реализацию.

Про механику экспресс-оценок и аргументацию их валидности написали по ссылке ниже.

https://telegra.ph/EHkspress-ocenka-vliyaniya-chto-delat-v-sluchae-kogda-strogie-ocenki-vliyaniya-provesti-nelzya-07-07

Оценка проекта (программы) или отдельной меры госполитики всегда строится на явно или неявно заданном критерии, который отделяет «успешные» проекты от «неуспешных». Критериями успеха, конечно, должен быть далеко не факт "исполнения бюджета" / "деньги потрачены".

Если с базовыми критериями оценки (например, критерием результативности) знакомо абсолютное большинство государственных служащих, то менее очевидные, например согласованность мероприятий или устойчивость результатов, известны уже не многим, а применяются пока еще реже. Использование не одного или нескольких, а целого ряда критериев (и даже иногда просто осведомленность о них) позволяет рассматривать каждый проект с разных сторон и совершенствовать его в разрезе этих новых характеристик.

Какие критерии бывают? Какие области критериев (связанные с разработкой и реализацией проекта)? Какие источники? Недавняя статья (Teasdale, 2021) как раз об интегрированной модели критериев из 11 областей и 10 источников критериев на выбор оценщика или аудитора.

https://telegra.ph/Kriterii-ocenki-integrirovannaya-model-oblastej-i-istochnikov-07-14

Базовый элемент в планировании и оценке конкретных проектов и программ - это описание и картирование логики (теории изменений). Но это не просто цепочка от "потраченных ресурсов" до "конечных результатов" и "эффектов". Теория изменений - это описание механизма проекта, предположений о его работе.

Теория изменений может быть:
- "слабой" - простой набросок работы механизма проекта; или
- "сильной" - с обоснованием доказательств работы механизма, явно прописанными причинно-следственными связями между действиями в проекте, его мероприятиями, детальной, разработанной с масштабным вовлечением зантересованных сторон и бенефециаров проектов (сложность теории изменений "коррелирует" со сложностью проекта или программы), с понятной визуализацией.

Ниже короткая (14 минут) лекция:
- о том, что такое "формализация проблемы";
- как теория изменений используется в качестве прикладного инструмента для оценки госпроектов (например, федеральных/ региональных проектов, госпрограмм).

https://www.youtube.com/watch?v=b09wg95Bwi0