Использование результатов научных исследований повышает эффективность государственных проектов и программ. Но при этом чиновники редко используют результаты исследований в процессе разработки и реализации государственных политик.

Как механизмы подотчетности могут способствовать внедрению доказательной политики? Модель принципал-агента подсказывает 4 таких административных механизма:
- скриниг (экзамены госслужащих);
- мониторинг (контроль за деятельностью);
- автономию (независимость при выполнении задач);
- позитивные и негативные стимулы (например, премирование).

На основе анализа данных опросов чиновников из Перу и Индии можно увидеть, что различные механизмы подотчетности положительно коррелированы с уровнем использования доказательств в работе чиновников. А вот решение проблемы доступности для чиновников информации о доказательных практиках само по себе не может повысить использование доказательств.

Статья: Celeste Beesley, Darren Hawkins, Nicholas Moffitt (2021). What leads government officials to use impact evidence? Journal of Public Policy

https://telegra.ph/CHto-stimuliruet-gosudarstvennyh-sluzhashchih-ispolzovat-dokazatelstva-pri-prinyatii-reshenij-06-22

Часто при обсуждении развития доказательной политики говорим об использовании строгих методов оценки влияния проектов. Это квази-экспериментальные статистические или даже экспериментальные методы.

Помимо требований к ресурсам, такие методы могут иметь юридические и этические ограничения, и зачастую они сложно подстраиваются:
- под задачи формирующей оценки (когда оценка проводится для корректировки дизайна проекта или хода его реализации);
- под задачи адаптивной оценки (когда оценка проводится для разработки новых подходов в сложной и меняющейся среде).

Затраты при использовании ряда методов оценки влияния порой могут превосходить ресурсные возможности, и в итоге многие составляющие влияния государственных программ остаются вне наблюдения в течение десятилетий.

В качестве подхода к оценке влияния в условиях, когда иные методы не применимы, можно использовать теоретически обоснованный подход экспресс-оценки (rapid impact evaluation, RIE), который отличается низкой стоимостью и высокой адаптивностью под конкретные задачи.

Подход экспресс-оценки RIE включает три новых составляющих:

1) Упрощенная результирующая метрика влияния, основанная на предположении, что основными показателями эффекта являются вероятность наступления эффекта и его величина.
2) Сценарные контрфактические предположения на основе рассмотрения сценария реализации альтернативных мер, которые при этом являются осуществимыми, возможными, эффективными, законными и этичными (например, тех мер, которые реализуются в аналогичных условиях или рассматривались в ходе принятия решения о выборе данной меры).
3) Подход, основанный на учете интересов и взглядов стейкхолдеров, исходит из того, что каждая группа стейкхолдеров имеет свой взгляд на реализацию меры и соответственно свой канал влияния на ее реализацию.

Про механику экспресс-оценок и аргументацию их валидности написали по ссылке ниже.

https://telegra.ph/EHkspress-ocenka-vliyaniya-chto-delat-v-sluchae-kogda-strogie-ocenki-vliyaniya-provesti-nelzya-07-07

Оценка проекта (программы) или отдельной меры госполитики всегда строится на явно или неявно заданном критерии, который отделяет «успешные» проекты от «неуспешных». Критериями успеха, конечно, должен быть далеко не факт "исполнения бюджета" / "деньги потрачены".

Если с базовыми критериями оценки (например, критерием результативности) знакомо абсолютное большинство государственных служащих, то менее очевидные, например согласованность мероприятий или устойчивость результатов, известны уже не многим, а применяются пока еще реже. Использование не одного или нескольких, а целого ряда критериев (и даже иногда просто осведомленность о них) позволяет рассматривать каждый проект с разных сторон и совершенствовать его в разрезе этих новых характеристик.

Какие критерии бывают? Какие области критериев (связанные с разработкой и реализацией проекта)? Какие источники? Недавняя статья (Teasdale, 2021) как раз об интегрированной модели критериев из 11 областей и 10 источников критериев на выбор оценщика или аудитора.

https://telegra.ph/Kriterii-ocenki-integrirovannaya-model-oblastej-i-istochnikov-07-14

Базовый элемент в планировании и оценке конкретных проектов и программ - это описание и картирование логики (теории изменений). Но это не просто цепочка от "потраченных ресурсов" до "конечных результатов" и "эффектов". Теория изменений - это описание механизма проекта, предположений о его работе.

Теория изменений может быть:
- "слабой" - простой набросок работы механизма проекта; или
- "сильной" - с обоснованием доказательств работы механизма, явно прописанными причинно-следственными связями между действиями в проекте, его мероприятиями, детальной, разработанной с масштабным вовлечением зантересованных сторон и бенефециаров проектов (сложность теории изменений "коррелирует" со сложностью проекта или программы), с понятной визуализацией.

Ниже короткая (14 минут) лекция:
- о том, что такое "формализация проблемы";
- как теория изменений используется в качестве прикладного инструмента для оценки госпроектов (например, федеральных/ региональных проектов, госпрограмм).

https://www.youtube.com/watch?v=b09wg95Bwi0

Интенсивный экономический рост и защита окружающей среды традиционно рассматриваются как противоречащие друг другу. В одних странах противоречие может решаться через рыночные механизмы (в «зеленых» отраслях создаются новые рабочие места). В других - через попытку установить ограничивающие целевые показатели по экологии для чиновников. Работает ли в принципе такой подход?

В статье (Du, Yi, 2021) на примере анализа политических стимулов (целевых показателей) для чиновников и экономических/ экологических результатов в китайских городах показывается , что такой подход работает (впрочем, есть некоторые ограничения методологии оценки):

- относительные экономические цели действительно стимулируют чиновников "работать" на все более высокие темпы экономического роста (оценка деятельности чиновников по тому, кто из них "показывает" лучшие результаты экономического роста в своем городе);

- абсолютные экологические цели побуждают учитывать экологические вопросы и "сдерживать" экономический рост, если он наносит вред экологии (оценка на основе конкретных значений снижения выбросов).

Оценка чиновников только по относительным показателям (модель сравнительной конкуренции) чревата игнорированием экологической повестки: чиновники закрывают глаза на природоохрану и нарушения в этой сфере. Один из выводов статьи о том, что внедрение дополнительных абсолютных экологических показателей в систему оценивания чиновников на уровне городов привело к более равномерному развитию и меньшим потерям для окружающей среды.

https://telegra.ph/Postanovka-celevyh-pokazatelej-politicheskie-stimuly-i-neprostoj-kompromiss-mezhdu-ehkonomicheskim-razvitiem-i-zashchitoj-okruzh-07-23

В проектах моделей компетенций, которые разработала Еврокомиссия, один из кластеров - о доказательном принятии решений.

В нем у госслужащих такие компетенции, как:

1) исследование и формализация проблемы, которую планируется решить путем государственного вмешательства;
2) научная грамотность;
3) идентификация необходимых доказательств;
4) умение выстраивать взаимодействие с экспертным сообществом;
5) поиск и использование результатов научных исследований;
6) оценка качества и релевантности информации для принятия управленческих решений;
7) управление закупками;
8 ) управление данными;
9) работа с моделями с учетом их ограничений, корректное использование их результатов.

Научная грамотность для “начального уровня” - это “знание того, какую роль peer-review и воспроизводимость исследований играют в подтверждении валидности научных результатов”.

Идентификация необходимых доказательств для “начального уровня” это, в том числе, способность выявить основные доказательные пробелы, сформулировать общую постановку проблемы и разработать логику интервенции, найти ресурсы для устранения этих доказательных пробелов.

Оценка качества и релевантности информации для принятия управленческих решений для “продвинутого уровня” это способность создавать возможности для сбора данных в ходе реализации мер госполитики и извлекать ценность из коротких циклов обратной связи, например, данных в реальном времени от граждан и заинтересованных сторон для повышения результативности госполитики.

Немного подробнее о том, какие компетенции нужны госслужащим, а какие - исследователям, по ссылке.

Как оценить результат государственной политики с помощью данных? Обзор методов на примерах. Лекция Евгения Яковлева из Российской экономической школы - это часть небольшого вводного курса по доказательной политике от Счетной палаты.

Сколько стоят данные? Какова их общественная ценность? Какие инвестиции в данные оправданы? Какую ценность имеет каждое конкретное наблюдение для предиктивной способности алгоритмов? Какой должна быть справедливая компенсация владельцам данных?

Рынки данных зачастую отсутствуют, но рыночные механизмы не всегда будут позволять достигать общественно оптимального уровня производства и использования данных из-за того, что данные не являются традиционным частным благом.

Ценность данных зависит от того, на каком этапе создания общественной ценности находятся данные: “сырые” необработанные данные, предобработанные данные, интегрированные данные (связанные данные из нескольких источников), их анализ, получение инсайтов на основе данных и действия на основе полученных инсайтов (доказательная политика).

Ценность данных увеличивается на каждом таком этапе и находится в зависимости от ценности на самом последнем шаге (от ценности доказательного принятия решений). Например, ценность данных о получателях социальной помощи (сейчас хранятся в бумажном виде) зависит от того, какие действия могли бы стать возможными при использовании результатов анализа этих данных в машиночитаемом виде - например, от адаптивности и скорости разработки индивидуальных программ социальной адаптации для тех, кто в них нуждается, при использовании рекомендательных алгоритмов.

В последние два года научным сообществом опубликовано несколько десятков статей о различных подходах к оценке стоимости данных. Но консенсуса об измерении ценности данных пока нет.

Например, Диана Койл и Анабель Менли (Coyle, Manley, 2021) используют совместный анализ (conjoint analysis) для определения общественной ценности показателей World Development Indicators. Это опрос потенциальных потребителей относительно выбора между различными комбинациями цен и характеристик данных (временной разрез, пространственная гранулярность и иные атрибуты) и байесовское моделирование на основе его результатов.

Другая ветка анализа опирается на использование вектора Шепли. Оценка стоимости данных решается как проблема распределения ценности алгоритма между различными источниками данных. Это достаточно хорошо изученная экономистами проблема распределения прибыли, созданной коллективными усилиями, в теории кооперативных игр.

Подход помогает, например, определять значимые наблюдения с точки зрения точности обнаружения пневномнии: при обучении на данных низкого качества удаление обучающих данных с низкими значениями Шепли повышает точность модели.

https://telegra.ph/Ocenka-stoimosti-dannyh-skolko-stoyat-dannye-i-kakie-investicii-v-nih-opravdany-08-15

Квазирыночные механизмы и доказательства их работы: почему важны административные данные и личный опыт потребителей?

Квазирыночные реформы - это проектирование рынков с целью повысить качество или возможность выбора услуг для потребителей (например, в сфере здравоохранения, образования, социальных услуг). Рыночные механизмы могут включаться через подушевое финансирование, через аутсорсинг задач НКО или бизнесу. Но чтобы ответить на вопрос, к каким последствиям в действительности привела квазирыночная реформа, внедрение рынков должно сопровождаться оценкой их эффективности и последствий. Для таких оценок могут оказаться недостаточными агрегированные данные (на уровне поставщиков - школ, больниц, предприятий и т.д.). На какие-то вопросы могут помочь ответить только детализированные административные данные: достигнут ли эффект за счет повышения качества услуг или за счет "снятия сливок" - привлечения "удобных" потребителей (например, успевающих школьников). А на какие-то - информация об удовлетворенности пользователей и их личном опыте получения услуг.

https://telegra.ph/Kvazirynochnye-mehanizmy-i-dokazatelstva-ih-raboty-pochemu-vazhny-administrativnye-dannye-i-lichnyj-opyt-potrebitelej-08-24

Административно-бюджетное управление США (OMB) запускает сайт Evaluation.gov, где ведомства должны будут размещать свои материалы для демонстрации прогресса на пути к достижению целей (на основе данных).

Его задача - дать исследователям и предпринимателям понимание тех типов вопросов, которые ведомства задают о достижении результатов госпрограмм, и ориентировку для необходимых дополнительных исследований, которые могут помочь заполнить пробел в знаниях о этих результатах.

В 2019 г. Конгресс США принял Акт об основах разработки доказательной политики. Это обязательства для ведомств назначить руководителей по данным (chief data officers), руководителей по оценке (chief evaluation officers) и ответственных по статистике (statistical official). Ведомства также должны разрабатывать и публиковать на сайте Evaluation.gov (с февраля 2022 года):
- повестки обучения - Learning agendas (вопросы о том, что необходимо изучить для разработки или реализации проектов и функций ведомств);
- годовые планы оценки - Annual evaluation plans;
- оценки потенциала - Capacity assessments (чтобы помочь ведомствам оценить свои возможности и инфраструктуру для сбора доказательств)

По сути, это дорожные карты работы ведомств по генерации доказательств там, где это больше всего необходимо, и определения того, на сколько госпрограммы достигают или не достигают целей.

Вот пример плана оценки от министерства (департамента) образования. В плане 5 приоритетных направлений:
1. Решение проблемы воздействия COVID-19 на студентов, преподавателей и работников системы образования.
2. Содействие равенству в доступе учащихся к образовательным ресурсам, возможностям и доброжелательной среде.
3. Поддержка разнообразных педагогических кадров и профессионального роста для улучшения обучения студентов.
4. Удовлетворение социальных, эмоциональных и академических потребностей учащихся.
5. Повышение доступа к послешкольному образованию, его финансовой доступности, успешности завершения и после зачисления.
6. Укрепление межведомственной координации и вовлечения общественности в продвижение системных изменений.

По разделам плана по каждому приоритету приводится контекст проекта или программы, исследовательские вопросы, методы сбора и анализа данных, описание предполагаемых продуктов (иногда вызовы для оценки). Например, есть раздел с исследовательскими вопросами о результативности стратегий обучения взрослых, о том, какие еще недостаточно изученные стратегии обучения взрослых можно изучить с помощью оценки воздействия, какой возможный дизайн для такого исследования. В качестве метода использовался систематический обзор результатов существующих исследований и выявления пробелов в базе знаний (в данном случае исследование уже проведено, результаты опубликованы).

Мы подвели итоги первого конкурса Счетной палаты по доказательной политике среди органов исполнительной власти. Заявок было подано немало - 41 команда госслужащих, в основном - из регионов.

Вот результаты.

Номинация «Моделирование»

1-е место – не присуждалось

2-е место – Администрация Главы Республики Бурятия и Правительства Республики Бурятия за использование математического моделирования для прогнозирования необходимого количества мест в дошкольных детских учреждениях и обоснования социальной политики в области демографии.

3-е место – Комитет финансов Санкт-Петербурга за использование математического моделирования для обоснования бюджетной политики путем определения оптимальных объемов заимствований, а также анализа уязвимостей бюджетной системы Санкт-Петербурга.

Дополнительно мы отметили Департамент экономического развития Смоленской области за использование математической модели для прогнозирования состояния регионального рынка труда, определения необходимого количества мест в учреждениях профессионального образования и обоснования политики в области профессионального образования.

Номинация «Оценка эффектов»

1-е место - Комитет финансов Санкт-Петербурга за применение количественных и качественных методов исследований при проведении обзоров бюджетных расходов.

Комитет финансов Санкт-Петербурга разработал методологию для обзоров расходов бюджета города, которая включает обширный перечень методов - от проведения фокус-групповых интервью с получателями государственной социальной помощи до репрезентативного выборочного обследования домохозяйств. Цель проведения обзоров – выявление недостаточно эффективно используемых ресурсов для их перенаправления на решение наиболее приоритетных задач.

2-е место – не присуждалось.

3-е место – не присуждалось.

Дополнительно отметили Министерство финансов Алтайского края за применение теории изменений для анализа реализации Проекта поддержки местных инициатив в крае, а также Роструд за использование качественных методов исследований для оценки деятельности территориальных органов службы.

Номинация «Социологические методы для оценки государственной политики»

1-е место – Министерство финансов Российской Федерации за использование качественных методов исследований для совершенствования оказываемых государственных (муниципальных) услуг в социальной сфере.

2-е место – Министерство труда и социальной защиты Новгородской области за использование социологических методов исследований для совершенствования механизмов снижения бедности.

3-е место – не присуждалось.

Дополнительно вне номинаций конкурсная мы отметили Роструд за раскрытие административных данных о состоянии рынка труда для широкого круга исследователей, что может способствовать проведению новых исследований и совершенствованию государственной политики в этой сфере.

На Форуме Стратегов обсуждали направления и темпы развития доказательной политики в России.

Алексей Кудрин отметил, что сейчас правительство получает новый для них инструмент - доказательный подход, который поможет сделать процесс принятия решений более структурированным.

По его словам, ускорить развитие доказательной политики в России можно было бы благодаря:
• закреплению доказательной политики в нормативных актах
• обязательствам ведомства формулировать исследовательские вопросы по самым значимым программам и проектам
• накоплению и открытию для исследователей данных, которые помогают ведомствам ответить на эти вопросы
• повышению компетенций госслужащих по эконометрике, анализу данных, по оценке программ и политик
• созданию реестров практик доказательности для распространения лучших практик доказательной политики;
• формированию обзоров бюджетных расходов в логике доказательной политики.

Подробнее можно прочитать и посмотреть запись тут

Экспертные интервью часто используются в оценке госпрограмм и анализе госполитик. Это и быстрый способ разобраться в предмете, и порой возможность получить необходимый доступ в исследовательское поле. Корректная работа ведомств с экспертами - один из ключевых элементов доказательной политики.

В зависимости от целей экспертные интервью могут различными:

1) Разведывательное экспертное интервью для вхождения в новую проблематику, тему (это подготовительный этап анализа)

2) Систематизирующее экспертное интервью - получение от эксперта фактов и информации с целью систематизировать уже имеющиеся данные.

3) "Генерирующее теорию" экспертное интервью - реконструкция представлений эксперта, приводящих его или её к тому или иному выводу.

Есть и другая классификация. В её основе - различные подходы к определению экспертов.

Первый тип экспертов — эксперты как носители знаний о проблеме. Яркий пример таких экспертов — представители академического сообщества, эксперты-ученые. Они особенно полезны в рамках систематизирующих экспертных интервью, потому что обладают обширными фактологическими знаниями о проблеме.

Второй тип экспертов — это эксперты опыта. Такие эксперты обладают специализированным знанием о социальном контексте анализируемого феномена, потому что непосредственно погружены в него, обладают необходимым опытом работы. Например, при исследовании доступности городской среды экспертами опыта могут быть люди с инвалидностью. Подбор таких экспертов также может опираться на формальные критерии, но в большей степени - это традиционный поиск информантов в качественном поле.

https://telegra.ph/EHkspertnye-intervyu-kak-issledovatelskij-metod-11-15

Сегодня и завтра в Российской экономической школе будет проходить ежегодная исследовательская конференция.

Будет трансляция на youtube:
▫️18 ноября - https://youtu.be/99y5jy4tbRw
▫️ 19 ноября - https://youtu.be/Smf_33aDUz0

Выделили в программе то, что кажется нам особо интересным!

🔺Почему результаты научных исследований не так часто становятся основой для принятия решений?
🔺Какие изменения и реформы могут помочь использованию результатов оценки госпрограмм, проектов, отдельных мер?

Один из таких инструментов - положения о прекращении действия программ в определенный срок (“оговорки о закате”, sunset clause). Программы, подпадающие под действие таких положений, финансируются в течение ограниченного периода. Решение о дальнейшем финансировании и его объемах принимается по итогам оценки - заданного уровня качества (стандарта).

Задача оценки - выяснить:
▫️фактические результаты программы;
▫️обеспечивается ли наилучшее соотношение между затраченными ресурсами и результатами или есть более оптимальные альтернативы;
▫️способствует ли программа достижению стратегических целей.

В этом случае оговорки о закате - это встроенная в бюджетный процесс точка принятия решений, гарантирующая, что финансирование программ будет основано на результатах их оценки. Это позволяет правительству и министерствам эффективнее использовать ресурсы.

Пример: в Австралии c 2014 г. под положение о прекращении действия подпадают все новые и действующие программы с объемом финансирования от 1 или 5 млн долларов (в зависимости от территории, субъекта федерации) в трехлетний или пятилетний срок

Один из первых в мире национальных стандартов прозрачности алгоритмов опубликован в Великобритании.

В прошлом году Правительство Великобритании использовало предиктивный алгоритм для определения результатов отмененных из-за коронавируса экзаменов. Алгоритм рассчитывал итоговую оценку на основе рейтинга каждого учащегося и средних показателей успеваемости школы. При этом алгоритм придавал большое значение показателям успеваемости школы за последние годы. Почти 40% учеников получили заниженные результаты: алгоритм занизил оценки успешным ученикам, которым не повезло учиться в “плохих” школах. Результаты были отменены. Но алгоритмы используются все больше (не только в Великобритании) - они лежат в основе решений по заявкам на получение пособий, распределения жилищных субсидий, решений по ремонту дорог и т.д.

Центр этики данных и инноваций (CDEI) Великобритании недавно провел анализ предвзятости алгоритмов. Ключевой рекомендацией по итогам анализа стала обязательная прозрачность алгоритмов для поддержки важных государственных решений.

Теперь в соответствии с новым стандартом прозрачности алгоритмов ведомства и госорганы должны раскрыть алгоритмы и объяснить, где использовался тот или иной алгоритм, почему он был использован и достиг ли он своей цели. Также есть обязательство раскрыть содержание алгоритма и риски.

Стандарт состоит из двух уровней и включает краткое описание алгоритма, включая то, как и почему он используется. Второй уровень предполагает более подробную информацию о том, как работает инструмент, о наборах данных, которые использовались для обучения модели, об уровне вовлечения человека.

Стандарт дает возможность экспертам и общественности осуществлять аудит (внешнюю проверку) алгоритмов и, как ожидается, прозрачность использования алгоритмов аналитики данных будет способствовать “надежным инновациям”, смягчая непредвиденные последствия использования алгоритмов на первых этапах.

В сферу охвата стандарта попадают все алгоритмы, используемые ведомствами и госорганами. Но приоритетное внимание уделяется тем, которые соответствуют хотя бы одному критерию из следующих трех областей:

1) технические характеристики (сложный статистический анализ, сложная аналитика данных, машинное обучение - например, нейронные сети или глубокое обучение);
2) возможный общественный эффект (потенциальное правовое, экономическое или иное подобное влияние на отдельных лиц или группы населения, затрагивает процессуальные или материальные нормы права, влияет на право участия, получение или отказ от участия в программе - например, получение пособий);
3) принятие решений (заменяет принятие решений человеком, помогает принятию решений - например, формирует доказательства для принятия решений).

Стандарт представляет собой шаблон таблицы с различными атрибутами - от типа модели до ключевых выгод использования, рассмотренных альтернатив, источников данных, стадии внедрения, рисков, оценки результативности и так далее.

В ближайшие месяцы стандарт будет проходить пилотирование, после чего он будет снова будет рассмотрен и официально запущен в следующем году.

[1] https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1036242/Algorithmic_transparency_data_standard.csv/preview

Сегодня в 18:00 Алексей Кудрин расскажет о доказательной политике в России и перспективах её развития.

В обсуждении также примут председатель Центробанка Эльвира Набиуллина и декан экономического факультета МГУ им. М.В. Ломоносова Александр Аузан.

Тут ссылка на трансляцию и форму для отправки вопросов – http://pressmia.ru/pressclub/20211209/953462900.html

Небольшой курс "Наука для госполитики - Как максимизировать влияние" о навыках для исследователей, которые необходимы для взаимодействия с чиновниками (на англ.).

Целевая аудитория курса - исследователи, которые занимаются анализом госполитики

Займет около полчаса, и за это время можно:

1) побыть министром энергетики, который проводит совещание
2) узнать о различиях в восприятии чиновниками и исследователями некоторых слов ("теория", "значимый", "риск", "фактор", "предиктор")
3) попробовать на практике структурировать информацию так, чтобы эффективнее донести ключевые идеи
4) научиться подстраивать свои материалы под потребности собеседников (ожидания, уровень подготовки и знаний, ценностные установки)

Что мы делаем в преддверии новогодних каникул? Конечно же, записываемся на самые интересные курсы, связанные с доказательной политикой и анализом данных!

Пример - курс "Диаграммы причинно-следственных связей: картировать ваши предположения прежде, чем делать выводы".

В последние годы диаграммы причинно-следственных связей (causal diagrams) значительно поменяли исследовательские подходы к ответу на вопрос "оказывает ли X причинно-следственное влияние на Y?". Например, верно ли, что это именно субсидии предприятиям улучшают их финансово-экономические показатели, а не иные факторы?

Правильное понимание и применение причинно-следственных диаграм стало важным во многих научных дисциплинах - от изучения эффектов различных вариантов лечений до анализа воздействий факторов или мер государственной политики.

Первая часть этого курса состоит из уроков, которые знакомят слушателей с теорией и практическим применением причинно-следственных диаграм для решения задачи определения эффектов - без влияния иных факторов, кроме интересуемого воздействия.

Вторая часть - это разбор тематических исследований с применением диаграмм для решения конкретных проблем здравоохранения и общественной жизни.

Еще в рамках курса - два интервью с основоположниками подхода, это статистик Джуда Перл (автор книги "Почему? Новая наука о причинно-следственной связи") и эпидемиолог Джеймс Робинс.

Курс на английском языке, но есть субтитры.