На сколько % Copilot увеличит производительность программистов?

Copilot помогает писать код программистам, и такая автоматизация кажется полезной для снижения издержек/времени работы. Хотелось бы проверить, как меняется производительность при подобном подходе.

Авторы статьи (февраль 2023) сделали эксперимент. Наняв 95 программистов, они разбили их случайным образом на две группы, одной из которых предоставили платный доступ к Copilot, а другой нет. Результат работы над задачей вроде бы впечатляет: время выполнения для людей с Copilot снизилось на 55%.

Проблемы:
1) Copilot может быть доступен всем участникам. Он платный, но если люди пишут open source код, Copilot может оказаться для них бесплатным.
2) (Серьёзное) "Мы также обнаруживаем, что успех в завершении задачи [разумно исполняемый код] у группы с Copilot выше на 7%, но эта оценка не является статистически значимой".

Выводы: скорость растёт - потому что куски кода можно копировать быстрее и автоматически. Но если при этом задача решается в незначимо большем проценте случаев, насколько это хороший результат? Кажется, что требуется больше экспериментов - в крупных компаниях Copilot очевидно полезен, а вот в небольших проверить бы.

#Copilot #ML #Productivity

Старение населения снижает рост ВВП.

Статья (только опубликована, а доступна с 2016) показывает, как старение населения отражается на росте ВВП в США. Похоже, эффект огромный - увеличение доли пенсионеров на 1% приводит к снижению ВВП на душу на 0,55%. При этом оценка за 1980-2010 показала, что рост ВВП снизился примерно на 0,3% из-за старения населения. На треть это следствие снижения предложения труда, на две трети - более медленный рост производительности.

Если схожие оценки верны для других взрослеющих (но не уменьшающих население) стран, то замедление для них может оказаться существенным, долгосрочный рост будет снижаться вплоть до 2050г. А в Китае с постепенным снижением населения будут сразу два фактора замедления роста.

#Labor #Age #Productivity

Про производительность и цифровую революцию.

Если смотреть на данные 21 века, мы не увидим большого влияния "цифровой революции" от айфонов или облачных вычислений на рост производительности. Статья (август 2023) напоминает, почему так произошло. Два больших аргумента - это

1) концентрация выгод. Не все компании успешно используют новые технологии, только самый топ получает преимущество. Это видно в стоимости MAFANG (Microsoft, Apple, Face, Amazon, Netflix, Google) в последние годы - они заняли около 20% по капитализации в S&P 500. Ещё в 2013 году они занимали порядка 7% - то есть десять лет росли быстрее общего индекса. И это сигнал про то, что мы в эпохе "монополистической конкуренции", крупные компании концентрируют выгоды от новых идей;

2) технологии ещё не дошли до зрелости. В предыдущие три "промышленных революции" (паровой двигатель; электричество; ИТ) от момента изобретения до воплощения в продукты прошло по 40-50 лет. Несмотря на уже пришедшие к нам продукты "четвёртой", мы можем увидеть полноценное использование позже. Более того, движение в сторону "искусственного интеллекта" будет относительно медленным, даже при уже видимых успехах применения.

Мне кажется важным, что "общая производительность" много лет растёт не так, как хочется ожидать с учётом нашего ежедневного опыта. Это довольно не интуитивное утверждение - макроуровень учитывает, например, что автоматизация приводит к переходу сотрудников в менее производительные отрасли, в том числе услуги, или даже уходу с рынка труда (в "экономически не активные"). Поэтому во всей экономике требуется "широкое применение нового", чтобы получить существенные выгоды от технологий.

Производительность: https://yangx.top/olegshibanov/1196

MAFANG: https://yangx.top/olegshibanov/1197

#AI #Macro #Digital #Productivity #Solow

ИИ и инфляция: что сильнее, спрос или предложение?

Статья (апрель 2024) исследует влияние развития искусственного интеллекта на инфляцию в теоретической модели. Основная идея довольно простая - если ИИ увеличит предложение сильнее, чем спрос, то инфляция замедлится; в противном случае она вырастет из-за повышения инвестиций и покупок граждан. Авторы стараются связать ИИ с повышением производительности в отраслях за счёт аккуратного подсчёта потенциального замещения человеческого труда.

Мне не нравятся две вещи:

1) Оценка роста производительности от внедрения ИИ крайне произвольная. Если ещё точнее - авторы калибруют модель так, чтобы средний рост "полной факторной производительности" (TFP "по Солоу") был бы равен 1,5% годовых за 10 лет. Но почему такое число? Например, в США за 2010-2019 вкл. рост составил всего 5,76% - менее 1% в год. За 2000-2019 рост также невелик, около 13% и снова менее 1% в год.

2) Вообще не учитывается возникновение "новых отраслей". Дело в том, что замена людей (например, в журналистике или сценариях) заставляет всех нас искать другую работу - и вероятно, что в менее производительной области, например, уход за пожилыми или доставка. В результате общие эффекты для экономики могут оказаться менее значительными, чем подразумевает привлекательность использования ИИ.

Вывод: ещё один интересный кирпичик, но пока ограниченные по содержанию результаты.

(А находить эти статьи можно тут: https://yangx.top/workingpaper)

#AI #Inflation #Productivity

Зарисовки про ИИ.

Как вы видели из квартальных отчётов бигтехов США, компании готовятся инвестировать много миллиардов в физическую инфраструктуру для ИИ. А инвесторы задумываются, оправданы ли эти инвестиции - видимо, есть неверующие в "почти сильный ИИ (AGI)". Микрософт прямо заявил, что лучше понимает будущую пользу от инвестиций, и продолжит их, несмотря на скепсис акционеров.

Кажется, что несколько вопросов, связанных с ИИ, показывают противоречивое влияние его на жизнь людей:

1) по "простым тестам" ("когда родился Александр Сергеевич Пушкин, поэт и писатель из России") даже лучшие LLM-модели продолжают давать плохие ответы. Видимо, у ChatGPT-o1 всего 42.5% точных ответов из более чем 4000 - то есть пока полагаться на качество информации не стоит;

2) очень интересное упражнение (октябрь 2024) по уточнению теории взаимодействия внутри организации - что остаётся сложной задачей даже в экспериментах с людьми, а здесь авторы смогли заметно упростить и удешевить проверку. Более того (октябрь 2024), в экспериментах ChatGPT уже активно используется;

3) а насколько на макро уровне полезны огромные инвестиции компаний - пока вообще неясно. Как с "интернетом" получилось не впечатляюще, так и текущие оценки Банка Канады (май 2024) показывают небольшое влияние цифровизации на рост (порядка +0,15 пп). А исследование (октябрь 2024) показывает, что нужен рост производительности и роста ВВП на 3 пп в год к 2030, чтобы покрывать издержки на дата центры и обучение моделей.

Так что скепсис инвесторов понятен. Сможет ли отдельная компания оправдать инвестиции - наверное, да, потому что околомонопольная позиция поможет. А будут ли на уровне всей экономики большие выгоды - зависит от широты использования ИИ в экономике.

(Вот общий тред: https://emcr.io/news/threads/6586833f0fec2)

#AI #Firms #Growth #Productivity