​​Последнее время нереально занят, и совсем нет времени на блог (однако скоро все изменится)). Но за последние месяцы взял несколько неплохих интервью, и вот одно вышло на NS (а вообще оно в дальнейшем для большого спецпроекта, который я делаю). Алексей Кавокин - хороший, очень хороший ученый (директор Международного центра теоретической физики имени А.А.Абрикосова в МФТИ), но главное - натуральный человек оркестр, я такими восхищаюсь. Помимо физики, пишет удачные книги для детей (и написал много), шахматы, горные лыжи, готовка и пр. И как только люди всё это успевают?

Но интервью в целом про науку, конечно! 😊
https://naked-science.ru/article/interview/alexey-kavokin
Что общего у квантовой физики и воли человека? Интервью с Алексеем Кавокиным

​​Когда-то давно я прочитал про крокоит, и он почему-то надолго остался у меня в голове (название у него этакое "крокодилье"). Но на самом деле крокодилы тут ни при чём, крокоисом (впоследствии крокоитом) его назвали из-за сходства по цвету с шафраном (оранжевой пряностью, получаемой из рылец цветка крокуса).

Это такой свинцово-хромовый (хромат свинца PbCrO₄) минерал, который, увы, токсичен - но ведь так (дьявольски) красив!! Он ярко-красного или оранжевого цвета, блеск от алмазного до стеклянного.

Крокоит — минерал довольно редкий, и в Википедии (и на миллионах сайтов, крадущих инфу из Вики) клевещут, что это чисто коллекционный минерал, но не верьте: он вполне себе используется для протрав всяких пигментов.

Что касается токсичности, то тут вот что: крокоит занимает место между 2.5 и 3 в Шкале твердости по Моосу, что указывает на то, что он относительно мягкий и хрупкий. Стукнул и в пыль! Ну а поскольку внутри свинец, пылью которого точно дышать не стоит, то будьте осторожнее! Поставили на полочку и любуемся, всё.

​​#шутка_юмора
Новый год уж 9 дней как наступил, но сегодня только первый рабочий день, и можем позволить себе последнюю новогоднюю шутку.


Политик: Прошлый год был непростым, и следующий тоже обещает быть сложным...
Математик: Я вам больше скажу. Прошлый простой год был 2017-й, а следующий - только 2027-й.

Не совсем про науку, но все же и про нее. Точнее - почему науки вдруг может быть меньше или больше в одной отдельно взятой локации.

Ну, правда, там есть с чем поспорить - нужно ли столько науки и инженеров, столько ли нужно, ну и вообще про степень влияния сериалов на степень дебилизации населения хотелось бы почитать хорошее исследование, да где ж его взять - люди ведь не шаровые кони в вакууме

​​Только вчера объяснял коллеге, как Солнце движется по небу летом на Северном полюсе (а она не верила, что оно не заходит "хотя бы на часочек").

Люблю всякие такие штуки. Это вот, например, серия снимков, полученная в 2024 году, и по ней хорошо видно изменение положения Солнца на небе планеты Земля в зависимости от времени года.

Похожая на восьмерку фигура, известная как аналемма (кривая, соединяющая ряд последовательных положений центральной звезды планетной системы), запечатлена на изображениях, полученных в 1 час дня по местному времени в ясные дни из Кайзери в Турции.

Конечно, верхняя и нижняя точки кривой показывают положение Солнца в дни солнцестояний в 2024 году. Они соответствуют началу астрономических лета и зимы в северном полушарии.

Точки, расположенные в середине фигуры, но не в точке пересечения, соответствуют равноденствиям 2024 года, отмечающим начало весны и осени. Вдоль южного горизонта на этом пейзаже видны горы, среди них – спящий вулкан Эрджиес.

Enjoy

#шутка_юмора

В этот день, ровно 66 миллионов лет назад, закончился меловой период.

Мир, если бы РНФ одобрил все заявки на грант с обещанием вечного двигателя и эликсира бессмертия

#новыйгодсрнф

#шутка_юмора
Такая серия была про гомеопатов, и некоторые мемы были и правда смешные. А вот про математиков в первый раз попалось (в смысле, мне в первый раз - все остальные небось уж давно отсмеялись).

#шутка_юмора

Забыл в начале года перепостить отличное поздравление от МИФИ, и вот сейчас вспомнил - а тем временем к их 10 фразам у меня набралось еще с десяток хороших add-on'ов из разных мест, enjoy:

Пусть в новом году у Вас и у всех Ваших родных и близких всё будет нормально (Гаусс).
Пусть новый год будет относительно неплохим (Эйнштейн).
Вращайтесь! Двигайтесь! (Коперник).
Но не забывайте о сопротивлении (Ом).
Будьте активны и подвижны (Броун).
Но не перегревайтесь (Карно).
Чтобы мир вокруг был многоцветным (Дальтон).
Взрывного настроения в Новом Году! (Нобель)
Тепла вам и побольше (Джоуль, Бойль, Мариотт).
И чтобы все проблемы были видны насквозь! (Рентген).
Притягивайтесь друг к другу и сближайтесь (Ньютон).
И всем желаю светиться от счастья (Склодовская-Кюри).

А ещё...:
Пусть в Новом году из любой ненависти рождается любовь (Бор).
Будьте одновременно там, где деньги и там, где Вы счастливы (Шрёдингер).
Правильно мешайте градусы (Менделеев).
И не забывайте, что именно Вы теоретик своего счастья, а не какой-то Тамм (Ландау)
Ящик водки и всех этих обратно на необитаемый остров. (Гейзенберг)
Пусть на дворе у вас всегда будет плюсовая температура, а не как у этого фрика Цельсия! (Кельвин)
Излучайте свет и тепло. (Академик Сахаров)
Будьте сильными! (Ампер)
Не напрягайтесь попусту (Вольт)
Не забывайте друзей и родных! (Паркинсон)

On Interpretability

Я тут немного погрузился в тему interpretability пока проходил курс AI Alignment (https://yangx.top/gonzo_ML/2934). В целом в interpretability я особо не верил, потому что ситуация довольно быстро идёт к созданию систем очень большой сложности и чем дальше, тем больше надо пытаться интерпретировать сущность всё более близкую по сложности к мозгу (а в перспективе и более сложную). Глобально я не верю, что система меньшей сложности может хорошо интерпретировать работу системы большей сложности, кроме каких-то вырожденных случаев или прям очень сильных коррелятов какой-то целевой функции (что наверное будет редкостью). Так что, опять же глобально, я думаю, что жить нам дальше с системами, которые мы не сможем интерпретировать, как в общем мы и сейчас живём, не зная что там у соседа в голове.

Но тем не менее, полезно принять чужую точку зрения и посмотреть на ситуацию с неё, что я и сделал.

Одна из ценных находок для меня -- это посты Криса Олаха (Chris Olah, https://colah.github.io/), работы которого на Distill (https://distill.pub/) мне всегда нравились. Из работ после Distill у него и ко была хорошая серия про Transformer Circuits (https://transformer-circuits.pub/). Он кстати и кофаундер Антропика заодно, и в недавнем ноябрьском 5+ часовом (https://yangx.top/gonzo_ML/3036) Лексе Фридмане он тоже был.

В одном из довольно старых постов на Distill “Zoom In: An Introduction to Circuits” (https://distill.pub/2020/circuits/zoom-in/) мне понравилась метафора микроскопа и мысль про полезность для науки делать zoom in. Мол, микроскопы помогли нам увидеть клетки и открыли дорогу к клеточной биологии. Они дали не количественно новое понимание, а качественно. В этом смысле и, например, визуализации работы нейросетей могут выступить в такой же роли.

Работа про zoom-in делает три спекулятивных утверждения (хотя какие-то подтверждения этих тезисов мы видели):

1. Фичи (features, линейные комбинации конкретных нейронов) -- фундаментальные юниты нейросерей, они задают некие направления в линейных пространствах активаций нейронов слоя. Их можно подробно исследовать и осмыслять.
2. Цепи Схемы (circuits, вычислительные подграфы нейросети) -- образуются из фич, которые соединены весами. Тоже можно иследовать и изучать.
3. Универсальность (universality) -- самая спекулятивная часть -- аналогичные фичи и схемы формируются в разных сетях, решающих разные задачи.

Ну, прикольная программа. В 1 и 2 я очень даже верю, насчёт 3 сомневаюсь, вернее верю с оговорками, там конечно должно быть сильное влияние inductive biases и прочих данностей. Но прикольно, если окажется, что несильное.

Это конкретно ложится в тему mechanistic interpretability (mech interp), тут делают zoom-in, изучают выученные репрезентации, ищут circuits. Там рядом есть другие темы, которые мне в целом больше нравятся, например developmental interpretability (dev interp, https://devinterp.com/), где больше смотрят, как структура модели изменяется во время обучения, какие там есть фазы и т.п. Условный Гроккинг (https://yangx.top/gonzo_ML/831) или работы покойного Нафтали Тишби (https://www.youtube.com/watch?v=utvIaZ6wYuw) скорее сюда.

С dev interp начинать сложновато (хотя если выбрать хороший модельный объект, свою дрозофилу, то может это и не так…). Решил начать с mech interp, тут можно уже на готовых обученных моделях что-то делать, с более короткими циклами. Попутно это всё даёт возможность покопаться в основах, поближе к first principles. Ощущения почти как в старые добрые времена когда на ассемблере или в машинных кодах писал 🙂 Всегда хорошо под микроскопом посмотреть что там в трансформере на низком уровне происходит, а то все высоко в небеса нынче ушли.

У нас тут в чате в какой-то момент случился интересный диалог, который начался на "Любому вменяемому человеку очевидно". Как это ни странно, у любого вменяемого человека эта фраза вызывает желание ушатать. С вертушки в щщи.

До III века любому вменяемому человеку было ясно, что Солнце вращается вокруг Земли. Причём до V века Земля была плоской. У тех, кто так не считал, знатно подгорало.

Большим сюрпризом для вменяемых людей оказалось, что наследственная информация хранится в молекулах ДНК. Потому что это же трындец как нерационально в каждой клетке держать полную сборочную инструкцию для всего человека. Ещё вменяемые люди не знали, что гены могут брать и перепрыгивать между видами горизонтальным переносом. Зато вменяемые люди короткое время знали, что память может храниться в РНК и передаваться между организмами.

Потом не каждому вменяемому человеку было очевидно, что большинство клеток нашего тела — бактериальные. Да, по массе это меньше, чем полкило, но по количеству их чуть больше человеческих.

Вменяемые люди не считали, что электроны могут быть в двух и более местах одновременно. Потом вменяемым людям казалось, что электрон — это вероятностное поле. Новое поколение вменяемых людей вообще считает их множителями.

Казалось нереальным, что птица или оса может использовать магнитное поле Земли для навигации.

Казалось нереальным, что наша память не имеет операции чтения (есть только уничтожающее чтение + перезапись заново).

Гравитация когда-то считалась силой.

И вот до совсем недавних пор было очевидно, что килограмм — это не единица энергии.

Вот вам ещё высказывания: растения не умеют считать и не обладают интеллектом; энтропия не может уменьшаться локально; мозг не регенерирует; гены не управляются внешней средой; сознание не влияет на клеточное здоровье; крокодил больше длинный, чем зелёный — все эти утверждения надо проверять.

Наука — это про то, что всем вменяемым людям без исключения очевидно, что хочется ушатывать прямо в волновую функцию тем, кто использует квантор общности для дешёвых манипуляций )

--
Вступайте в ряды Фурье! Любому вменяемому человеку очевидно, что атом похож на Солнечную систему. Только меньше и вообще другой!

Неоднократно натыкался в сети на рассказы про опыты Дезора пару десятков лет назад, но обычно их авторы врут-завираются! А между тем история сама по себе очень интересная.

Французский исследователь Дидье Дезор из Университета Нанси в 1990-х и 2000-х годах много работал с крысами и опубликовал ряд прелюбопытных работ, в частности - «Исследование социальной иерархии крыс в опытах с погружением в воду», забавное название (ну и прорву других работ, ссылку см.внизу). Вообще-то, если я правильно понял, изначально он изучал плавательные способности крыс, но, как это иногда случается у ученых, неожиданно получил результаты, скорее интересные для психологов и социологов. Дезор хотел опровергнуть (ну, или подтвердить, тут уже как получится) гипотезы о врожденно-разном мастерстве в нырянии, о врожденно-разном страхе воды и о некоторых других вещах, и для этого придумал довольно остроумные проверки.

Он поместил в одну клетку шесть белых крыс. Единственный выход из клетки вел в бассейн, который необходимо было переплыть, чтобы добраться до кормушки с пищей. На месте еду нельзя было съесть, нужно было вернуться в основное помещение. В ходе эксперимента выяснилось, что крысы не плыли все вместе дружно на поиски пищи. Все происходило так, как будто они быстро распределили между собой социальные роли: появились один или два эксплуататора, условно говоря (которые вообще никогда не плавали, а только отнимали у тех, кто решился сплавать и притащить еду), два-три эксплуатируемых пловца (которые кормили себя и грабителей-эксплуататоров) и один независимый пловец (который сам плавал за едой, но не делился и успешно давал сдачи, когда ее пытались отнять).

Дезор удивился (наверное) и повторял свой эксперимент с разными крысами, но в итоге происходило такое же распределение ролей. Даже когда в группе объединяли только эксплуататоров, только "рабов" или только независимых, их сообщество всё равно быстренько возвращалось к указанной иерархии (ну хотя бы стало ясно, что никакого особого врожденного мастерстав в нырянии и плавании у урыс, видимо, нет).

Если же группу увеличивали, результат получался еще более впечатляющий. Дезор посадил в испытательную клетку двести крыс. В образовавшемся сообществе сформировалась более сложная система подчинения. Эксплуататорам, которые стали СУПЕРЭКСПЛУАТАТОРАМ, еду приносили их вассалы, которые отбирали ее у рабочих пловцов. При этом кроме «независимых», образовался еще и класс «попрошаек»: они не плавали и не дрались, а питались крошками с пола.

Любопытно тут вот что - каждая отдельно взятая крыса способна выполнять практически любую социальную роль. Еще более любопытно то, что в ходе экспериментов исследователи пытались замерить уровень стресса доступными им тогда инструментами и пришли к выводу, что уровень стресса был очень высоким неожиданно у главных эксплуататоров, а не эксплуатируемых — видимо, они не без оснований опасались восстания со стороны заместителей и последующей даже не смены статуса, а гибели.

Авторы сделали вывод, что выбор ролей происходит случайным образом и обусловлен множеством факторов: и природой затруднения в добыче еды, и соотношением голода, опаски воды и опаски драки, и т.о. генетическая врожденная предрасположенность играет незначительную роль в этой социальной ситуации. Случайно выбранная роль затем, постоянно подкрепляясь успехом, становится постоянной: работнику проще лишний раз привычно-умело нырнуть, чем в одиночку сопротивляться грабителям, грабителю проще привычно-умело грабить, чем одолевать страх перед непривычным нырянием.

В свое время эта работа наделала много шуму. Ученые делали неутешительные выводы о неизбежности расслоения общества, а также о бесполезности революций, которые просто меняют одних эксплуататоров на других. Кажется, это немного натягивание совы на глобус — и всё же аналогия ожидаемая, правда? Сейчас эксперименты Дезора несколько подзабыты, а напрасно! Последняя работа за подписью Дезора вышла 13 лет назад, судя по PubMed. Но кто-то его знамя подхватит, уверен.


🔬https://pubmed.ncbi.nlm.nih.gov/11955772/

Не могу удержаться

​​#шутка_юмора
В названии этого канала есть слово "Наука", но что-то я всё о естественных науках тут пишу (что объяснимо, конечно). А ведь есть же еще и философия (спокойно, не разбегайтесь!). Итак, вот вам воскресный анекдот про философа, и в следующий раз я к философии вернусь еще нескоро:

==
Стоит Фридрих Ницше у прилавка и думает: "Какую половину рябчика взять: переднюю или заднюю? Вроде бы хочется отождествить акт поедания птичьей плоти с зарождением мира, с началом чего-то прекрасного, а с другой стороны, в задней части есть вкусные ноги, хотя это закат и омрачение. А может, вдоль его разрезать?"

Озадаченного учёного заметил продавец и поспешил поинтересоваться, о чём тот задумался. Ницше поделился своей бедой, на что продавец ему ответил:

- Ваша теория стройна. Она отражает объективную реальность и согласовывается с современными взглядами философов, однако истинная суть мироздания состоит в том, что рябчиков половинками мы не продаём.

А знаете ли вы, что влюбляться не только вредно, но и полезно?

Во-первых, согласно исследованиям итальянских нейробиологов, в ранней романтической фазе отношений в крови влюблённых значительно (227 пг/мл по сравнению со 123 пг/мл у контрольной группы) возрастает уровень нейротрофинов. Это белки, ответственные за рост, развитие и функционирование нейронов в нашей нервной системе. Фактически, влюблённость - это не только бабочки в животе, но и заметное улучшение когнитивных способностей (памяти, например). Причём, согласно тому же исследованию, чем сильнее страсть (не спрашивайте, как именно её измеряли 🙈), тем выше уровень нейротрофинов.

А ещё созерцание рыцаря/дамы сердца имеет обезболивающий эффект. Тестирования, проведенные на группе добровольцев, показали, что чувства, которые человек испытывает по отношению к своему партнеру, могут уменьшить сильную боль на 12%, а умеренную почти в два раза. Так что порой таблетку анальгетика можно заменить фотографией любимого человека ❤️