Вот так просто человек показал то, чем все занимаются часами в тиктоке и так далее. Жду новых продуктов, фичи которых можно будет вот так вот понять. Любому, без философии, просто понять и попробовать.

Короче, ваши ставки «новый Google» или еще один Theranos? Либо я чего-то не понимаю, но здесь что-то не так. А вы что думаете?

Ставшая хитом рубрика "Прочитано, но не до конца понято".

1/ Пэйпер от дуолингво, про как ребята сделали алгоритм для пушей для поддержания вовлечения и так далее (бандиты и все такое).

2/ Какой-то старый курс по рекламке и моделям которые там используются (конечно же старый, но мне нравится как в старых курсах подается база, читал наискосок, вроде ниче сложного)

3/ Достаточно фундаментальная работа про смысл аукционных алгоритмов или что выбрать бабки или эффективность (короче говоря клик бейт или реальная польза от товара/целевого действия). Крайне рекомендую для понимания как работает реклама в целом и где там проблемы.

4/ О том как считать ваши расходы, когда собрались хостить/тренировать свои модели

5/ Что-то Курта Геделя по теме решения уравнений общей теории относительности и первых работ по структуре вселенной и времени в ней, зачем я не знаю, но говорят работа породила целое течение в этой области, какое тоже не скажу 🙂

6/ Старый блог с задачками, в этот раз популярная: Сколько в среднем нужно взять случайных натуральных чисел, равномерно распределенных на отрезке от 1 до n, чтобы их сумма превысила n ?

7/ Пока ниче не делаю читаю книжку про историю Blizzard (игровики такие), там прям ух дух треша чувствуется сильно.

8/ Ну и классика французских мылсителей про закон, мне кажется один из самых сильных трудов да и книга там четкая есть того же автора Фредерика Бастиа

Кстати еще не люблю культ страданий. Постоянное нытье, как тяжело мол в стартапе быть, в корпорации быть, как сложно код писать когда руководитель дурак или вокруг одни дураки. Вот от людей с таким посылом и в целом нарративом надо бежать. Проблемы обычно именно из-за них. В своем глазу и бревна не увидишь.

Одной строкой - вышла новая llama 3.3 70B метрики как у 3.2 405B. Meta норм так идет.

Иногда буду еще такие короткие факты постить а-ля TIL (today I learned).

Сегодня узнал где мы находимся на очень большом масштабе так сказать. Ланиакея с гавайского (и такой есть да) - необъятные небеса. Просто красивое название.

Google там сделал прогресс в квантовых процессорах, и если половина чуваков вам просто постит заголовок, что мол смотрите штука считает то что классический комп считал бы дофига лет, то я вам всегда советую почитать Reddit или работу и понять, что задача для заголовка выбрана специально, чтобы квантовый проц решал ее быстро, а классический медленно.

А так прогресс ощутимый, еще лет 10 думаю до нормальных применений. Жду.

Заметили, как все билдеры аппов на AI (ну все эти эксперты по промтам) типа гороскоп, коуч и прочее резко стали билдить агентов. Мол мы поможем вам создать то, что сами не смогли никому продать. Сделай своего агента, который будет эксель заполнять (кстати можно и без AI там формулки написать).

Так наблюдение.

Минутка саморекламы кстати, а не рекламы обычной. Мы с Аней работали когда-то в mail ru еще на заре карьеры. Да и как-то вот периодически говорим на ее канале.

Помимо того, что ничего сверхъестественного я не говорю, мой контент часто приземленный. Но тем менее в воскресенье под фон может и зайдет.

Тык тык

На картинке график популярности MidJourney. Это все про генерацию изображений и прочего графического. Относительный график, но важный. Он хорошо показывает насколько скорость и момент важны в цикле жизни продукта в интернете. Как легко можно стать лидером и так же легко потерять ветвь первенства.

Ни что так не важно как момент и тайминг когда вы делаете ваш продукт или стартап.

Конкретно у ребят получилось вырасти, использовать релевантные комьюнити инструменты, получить супер важные данные о предпочтениях чтобы быстро итерировать с моделью, НО так же отстать в производстве большого веб продукта, найма большего количества людей для более быстрых параллельных итераций в модели и продукте и проигрышу большим ребятам. Основатель тем не менее утверждает что проект не брал венчурное финансирование (что конечно можно прочитать как «деньги мы взяли, просто вот не у фондов или вам не скажем»).

https://arcprize.org/blog/oai-o3-pub-breakthrough

Ну что ж новая о3 модель подвозит очень крутые цепочки рассуждений и даже нормально решает бенчмарк тех кто сомневался. Да здравствует test time compute. Ждем релиза в начале след года. Или позже :)

Ах да забыл: один прогон может стоить пару косарей баксов

Мои пять копеек в мир великих AGI предсказателей и обожателей OpenAI.

Мне очень понравился сегодняшний релиз очень дорогого умного брутфорса. Или если хотите аналога alphaGO, но для определенного типа задач (затачивают под матан и логику кажется с геометрией). Чтобы лучше понимать откуда такая цена за прогон (решить по сути детскую задачку стоит 1500 баксов, но с математикой серьезного уровня там не все супер круто, 25% только по бенчу, стоит учесть что там очень серьезный бенчмарк и требует от человека крайне сильных знаний - меня максимум на одну с половиной задачу хватило), то лучшая аналогия это понять как работает та самая архитектура, которая всех выиграла в игру го. А там был внутри так называемый MCTS (monte Carlo tree search). И пару сеток который генерили ответы к позиции и дальше по ним шел такой умный поиск. Вот моя ставка что текущая версия o3 это оно и есть. Это какой-то умный алгоритм поиска плюс сеточка (скорее всего даже небольшая типа на 70B параметров). И вот ее тысячи прогонов в определенном окружении стоят столько.

Еще более простая аналогия это брутфорс, но не в лоб, а с подсказками. Как бы сетка подсказывает чего точно быть не может или что точно должно тут быть. Это сильно сокращает количество вариантов и поэтому процесс хотя бы сходится. Думаю, что будущее за сетками и еще несколькими внешними алгоритмами типа MCTS или Program Synthesis. Как ограничитель во времени используется идея test time compute.

Кстати один из авторов alphaGO Noam Brown перешел в OpenAI как раз где-то год назад, вот и результат.

Касательно AGI, черт знает что это конкретно, но типа прям разум и все такое, сам принимает новые решения доселе невероятные, то еще долговато. Но не так прям чтобы нереально. Лет 10-15.

Заметил такую штуку. Часто какой-нибудь head of ai ищет себе в команду senior product manager. Чтобы мол присоединиться к инновациям. Я читаю это так: короче есть тут пару идей, кто хочет таски в Jira писать, я буду диктовать на коллах?
Но обязательно опыт в ML/AI!

Рубрика «прочитано, но не до конца понято»:

1/ Про нейронку, которая лежит в основе знаменитого шахматного бота stockfish. Фишка этой архитектуры в том что она старается очень мало менять внутренние состояния и вводные считая следующие ваши ходы. Уважаемая вещь.

2/ Боэций «Утешение философией». Книга вообщем то. Это для того, чтобы понять как мыслили в средневековье. Человек был настолько уважаемый, что его книгу переписывали почти во всех монастырях в Европе. Да и формат диалога в книге интересный. Хотите понять че там к чему было в головах у правителей, читайте смело.

3/ Достаточно старая статья на n+1 про некие уровни в физике, а-ля насколько все сложно и мем, который когда-то выложил Илон Маск. Одна из любимых статей, так как сам разбирался в теории струн (несколько лет, так для себя).

4/ Кажется откопал чисто случайно откуда взялся термин JTBD (job to be done). В шестидесятых некий Теодор Левитт, который работал в Гарварде как экономист и препод, выдал теорию под названием "маркетинговая близорукость". Если по-простому, он толкнул идею о том, что куча компаний тупят, определяя себя через свои продукты, а не через то, какие потребности они закрывают (сейчас эту тему и переупаковали в фреймворк "работа, которую нужно сделать").

5/ достаточно прикольный плейбук по монетизации от чувака из Eventbrite. Понравилось как просто и легко построены решения на основе базовых показателей таких как виральность, ретеншен и так далее.

6/ всем желающим разобраться в квантовых вычислениях рекомендую