Эшу и приключения проекта Палантир, часть II. Очень смешная заметка про проблемы по настоящему массового сбора данных. Надеюсь на еще многие продолжения. 🍸
Telegram
Эшу быдлокодит
Палантир. Часть 2. Жизненный цикл команд.
#палантир@eshu_coding
Как я уже упоминал, мой сборщик построен на микросервисной архитектуре: центральный сервер - master для хранения информации, находящийся над БД (postgresql) и slave-ы сборщики, в некотором количестве.…
#палантир@eshu_coding
Как я уже упоминал, мой сборщик построен на микросервисной архитектуре: центральный сервер - master для хранения информации, находящийся над БД (postgresql) и slave-ы сборщики, в некотором количестве.…
И к политическим новостям.
Утреннее обновление баз Фомы рассказало мне, что за сутки были удалены или стали приватными 11 чатов штабов Навального и 1 мелкий чат либертарианцев (видимо на всякий случай):
Navalny SPb
Волонтёры Екб
Омск | Команда Навального
Команда Навального | Челябинск
Волонтерский (штаб в Чебоксарах)
Чат штаба Навального | Волгоград
Политфлудилка | Калининград
⚜️Team Navalny VRN⚜️
Флудилка Москва
Команда Навального | Курган
Команда Навального Ярославль
--
ЛПР | Омск: Публичный чат
Какой быстрый переход от мы здесь власть к суетливому затиранию следов :)
Утреннее обновление баз Фомы рассказало мне, что за сутки были удалены или стали приватными 11 чатов штабов Навального и 1 мелкий чат либертарианцев (видимо на всякий случай):
Navalny SPb
Волонтёры Екб
Омск | Команда Навального
Команда Навального | Челябинск
Волонтерский (штаб в Чебоксарах)
Чат штаба Навального | Волгоград
Политфлудилка | Калининград
⚜️Team Navalny VRN⚜️
Флудилка Москва
Команда Навального | Курган
Команда Навального Ярославль
--
ЛПР | Омск: Публичный чат
Какой быстрый переход от мы здесь власть к суетливому затиранию следов :)
Как хорошо жить в России.
Чат моего клиента атакуют вялые арабские боты. Они заходят раз в несколько минут, но зато часами.
У Фомы, естественно, появилась черепомерка, которая в двух десятках строчек проблему решила.
Теперь жизнь араба в чате длится от 300 до 1000 миллисекунд.
А отдельно мне доставляет, представлять чтобы сделали с программистом в Европе, который опубликует такой код 😄
Чат моего клиента атакуют вялые арабские боты. Они заходят раз в несколько минут, но зато часами.
У Фомы, естественно, появилась черепомерка, которая в двух десятках строчек проблему решила.
Теперь жизнь араба в чате длится от 300 до 1000 миллисекунд.
А отдельно мне доставляет, представлять чтобы сделали с программистом в Европе, который опубликует такой код 😄
Ещё один лайфхак по борьбе с арабскими ботами.
Некоторые из них имеют вполне человеческие имена, но палятся на биографии.
Добраться до поля bio у юзера обычным get_entity() нельзя. Надо либо тратить "дорогой" и лимитированый GetFullUserRequest, что в условиях набега нереально, либо изобретать обходной путь.
Дальше вам уже все понятно по картинке. В отдельный поток (чтобы не мешать основной обработке) выделяется проверка биографий, путем http запроса к сайту t.me, где bio есть на странице. И если биография нам не нравится, баним тело за 2 секунды.
В итоге набег кончился к утру 29 числа, чистой победой моего бота.
Некоторые из них имеют вполне человеческие имена, но палятся на биографии.
Добраться до поля bio у юзера обычным get_entity() нельзя. Надо либо тратить "дорогой" и лимитированый GetFullUserRequest, что в условиях набега нереально, либо изобретать обходной путь.
Дальше вам уже все понятно по картинке. В отдельный поток (чтобы не мешать основной обработке) выделяется проверка биографий, путем http запроса к сайту t.me, где bio есть на странице. И если биография нам не нравится, баним тело за 2 секунды.
В итоге набег кончился к утру 29 числа, чистой победой моего бота.
И о действительно важных новостях: в War Thunder 30% скидка на покупку немецкой техники за львы (игровую валюту)
Я прикупил весь пятый ранг начального уровня: JPz 4-5, M48A2 C, Leopard I, Kugelblitz, Jagdtiger за меньше чем 1,4 млн тугриков.
Опробовал пока только зенитку - огонь. 4-5 самолетов с катки легко, и это еще не тюнингованная. Плюс прибил "собрата" на втором Оствинде с дистанции в 1,5км.
Я прикупил весь пятый ранг начального уровня: JPz 4-5, M48A2 C, Leopard I, Kugelblitz, Jagdtiger за меньше чем 1,4 млн тугриков.
Опробовал пока только зенитку - огонь. 4-5 самолетов с катки легко, и это еще не тюнингованная. Плюс прибил "собрата" на втором Оствинде с дистанции в 1,5км.
Суточное обновление показало на неожиданно распухший чатик сторонников Мальцева (если вы помните ещё, кто это такой 😄). Был полудохлым - 88 человек, 19 мёртвых аккаунтов и вдруг прибавилось 934 "человека".
Вот вам пример живого ботнета в телеграм. Анализ входов даёт 94.5% свежих аккаунтов, забежавших за полчаса. Теперь сидят и пока молчат.
Местные обитатели что-то подозревают, но некоторые считают это оживлением. :)
Ссылка на чат @narodovlastie511 (не пугайте их сильно, пол бетонный).
Вот вам пример живого ботнета в телеграм. Анализ входов даёт 94.5% свежих аккаунтов, забежавших за полчаса. Теперь сидят и пока молчат.
Местные обитатели что-то подозревают, но некоторые считают это оживлением. :)
Ссылка на чат @narodovlastie511 (не пугайте их сильно, пол бетонный).
Вчера стартовал пул номеров пользователей 1.8-1.9 млрд. Все аккаунты с user_id > 1.8 миллиарда созданы 7 мая 2021 и позднее.
Остаётся ещё два пула номеров, прежде чем многие программы превратятся в тыкву. У нас есть примерно полгода (с текущими темпами), чтобы обновить свой код и подготовиться к user_id > 2.1 млрд.
Остаётся ещё два пула номеров, прежде чем многие программы превратятся в тыкву. У нас есть примерно полгода (с текущими темпами), чтобы обновить свой код и подготовиться к user_id > 2.1 млрд.
Эмпирическая, но рабочая метрика определения действительно массового общественного интереса - суточный приток новых людей в чаты.
Когда людей что-то интересует, они идут высказывать свое ценное мнение.
За 11 мая в политоту зашло 1875 человек, при обычных 500.
Пятерка чатов по притоку получилась огонь:
Еду в чат (вход через канал @eduvtatarstan)
users - 1382, inchatwritten - 938
Протестная Москва | Чат (@nedimon_msk)
users - 2259, inchatwritten - 189
Чат Шахара (@shakharchat)
users - 566, inchatwritten - 175
2ch /news/ (@ru2chnews)
users - 9408, inchatwritten - 94
МАСХ (@mash_chat)
users - 1798, inchatwritten - 62
Татарский чатик, что естественно. Протестувальники, тоже не удивительно. А третий - израильский политотный чатик, потому что вчера ещё немного бомбили Израиль.
Замыкает наш топ двощ (а как же без него) и мэш, которые просто обмазываются новостями. 😁
Когда людей что-то интересует, они идут высказывать свое ценное мнение.
За 11 мая в политоту зашло 1875 человек, при обычных 500.
Пятерка чатов по притоку получилась огонь:
Еду в чат (вход через канал @eduvtatarstan)
users - 1382, inchatwritten - 938
Протестная Москва | Чат (@nedimon_msk)
users - 2259, inchatwritten - 189
Чат Шахара (@shakharchat)
users - 566, inchatwritten - 175
2ch /news/ (@ru2chnews)
users - 9408, inchatwritten - 94
МАСХ (@mash_chat)
users - 1798, inchatwritten - 62
Татарский чатик, что естественно. Протестувальники, тоже не удивительно. А третий - израильский политотный чатик, потому что вчера ещё немного бомбили Израиль.
Замыкает наш топ двощ (а как же без него) и мэш, которые просто обмазываются новостями. 😁
Зумеры из Овд-инфо изобрели игру змейка, которая была ещё в игровых автоматах 80х.
Только тут автозак ест либералов. Очень доставляющая игрушка для бумеров получилась. Олды порадуются. 😁
Только тут автозак ест либералов. Очень доставляющая игрушка для бумеров получилась. Олды порадуются. 😁
Чтож, с первым публичным релизом на GitHub можете меня поздравить.
https://git.ssleg.tech/anton/qiwi_module
Самый популярный из моих кодов в канале, готовый модуль для приёма платежей на киви-кошелёк в телеграм ботах.
Был написан почти год назад для себя, но с тех пор стал одним из рефенсных. На него даже техсаппорт киви не ленится ссылаться, поэтому меня достаточно часто мучают в личке.
Сейчас я сделал релиз 1.10, убрав все места где можно было сделать неправильно (по мотивам вопросов).
Добавлено подробное логирование ошибок, примеры использования и документация.
Лицензия свободная, MIT.
Пользуйтесь на здоровье.
https://git.ssleg.tech/anton/qiwi_module
Самый популярный из моих кодов в канале, готовый модуль для приёма платежей на киви-кошелёк в телеграм ботах.
Был написан почти год назад для себя, но с тех пор стал одним из рефенсных. На него даже техсаппорт киви не ленится ссылаться, поэтому меня достаточно часто мучают в личке.
Сейчас я сделал релиз 1.10, убрав все места где можно было сделать неправильно (по мотивам вопросов).
Добавлено подробное логирование ошибок, примеры использования и документация.
Лицензия свободная, MIT.
Пользуйтесь на здоровье.
git.ssleg.tech
qiwi_module
Модуль для работы с API Qiwi-кошелька.
Разобрал скриптами Fortune Global 500, рейтинг пятисот компаний мира с самой большой годовой выручкой.
Рассортировал компании по странам, суммируя выручку, прибыль и количество работников.
Китай почти догнал США по выручке, но почти в 2 раза отстаёт по прибыли. При этом работников и компаний у него уже больше.
От России выступает 4 конторы: Газпром, Лукойл, Роснефть и Сбербанк.
Отлично работают в убыток Дания, Люксембург и Мексика.
И конечно забавно получилось с прибылью на 1 сотрудника. Саудовская Аравия - самая эффективная страна на планете. Её сотрудники генерируют 1 миллион долларов прибыли в год на человека. (естественно это Saudi Aramco, нефть в пустыне качать дело несложное).
Диаграмма построена по прибыли стран от компаний.
Файлы данных выложу в комментариях.
Рассортировал компании по странам, суммируя выручку, прибыль и количество работников.
Китай почти догнал США по выручке, но почти в 2 раза отстаёт по прибыли. При этом работников и компаний у него уже больше.
От России выступает 4 конторы: Газпром, Лукойл, Роснефть и Сбербанк.
Отлично работают в убыток Дания, Люксембург и Мексика.
И конечно забавно получилось с прибылью на 1 сотрудника. Саудовская Аравия - самая эффективная страна на планете. Её сотрудники генерируют 1 миллион долларов прибыли в год на человека. (естественно это Saudi Aramco, нефть в пустыне качать дело несложное).
Диаграмма построена по прибыли стран от компаний.
Файлы данных выложу в комментариях.
/злорадным тоном/ и каждый раз заканчивается одинаково.
Мы, умные, молодые, технологичные, против тупых стариков, рулящих %countryname%.
Старики wins.
Не потому что они умные или технологичные. А потому что они получили систематическое образование и у них мышление тоже системное.
Революции не делаются нагнетанием эмоций для одноклеточных в телеграм. Так было, так есть и так будет. Революции делают такие же системные взрослые, которые способны создать свою систему.
Dixi.
Мы, умные, молодые, технологичные, против тупых стариков, рулящих %countryname%.
Старики wins.
Не потому что они умные или технологичные. А потому что они получили систематическое образование и у них мышление тоже системное.
Революции не делаются нагнетанием эмоций для одноклеточных в телеграм. Так было, так есть и так будет. Революции делают такие же системные взрослые, которые способны создать свою систему.
Dixi.
Telegram
RT на русском
Задержание экс-главреда «Нехты» Романа Протасевича. Главное:
— самолёт с 123 пассажирами, на котором Протасевич летел из Афин в Вильнюс, сегодня днём экстренно сел в Минске из-за сообщения о бомбе на борту;
— также СМИ распространили версию, что посадка…
— самолёт с 123 пассажирами, на котором Протасевич летел из Афин в Вильнюс, сегодня днём экстренно сел в Минске из-за сообщения о бомбе на борту;
— также СМИ распространили версию, что посадка…
Ожидаемо, тема белорусского протеста совсем протухла. Суточный приток в чаты - 390 человек, ниже среднего.
Топ 10 чатов по притоку:
Чат 97% (@narod97)
users - 9998, inchatwritten - 50
Брест 97% (@brest97pro)
users - 9998, inchatwritten - 59
Минск 97% (@minsk97pro)
users - 9995, inchatwritten - 49
Кому не всё равно. Чат (@willichat)
users - 2648, inchatwritten - 25
Минск: какие люди - такой и город (@minsk_new)
users - 9997, inchatwritten - 32
ATEO⚡️CHAT (@Ateo_Chat)
users - 6582, inchatwritten - 13
СОЛОВЬЕВ CHAT (вход через канал @solovievlive)
users - 9999, inchatwritten - 13
Натанзон Chat (@Natanzon_chat)
users - 507, inchatwritten - 13
MDK CHAT (@savemdk)
users - 9998, inchatwritten - 10
ЧП Беларусь ЧАТ 🇧🇾 (@cp_belarus_chat)
users - 389, inchatwritten - 8
Кушайте на здоровье.
Топ 10 чатов по притоку:
Чат 97% (@narod97)
users - 9998, inchatwritten - 50
Брест 97% (@brest97pro)
users - 9998, inchatwritten - 59
Минск 97% (@minsk97pro)
users - 9995, inchatwritten - 49
Кому не всё равно. Чат (@willichat)
users - 2648, inchatwritten - 25
Минск: какие люди - такой и город (@minsk_new)
users - 9997, inchatwritten - 32
ATEO⚡️CHAT (@Ateo_Chat)
users - 6582, inchatwritten - 13
СОЛОВЬЕВ CHAT (вход через канал @solovievlive)
users - 9999, inchatwritten - 13
Натанзон Chat (@Natanzon_chat)
users - 507, inchatwritten - 13
MDK CHAT (@savemdk)
users - 9998, inchatwritten - 10
ЧП Беларусь ЧАТ 🇧🇾 (@cp_belarus_chat)
users - 389, inchatwritten - 8
Кушайте на здоровье.
Мопед не мой ©
Ищут подработку трое:
С++/OpenCL спец
Data scientist
node.js/go/php мастер
Писать в комменты туда:
https://yangx.top/vekhden_speak/953
Ищут подработку трое:
С++/OpenCL спец
Data scientist
node.js/go/php мастер
Писать в комменты туда:
https://yangx.top/vekhden_speak/953