О пользе конвертации данных из посконного кроноса в богомерзкий SQL. А так же, зачем на таблице нужны индексы.
Верхние две картинки: временная таблица на моей машине, без индекса, поскольку она нужна была под перегонку данных.
Нижние две картинки: простенькая одноядерная VPS. Но таблица индексирована.
Содержимое таблиц одинаково, 12+ млн записей, запросы одинаковы также. Разница, как говорится, на лице.
30 миллисекунд, Карл :)
Верхние две картинки: временная таблица на моей машине, без индекса, поскольку она нужна была под перегонку данных.
Нижние две картинки: простенькая одноядерная VPS. Но таблица индексирована.
Содержимое таблиц одинаково, 12+ млн записей, запросы одинаковы также. Разница, как говорится, на лице.
30 миллисекунд, Карл :)
На днях сторонники Навального придумали новую акцию, вставлять красный крест ❌ в своё имя. Это должно было символизировать протест против голосования по конституции и помочь "увидеть, как нас много".
Чтож, я подсчитал. Не благодарите.
В 593 открытых чатах тележной политоты находится 206 411 человек (уникальных пользователей). Красный крест есть у 182 человек. То есть у 0.09% пользователей.
При этом, хотя бы один крестоносец есть в 199 из 593 чатов. Таким образом, проникновение составляет 34% чатов.
Телефоны найдены для 77 из 182 человек, эффективность базы 42%. 😁
Чтож, я подсчитал. Не благодарите.
В 593 открытых чатах тележной политоты находится 206 411 человек (уникальных пользователей). Красный крест есть у 182 человек. То есть у 0.09% пользователей.
При этом, хотя бы один крестоносец есть в 199 из 593 чатов. Таким образом, проникновение составляет 34% чатов.
Телефоны найдены для 77 из 182 человек, эффективность базы 42%. 😁
Сделал суточное обновление популяции крестоносцев:
208 человек (вчера 182, прирост 14%)
207 чатов (вчера 199, прирост 4%)
93 телефона на 208 человек, эффективность базы 45% (вчера 42%).
P. S. Каналу пора обзавестись обратной связью. Пусть будет @yesitsnew . Туда складывайте все вопросы, отзывы, идеи и предложения.
208 человек (вчера 182, прирост 14%)
207 чатов (вчера 199, прирост 4%)
93 телефона на 208 человек, эффективность базы 45% (вчера 42%).
P. S. Каналу пора обзавестись обратной связью. Пусть будет @yesitsnew . Туда складывайте все вопросы, отзывы, идеи и предложения.
Чем PyCharm Pro лучше коммьюнити редакции? Например, наличием меню deployment, где можно заливать, синхронизировать и сравнивать локальные и развёрнутые на сервере версии файлов, не выходя из среды разработки.
На картинке обычный позор программиста "сделать быстро, чтобы работало сейчас, потом сделаю нормально". Но 30 июня наступает всегда раньше, чем ждали :)
На картинке обычный позор программиста "сделать быстро, чтобы работало сейчас, потом сделаю нормально". Но 30 июня наступает всегда раньше, чем ждали :)
И о месте прошедших выборов в реальности. Приток в чаты по дням:
25/06 +1444
26/06 +1469
27/06 +1177
28/06 +1087
29/06 +1025
30/06 +1428
01/07 +1216
02/07 +1214
Никакого ажиотажа не зафиксировано. Средний ежедневный поток. Всем пофиг :)
25/06 +1444
26/06 +1469
27/06 +1177
28/06 +1087
29/06 +1025
30/06 +1428
01/07 +1216
02/07 +1214
Никакого ажиотажа не зафиксировано. Средний ежедневный поток. Всем пофиг :)
И немного про VPS. Обжегшись на "халяве" я двинулся в сторону реально крупных интеграторов. В итоге выбор пал на makecloud.ru.
10 дней аптайма уже повод поделиться впечатлениями.
Плюсы:
+ все ещё дёшево, я ухватил за 250 р/мес 1ядро/1Гб/20Гб ssd (с 1 июля 330р, 1core/1gb/30gb).
+ убунта реально заточена под виртуалку.
+ возможность работать с консолью через Web-интрефейс.
+ посуточное списание
Минусы:
- сложность настройки для юзеров. Выдают не сервер, а виртуальную сеть, со своим роутером, который надо настроить. По умолчанию ssh можно только открыть всем или закрыть. При наличии навыков это превращается в жирный плюс.
- не работает график нагрузки сервера в личном кабинете.
Сам по себе телеграм ест немного, даже с известной прожорливостью 🐍 к памяти. На скрине самый загруженный момент для сервера. Два аккаунта ботов, суммарно на 7 модулей, плюс идёт ежесуточное обновление БД юзеров.
То есть чистые боты помещаются в 512Мб оперативки легко. С БД желательно взять 1Гб, но не обязательно.
Stay tuned.
10 дней аптайма уже повод поделиться впечатлениями.
Плюсы:
+ все ещё дёшево, я ухватил за 250 р/мес 1ядро/1Гб/20Гб ssd (с 1 июля 330р, 1core/1gb/30gb).
+ убунта реально заточена под виртуалку.
+ возможность работать с консолью через Web-интрефейс.
+ посуточное списание
Минусы:
- сложность настройки для юзеров. Выдают не сервер, а виртуальную сеть, со своим роутером, который надо настроить. По умолчанию ssh можно только открыть всем или закрыть. При наличии навыков это превращается в жирный плюс.
- не работает график нагрузки сервера в личном кабинете.
Сам по себе телеграм ест немного, даже с известной прожорливостью 🐍 к памяти. На скрине самый загруженный момент для сервера. Два аккаунта ботов, суммарно на 7 модулей, плюс идёт ежесуточное обновление БД юзеров.
То есть чистые боты помещаются в 512Мб оперативки легко. С БД желательно взять 1Гб, но не обязательно.
Stay tuned.
❌Крестоносцы уперлись в потолок и стагнируют. Всё что вы (не)хотели знать об очередном digital resistance:
[2020-07-02 10:48:00,300]
207085/247 (592/212)
[2020-07-03 10:15:45,377]
207137/242 (592/210)
[2020-07-04 10:04:07,573]
207503/243 (592/210)
Людей всего/Крестоносцев (открытых чатов политоты всего/чатов где есть хотя бы один крестоносец).
Дальнейшие наблюдения вести не буду, за очевидной бессмысленностью.
[2020-07-02 10:48:00,300]
207085/247 (592/212)
[2020-07-03 10:15:45,377]
207137/242 (592/210)
[2020-07-04 10:04:07,573]
207503/243 (592/210)
Людей всего/Крестоносцев (открытых чатов политоты всего/чатов где есть хотя бы один крестоносец).
Дальнейшие наблюдения вести не буду, за очевидной бессмысленностью.
Живой пример, почему бота лучше создавать как сервис. У Фомы большое обновление - новый модуль. По команде systemctl restart admin весь перезапуск занял 1.1 секунды (см. лог) . Таким образом обеспечивается практически бесшовная работа бота при обновлениях.
Шестым модулем стал сторож VPS сервера. Доступ к SSH естественно ограничен несколькими подсетями, но осла лучше привязывать. Модуль отслеживает все входы и попытки входа через SSH и пишет в телеграм хозяину (второй скрин).
Кому нужен такой же wathdog для себя, пишите в обратную связь: @yesitsnew договоримся.
Шестым модулем стал сторож VPS сервера. Доступ к SSH естественно ограничен несколькими подсетями, но осла лучше привязывать. Модуль отслеживает все входы и попытки входа через SSH и пишет в телеграм хозяину (второй скрин).
Кому нужен такой же wathdog для себя, пишите в обратную связь: @yesitsnew договоримся.
Караулка удалила совершенно огненный опрос у себя в канале. Но в лучшем канале телеграм он есть. Дайджест чистой караулки, подписывайтесь и не пожалеете:
https://yangx.top/purekaraul/85
https://yangx.top/purekaraul/85
Telegram
Pure Караульный
Всех журнналистов тоже давно пора сжечь, как негров и пидорасов. Ваше мнение?
Безусловно да - посжигать хуесосов! / Не надо, пожалуйста: я сам хуесос. У меня и удостоверение имеется. / Да нет уже никаких журналистов, успокойтесь.
Безусловно да - посжигать хуесосов! / Не надо, пожалуйста: я сам хуесос. У меня и удостоверение имеется. / Да нет уже никаких журналистов, успокойтесь.
На днях утомился от питона и слегка восстановил навыки C++, который я лет 15 не трогал, как и программирование в целом.
Получилась простенькаячерепо пиписькомерка для процессоров. Перемножение двух массивов рандомных чисел в памяти и складывание результата в третий. Эдакий линпак для ленивых.
В итоге оказалось, что моя VPSка за 250 рублей это две трети мощи моего домашнего core i7 4771, что очень неплохо.
P. S. Естественно это одноядерный режим, то есть измерялась производительность одного ядра процессора.
Получилась простенькая
В итоге оказалось, что моя VPSка за 250 рублей это две трети мощи моего домашнего core i7 4771, что очень неплохо.
P. S. Естественно это одноядерный режим, то есть измерялась производительность одного ядра процессора.
И чтобы два раза не вставать. Почему питон - отстой для вычислительных задач? Потому что ровно в сто раз медленнее любого нормального языка.
Эту программу я писал в феврале, когда только начал учить 🐍. В результате я сначала офигел, потом научил питошу многопроцессорности (да, питон умеет в многопоточные приложения, в интернете херня написана неграмотная, читайте доки и будет вам тру многопроцессорность без GIL) и выжал на четырёх ядрах аж 22 МФлопа. 😅
Комп тот же, что и в предыдущем посте слева.
У питона есть только одно преимущество - сверхпростота для освоения самым неискушенным человеком. Все остальное - недостатки, вытекающие из этого достоинства.
Эту программу я писал в феврале, когда только начал учить 🐍. В результате я сначала офигел, потом научил питошу многопроцессорности (да, питон умеет в многопоточные приложения, в интернете херня написана неграмотная, читайте доки и будет вам тру многопроцессорность без GIL) и выжал на четырёх ядрах аж 22 МФлопа. 😅
Комп тот же, что и в предыдущем посте слева.
У питона есть только одно преимущество - сверхпростота для освоения самым неискушенным человеком. Все остальное - недостатки, вытекающие из этого достоинства.
Попросили порекомендовать канал начинающего питониста, пока совсем меленький:
@pythoninmyheart
Пожелаем человеку творческих узбеков и освоения этой развесёлой профессии. Идущий осилит дорогу.
Я лично подписался.
@pythoninmyheart
Пожелаем человеку творческих узбеков и освоения этой развесёлой профессии. Идущий осилит дорогу.
Я лично подписался.
А вы знали, что список недействительных паспортов от МВД сам полон мусорных записей (10 095 штук) типа тех, что на картинке? Теперь живите с этим. 😂
А самое интересное, что в этом списке 128 миллионов строк. Поскольку гипотеза, что каждый взрослый россиянин потерял по одному паспорту, кажется несколько натянутой, можно предположить, что это паспорта 20/45лет, утерянные и умерших.
Так же забавно, что МВД официально не считает только серию и номер паспорта персональными данными, о чем открыто пишет: «Список также размещен на сайте МВД России в формате открытых данных, является обезличенным и не нарушает действующее законодательство в области персональных данных.»
А самое интересное, что в этом списке 128 миллионов строк. Поскольку гипотеза, что каждый взрослый россиянин потерял по одному паспорту, кажется несколько натянутой, можно предположить, что это паспорта 20/45лет, утерянные и умерших.
Так же забавно, что МВД официально не считает только серию и номер паспорта персональными данными, о чем открыто пишет: «Список также размещен на сайте МВД России в формате открытых данных, является обезличенным и не нарушает действующее законодательство в области персональных данных.»
С четверга пошла по инету БД избирателей Москвы и Новгорода (зарегистрированных для электронного голосования). Серия, номер паспорта и флаг факта голосования. Исходно паспорта были хэшированы, но прямая атака перебором всего-то 10 миллиардов вариантов напрашивалась сама собой. В итоге все паспорта успешно восстановлены за 7 часов. Даже не привлекая многопоточность, ибо лень. Единственное, что пришлось сделать, реализовать бинарное дерево, чтобы перебор не увяз в сравнении каждого сгенерированного хэша с миллионом нужных.
Исходники программы на C++ и уже нормальную базу смотрите ниже.
Поля в базе: серия, номер, голосовал да/нет, признак дублированной записи в оригинальной базе, признак недействительного паспорта по базе МВД. Формат sqlite.
Исходники программы на C++ и уже нормальную базу смотрите ниже.
Поля в базе: серия, номер, голосовал да/нет, признак дублированной записи в оригинальной базе, признак недействительного паспорта по базе МВД. Формат sqlite.
vote_hash.zip
4.7 KB
Программа для перебора паспортов. Исходные хэши из текстового файла, вывод в csv