И о выгрузке сообщений телеграм. Рано или поздно мы перейдём на эту дрянь :)
Телега никак не защищена от разграбления, скорость выгрузки 360 тысяч сообщений в час или 100 в секунду. То есть средний чат сливается за 20 минут, большой и старый, за пару часов.
Оптимальный по скорости вариант: запрос 1000 сообщений с паузой 3 секунды между ними. Дальше библиотека telethon все сделает сама, тройные пики на графике это выгрузка. А паузы нужной длинны проставляет телетон.
P.S. Постгрес это очень круто, mssql отдыхает :)
Телега никак не защищена от разграбления, скорость выгрузки 360 тысяч сообщений в час или 100 в секунду. То есть средний чат сливается за 20 минут, большой и старый, за пару часов.
Оптимальный по скорости вариант: запрос 1000 сообщений с паузой 3 секунды между ними. Дальше библиотека telethon все сделает сама, тройные пики на графике это выгрузка. А паузы нужной длинны проставляет телетон.
P.S. Постгрес это очень круто, mssql отдыхает :)
Но сохранять все подряд в неразобранном виде идея так себе. Для обучения парсера скачано 1,75М сообщений. Как видно на картинке, половина объёма это стикосы, гифки, и прочая дрянь. Получается 970 байт на среднее сообщение.
Поэтому рабочий вариант будет совсем другой.
Stay tuned :)
Поэтому рабочий вариант будет совсем другой.
Stay tuned :)
Эпической силы чтение получилось. Это окуклившийся сейчас чат "инвесторов", разорившихся в понедельник на нефти. Суть события в новостях. Рыночек порешал так, что самый счастливый должен брокеру 150к, самый несчастный под 10м рублей. Я его успел залить к себе и теперь выложу текстовую версию на память. Следующий пост ⬇️
invest.zip
393.6 KB
Архив чата инвесторов в текстовом формате. В несжатом виде 1,5Мб.
Когда подгребаешь уже остатки политоты (все основное собрано ещё в марте) получается смешное.
Первый проход скрипта по чату:
users - 578, dead - 179, bot - 2, phones - 4, written - 199, inchatwritten - 578
Новых пользователей только 199. Ещё 379 уже известны по другим чатам. 179 удалённых аккаунтов, 23% от общего числа. Да это же зомбиленд, Карл!
Первый проход скрипта по чату:
users - 578, dead - 179, bot - 2, phones - 4, written - 199, inchatwritten - 578
Новых пользователей только 199. Ещё 379 уже известны по другим чатам. 179 удалённых аккаунтов, 23% от общего числа. Да это же зомбиленд, Карл!
На днях переписал один из самых старых алгоритмов своих метрик. Ускорение в 280 раз. Оказалось, что сравнение строк в массивах в c++ стиле на питоне работает кое-как, а словари работают сверхбыстро. 🐍💙
P.s. В начале мая будут массивные обновления статистики, не переключайтесь
P.s. В начале мая будут массивные обновления статистики, не переключайтесь
К концу третьего месяца питоненья, я познал дзен asyncio и тут мне карта как поперла! © фантастически удобная обёртка для многопоточной обработки, без вникания в детали.
В применении к моим игрушкам, проект питух-детектор плавно превратился в волшебную палочку (админа чата), которой могут пользоваться все админы параллельно. Фейсконтроль на входе дополнился быстрыми и однобуквенными командами: кинуть мьют на время, отключить медиа, забанить, а так же получить справку на пользователя, если консерва вдруг подала голос. :)
P. S. Специально оставил развёрнутым диспетчер задач системы. Всего 17 строчек для определения всего поведения проекта. Обалденно.
В применении к моим игрушкам, проект питух-детектор плавно превратился в волшебную палочку (админа чата), которой могут пользоваться все админы параллельно. Фейсконтроль на входе дополнился быстрыми и однобуквенными командами: кинуть мьют на время, отключить медиа, забанить, а так же получить справку на пользователя, если консерва вдруг подала голос. :)
P. S. Специально оставил развёрнутым диспетчер задач системы. Всего 17 строчек для определения всего поведения проекта. Обалденно.
names0705.txt
11.6 KB
Подъехало большое статистическое исследование имен в телеграм.
На выборке в 200 тысяч ников определены все имена, имеющие частоту 5 и более. Всего 531 имя. Очевидный факт, что Россия это страна русских и для русских и все смехуечки про «государствообразующий народ» идут в пользу бедных, в основном умом.
Да, в процессе работы я узнал много нового про экзотику, например про легендарного осетина Хетага. Только людей с таким именем — 21 человек.
Итак:
Выборка — 200 619 ников
Имен — 531
Носителей имен — 139 993 человек
Некоторые короткие имена сохранены, в связи с неоднозначностью: Женя — Евгений/Евгения, Тим - Тимур/Тимофей. Многие редкие имена собраны в одно: Рамазан→Рамзан, Эльмира → Ильмира и так далее.
P.S. Топ 100 для ленивых в следующем посте ⬇️
На выборке в 200 тысяч ников определены все имена, имеющие частоту 5 и более. Всего 531 имя. Очевидный факт, что Россия это страна русских и для русских и все смехуечки про «государствообразующий народ» идут в пользу бедных, в основном умом.
Да, в процессе работы я узнал много нового про экзотику, например про легендарного осетина Хетага. Только людей с таким именем — 21 человек.
Итак:
Выборка — 200 619 ников
Имен — 531
Носителей имен — 139 993 человек
Некоторые короткие имена сохранены, в связи с неоднозначностью: Женя — Евгений/Евгения, Тим - Тимур/Тимофей. Многие редкие имена собраны в одно: Рамазан→Рамзан, Эльмира → Ильмира и так далее.
P.S. Топ 100 для ленивых в следующем посте ⬇️
1. Александр - 6567
2. Сергей - 5855
3. Дмитрий - 5292
4. Андрей - 4872
5. Алексей - 3969
6. Владимир - 3012
7. Евгений - 2922
8. Елена - 2919
9. Максим - 2815
10. Алекс - 2749
11. Михаил - 2700
12. Иван - 2680
13. Наталья - 2651
14. Ольга - 2519
15. Татьяна - 2342
16. Анна - 2198
17. Игорь - 2111
18. Ирина - 2107
19. Павел - 2084
20. Денис - 2055
21. Екатерина - 1986
22. Олег - 1898
23. Анастасия - 1891
24. Роман - 1890
25. Антон - 1863
26. Владислав - 1759
27. Юлия - 1727
28. Светлана - 1652
29. Николай - 1651
30. Мария - 1627
31. Юрий - 1624
32. Илья - 1604
33. Виктор - 1486
34. Никита - 1484
35. Даниил - 1420
36. Артем - 1364
37. Кирилл - 1358
38. Виталий - 1190
39. Константин - 1188
40. Марина - 1178
41. Вадим - 998
42. Дарья - 976
43. Виктория - 932
44. Вячеслав - 926
45. Василий - 881
46. Руслан - 860
47. Валерий - 845
48. Людмила - 821
49. Егор - 739
50. Анатолий - 712
51. Саша - 701
52. Галина - 687
53. Станислав - 671
54. Ксения - 651
55. Надежда - 644
56. Георгий - 643
57. Александра - 609
58. Артур - 596
59. Алина - 570
60. Оксана - 533
61. Евгения - 523
62. Алена - 502
63. Лариса - 480
64. Борис - 475
65. Валентина - 464
66. Валерия - 460
67. Леонид - 456
68. Елизавета - 451
69. Григорий - 442
70. Петр - 427
71. Кристина - 416
72. Софья - 401
73. Полина - 373
74. Тимур - 367
75. Яна - 364
76. Любовь - 353
77. Диана - 352
78. Ярослав - 352
79. Марк - 346
80. Вероника - 340
81. Эдуард - 337
82. Геннадий - 336
83. Маргарита - 336
84. Марат - 329
85. Вера - 327
86. Олеся - 305
87. Инна - 300
88. Алла - 294
89. Нина - 293
90. Женя - 292
91. Глеб - 273
92. Валентин - 262
93. Степан - 258
94. Лилия - 257
95. Давид - 252
96. Ник - 252
97. Рустам - 237
98. Алиса - 236
99. Федор - 224
100. Богдан - 221
людей всего: 200619 показано: 125219
2. Сергей - 5855
3. Дмитрий - 5292
4. Андрей - 4872
5. Алексей - 3969
6. Владимир - 3012
7. Евгений - 2922
8. Елена - 2919
9. Максим - 2815
10. Алекс - 2749
11. Михаил - 2700
12. Иван - 2680
13. Наталья - 2651
14. Ольга - 2519
15. Татьяна - 2342
16. Анна - 2198
17. Игорь - 2111
18. Ирина - 2107
19. Павел - 2084
20. Денис - 2055
21. Екатерина - 1986
22. Олег - 1898
23. Анастасия - 1891
24. Роман - 1890
25. Антон - 1863
26. Владислав - 1759
27. Юлия - 1727
28. Светлана - 1652
29. Николай - 1651
30. Мария - 1627
31. Юрий - 1624
32. Илья - 1604
33. Виктор - 1486
34. Никита - 1484
35. Даниил - 1420
36. Артем - 1364
37. Кирилл - 1358
38. Виталий - 1190
39. Константин - 1188
40. Марина - 1178
41. Вадим - 998
42. Дарья - 976
43. Виктория - 932
44. Вячеслав - 926
45. Василий - 881
46. Руслан - 860
47. Валерий - 845
48. Людмила - 821
49. Егор - 739
50. Анатолий - 712
51. Саша - 701
52. Галина - 687
53. Станислав - 671
54. Ксения - 651
55. Надежда - 644
56. Георгий - 643
57. Александра - 609
58. Артур - 596
59. Алина - 570
60. Оксана - 533
61. Евгения - 523
62. Алена - 502
63. Лариса - 480
64. Борис - 475
65. Валентина - 464
66. Валерия - 460
67. Леонид - 456
68. Елизавета - 451
69. Григорий - 442
70. Петр - 427
71. Кристина - 416
72. Софья - 401
73. Полина - 373
74. Тимур - 367
75. Яна - 364
76. Любовь - 353
77. Диана - 352
78. Ярослав - 352
79. Марк - 346
80. Вероника - 340
81. Эдуард - 337
82. Геннадий - 336
83. Маргарита - 336
84. Марат - 329
85. Вера - 327
86. Олеся - 305
87. Инна - 300
88. Алла - 294
89. Нина - 293
90. Женя - 292
91. Глеб - 273
92. Валентин - 262
93. Степан - 258
94. Лилия - 257
95. Давид - 252
96. Ник - 252
97. Рустам - 237
98. Алиса - 236
99. Федор - 224
100. Богдан - 221
людей всего: 200619 показано: 125219
За 9 мая в чатики вбежал 1791 человек. Для сравнения, 8го был приток 1177. То есть в полтора раза больше стандартного ежедневного.