В процессе написания одного скрипта, понадобилось распарсить JSON файл. После часа костылей с применением sed'а выяснил, что для этого есть прекрасный инструмент - jq. Работает утилита вот так:

# jq '.nextPage' file.list

Можно так же разбирать документ по уровням в одном выражении:

# cat file.list | jq '.results | .[] | .post_id'

#будничное #json

Почти готов мануал по созданию автоматически наполняемого картинками (под свободной лицензией) канала. Скриптами и описанием работы обязательно поделюсь с вами, друзья. Лайк ниже, если это интересно.

Ну что друзья, делюсь с вами мануалом по созданию канала, который будет автоматом наполняться хорошими изображениями, которые не обременены излишними авторскими правами. Для применения мануала необходимо иметь базовые навыки работы в командной строке любой операционной системы Linux (А кто говорил что будет легко?) и собственную площадку, где скрипты из мануала можно будет запустить - это может быть хостинг, на котором разрешён запуск скриптов по крону, или собственный виртуальный сервер.

В мануале представлены два скрипта. Первым мы получаем контент, второй используем для публикации через бота. Сами скрипты написаны на bash'e, они очень простые для понимания человеку, который с написанием скриптов сталкивался ранее. Скрипты, как и всю эту тему, любой желающий может использовать на своё усмотрение, но мне будет приятно, если Вы упомяните канал @SysadminNotes при этом. :)

Если к идее будет проявлен интерес, или если мне опять будет скучно, то проект получит своё развитие - есть наброски модулей для добавления случайной подписи к картинке, для публикации текста с некоторых ресурсов интернета в чат и т. п. Когда эти модули будут введены в работу я не знаю. По мере возможности и настроения. Сейчас скрипт полностью автоматизирует одну простую функцию - постинг изображений в чат.

Вместе с анонсом, считаю уместным сделать предложение - если вы совсем ничего не понимаете в скриптах, в том что такое виртуальный сервер и всё вот это вот, но при этом хотите настроить автопостинг картинок себе в канал (или получить готовый канал с настроенным автопостингом), вы можете написать мне @servers, за очень демократичную оплату (пусть будет от 50 рублей в месяц) я помогу вам настроить всё необходимое в канале, а скрипт для постинга запущу в работу на своей площадке. При этом, конечно же, нужно учитывать что, у вас в канале администратором будет работать бот, через который будет вести постинг мой скрипт. Кроме этого, я не смогу гарантировать 100% уникальность картинок относительно других каналов, так как мануал и скрипты я выкладываю в общий доступ. Пишите если это будет вам интересно.

По поводу нужности\ненужности такого скрипта и мануала - друзья, тут каждый решает сам. Мне просто хотелось чем-нибудь развлечь себя в один из дождливых вечеров, и в результате появилось вот это. 🤓 Если для вас материал оказался полезным - отлично, пользуйтесь на здоровье.

#telegram #автоматизация

Вот тут пишут что у VK утекла база на 81 миллион аккаунтов. Так что вы на всякий случай смените свой пароль там, и друзей тоже попросите сменить, во избежание проблем.

https://pastebin.com/qbByRKgR

Тут подписчики справедливо замечают что это может быть просто старая БД, которая давно в паблике гуляет. Но это ведь не отменяет того, что периодическая смена паролей - это хорошая практика. 🤓

P. S. А вообще, добавил в описание канала свой контакт, так что если что, теперь можно писать напрямую, не через бота (не очень удобным оно оказалось, как по мне).

Когда отошёл от ноутбука, забыл заблокировать экран, а дети решили помочь тебе поработать. Прошу прощения, друзья.

Начнём наши очередные ссылочные выходные. И начнём их с ещё одного неплохого курса на Степике.

https://stepik.org/73/

Курс будет интересен тем, кто с операционной системой Linux только знакомится. Авторы неплохо проходят по вопросам установки, базового функционала рабочего стола, переходят к работе на сервере, написанию скриптов и полезному в работе инструментарию.

Единственное что могу предложить от себя, тем кто по этому курсу решит пройти - попробуйте поставить не рекомендованный авторами курса дистрибутив, а какой-то распространённый, или тот который уже вам чем-то приглянулся. С одной стороны, это немного усложнит именно прохождение курса, с другой стороны, вы получите неплохой для начинающего багаж знаний (впрочем, вы его в любом случае получите).

#stepic

Наглядно про криптографию, 256bit, GPU и даже немного про майнинг.

https://www.youtube.com/watch?v=S9JGmA5_unY

#видео

Стоило только открыть контакт для связи в описании канала, как сразу же начал получать фидбек. Спасибо всем, кто проявляет участие.

Понял что есть смысл на канале запустить новый хештег #фидбечат. В рамках этого хештега, я время от времени буду публиковать то, чем делятся со мной другие читатели. Будет публиковаться не всё подряд, какие-то интересные вещи, то что приходит по теме канала, то что приходит в виде дополнений к существующим постам, в ленту попадать будет.

#фидбечат

Много разных способов реализации backconnect'а доступно по ссылке:

http://itsecwiki.org/index.php?title=Backconnect

#будничное #фидбечат

После переписки с одним из подписчиков начал перебирать закладки и там нашёл старый, но очень хороший, всё ещё не потервший актуальность пошаговый мануал о том как вступить на путь системного администратора Linux. Всем заинтересованным рекомендую (абстрагируясь от мнения автора о Windows) изучить материал и попытаться выполнить предложенные задания.

http://nodesquad.blogspot.ru/2013/04/blog-post.html

Не обращайте внимания на дату поста, всё что описано в заданиях там, актуально и на сегодняшний день. Разве что версии дистрибутивов стали новее. 🤓

Немного новостей:

1. Мы внезапно перевалили за 1000+. Привет всем заглянувшим на огонёк, отдельный привет пришедшим с @g33ks, надеюсь вам у нас понравится. Был очень удивлён размещением там, администратору канала моя отдельная благодарность. 🤓

2. С несколькими подписчиками выяснили, что на некоторых клиентах, Instant View ссылки на заметки в блоге не открываются. Судя по всему, связано это с тем, что клиенты не понимают ссылки вида t.me/iv?url=, ожидая что тут должен оказаться юзернейм, а не адрес сайта. Сделать с этим что-то пока что нельзя, так что я немного скорректирую формат постов для таких заметок - теперь в посте будет доступна и IV ссылка, и ссылка сразу на сайт. Сам сайт слегка довёл до ума, так что в мобильных браузерах он должен открываться корректно.

Такие дела, друзья. Продолжаем работать. 🤘🏻

Ещё немного о backconnect, но теперь уже на практике - короткая заметка о том, как можно организовать удалённый доступ на машину, которая стоит за NAT'ом.

📘 Открыть Instant View
📗 Открыть на сайте

#будничное #ssh #backconnect

Тем временем, в Windows Store завезли Ubuntu. Теперь дистрибутив как и SUSE доступен для установки из магазина приложений.

#windows #ubuntu

Разработчики Node.js выпустили обновления для всех доступных на сегодняшний день версий от v4.x до v8.x. В рамках этих обновлений, была закрыта опасная уязвимость, используя которую, злоумышленник может вызвать отказ в обслуживании. Так что если вы работаете с Node.js, обязательно обновитесь, не затягивайте с этим.

https://nodejs.org/en/blog/vulnerability/july-2017-security-releases/

#security #nodejs

Разработчиков Grsecurity понесло, и понесло достаточно серьёзно. Тот кто следит за ситуацией, знает что некоторое время назад, ребята решили от всех огородиться и закрыли свободный доступ к своим патчам, оставив их предоставление только платным подписчикам.

Однако сами патчи распространяются (распространялись?) под GPLv2, а значит платным подписчикам ничего не мешает патчами делиться. И этим, возможно, пользовались, в том числе и в рамках проекта KSPP (перенос наработок Grsecurity в основное ядро). Дошло до того, что представители Grsecurity заговорили о судебном иске, а в условия сотрудничества добавили дополнительный пункт, запрещающий передачу патчей третьим лицам.

Интересно в данном случае то, что добавленное требование нарушает GPLv2. На это сразу же обратили внимание. Брюс Перенс (Open Source Initiative, BusyBox, Debian) дал свою оценку происходящему, а Линус Торвальдс и вовсе призвал Grsecurity не использовать (он и раньше не особо жаловал их подход на самом деле).

Мнения kernel-аналитиков с дивана разделились. Кто-то пытается оправдать представителей Grsecurity, считая что от них действительно отмахнулись — в основное ядро так и не взяли, грант выделили проекту KSPP. Кто-то же наоборот такой подход осуждает.

Как по мне (тоже с дивана мнение, если что) — Grescurity является проектом полезным, не смотря на то что они не следуют тем концепциям, которые обозначены в сообществе ядра Linux. Но огородились зря. Да, понимаю что всем хочется кушать, отдыхать, семью обеспечивать, но возможно ребятам стоило поискать какие-то ещё варианты монетизации — репозиторий и поддержка ядер с включенными патчами например… Хотя, возможно, это сложная задача, так как обычно такие ядра нужно конфигурировать на конкретном сервере\окружении. Или попытаться расширить поддержку по использованию их патчей, давать консультации по внедрению и т. п. У меня опыт сборки ядра с их патчами был, и были случаи когда от квалифицированной поддержки я бы не отказался тогда.

Но всё сложилось так как сложилось, и похоже что история на этом ещё не закончилась. Для интересующихся список ссылок с подробностями:

Претензии:
https://goo.gl/6bhRbc

Линус:
https://goo.gl/KX3MuL

Брюс:
https://goo.gl/5hKavM

KSPP:
https://goo.gl/zy5jVr

О последнем хочется сказать пару слов отдельно - проект, на мой взгляд, занимается очень полезным делом, пытаясь выступить своеобразным компромиссом между радикальными решениями PAX\Grescurity и принятым в сообществе ядра вектором развития. С учётом того как быстро сейчас развиваются технологии, как быстро растёт количество устройств с тем или иным ядром Linux на борту, увеличение безопасности самого ядра становится очень важной задачей, и очень хорошо что проект её пытается решить.

#естьмнение #grsecurity

Смотрите что принёс... Мэтью Брайант (спец по безопасности DNS) обнаружил и показал возможность получения контроля над доменом первого уровня, следствием чего является получение полного контроля над всеми доменами в доменной зоне. В ходе реализации атаки, Мэтью получил контроль над 4 из 7 первичных DNS в зоне .io. Смысл атаки сводится к поиску и регистрации освободившихся доменов, которые использовались в качестве имён первичных DNS. Обычно, регистрация таких доменов блокируется, но не в этом случае. В качестве примера, Метью зарегистрировал домен ns-a1.io, дождался активации услуги и убедился что он действительно получил контроль над одним из первичных NS.

Дабы не допустить возможность реализации атаки, исследователь зарегистрировал так же ns-a2.io, ns-a3.io и ns-a4.io и связался с поддержкой NIC.IO. На следующий день, он получил уведомление о блокировке доменов и возврате потраченных средств.

За подробностями можно заглянуть сюда:
https://goo.gl/ZUnepT

А здесь доступен инструментарий для проведения атаки:
https://github.com/mandatoryprogrammer/trusttrees

P. S. Ситуация на самом деле - жесть.

#security #dns

А тут ещё и Nginx обновился, закрыв уязвимость, которая при определённых обстоятельствах может привести к проблемам.

Вот здесь чуть подробнее:
http://mailman.nginx.org/pipermail/nginx-announce/2017/000200.html

Временное решение, для тех кому обновления пока что не доступны:

max_ranges 1;

#security #nginx

Коротко о том, как можно на VDS от DigitalOcean установить RouterOS. Делается всё одной командой, буквально за пару минут.

📘 Открыть Instant View
📗 Открыть на сайте

#routeros #digitalocean

По результатам общения с подписчиком дополню немного - способ актуален не только для DO. Аналогичным образом удаётся установить и запустить RouterOS на простом VDS с KVM виртуализацией.

#фидбечат