Ещё одна заметка и скрипт для парсинга уже другого фотостока. Работает очень просто - указываем ключевик и страницу начала парсинга, получаем список адресов на изображения в отдельном файле. Ну и немного теории о том, как к такому скрипту можно прийти в принципе.
📘 Открыть Instant View
📗 Открыть на сайте
#bash #автоматизация
📘 Открыть Instant View
📗 Открыть на сайте
#bash #автоматизация
t.me
О парсинге фотостоков
Продолжим, тему парсинга изображений с различных сайтов. Сегодня у нас простой скрипт для парсинга pexels.com. Работает скрипт так:
Быстро проверить открыт ли тот или иной порт можно, например вот так:
Конструкцию удобно использовать при написании скриптов.
#будничное
$ (echo >/dev/tcp/sysadmin.pm/443) &>/dev/null && echo "Open" || echo "Close"
Open
Конструкцию удобно использовать при написании скриптов.
#будничное
Записки админа
Ещё одна заметка и скрипт для парсинга уже другого фотостока. Работает очень просто - указываем ключевик и страницу начала парсинга, получаем список адресов на изображения в отдельном файле. Ну и немного теории о том, как к такому скрипту можно прийти в принципе.…
Попросили скрипты приложить прямо сюда, в канал (любят пользователи Telegram что бы всё под рукой было). Собственно, прикладываю следующими сообщениями...
#фидбечат
#фидбечат
downloader.stocksnap.io.sh
627 B
Скрипт для парсинга фотостока stocksnap.io. Результат - список URL изображений по нужному ключевику.
#bash #автоматизация
#bash #автоматизация
downloader.pexels.com.sh
591 B
Скрипт для парсинга фотостока pexels.com. Результат - список URL изображений по нужному ключевику.
#bash #автоматизация
#bash #автоматизация
Наткнулся на интересный мини-проект на гитхабе. Granscan - утилита для диагностики системы. Загляните, может быть сама утилита заинтересует, а может быть какие-то идеи из её реализации окажутся полезными.
https://github.com/adampie/granscan
https://github.com/adampie/granscan
Оказывается, не все знают о существовании STIGs (Security Technical Implementation Guides) для разных систем и вендоров. Вот здесь, на Github'е можно найти скрипт для проверки Debian 9, который основан на STIG для RHEL 7:
https://github.com/hardenedlinux/STIG-4-Debian
Администраторам, которым вопросы безопасности на серверах действительно критичны, рекомендую к изучению этой темы. О STIGs в принципе можно почитать здесь:
http://iase.disa.mil/stigs/Pages/index.aspx
#security #debian #stig
https://github.com/hardenedlinux/STIG-4-Debian
Администраторам, которым вопросы безопасности на серверах действительно критичны, рекомендую к изучению этой темы. О STIGs в принципе можно почитать здесь:
http://iase.disa.mil/stigs/Pages/index.aspx
#security #debian #stig
GitHub
GitHub - hardenedlinux/STIG-4-Debian: Security Technical Implementation Guide for Debian
Security Technical Implementation Guide for Debian - hardenedlinux/STIG-4-Debian
Интересная статистика по дистрибутивам, их репозиториям и пакетам...
https://repology.org/statistics/newest
https://repology.org/statistics/newest
repology.org
Repository statistics - Repology
Multiple package repositories analyzer
За что можно любить OpenBSD? Да вот хотя бы за это. Тео де Раадт активно работает над KARL - Kernel Address Randomized Link - разработка, в рамках которой, каждый раз при перезагрузке/загрузке компьютера, файлы ядра будут линковаться случайным образом, как следствие, будет генерироваться новое, уникальное ядро, с которым будет загружаться система. Такой подход серьёзно усложняет жизнь злоумышленникам, которые проводят атаки на ядро и, как следствие, повышает общий уровень безопасности в системе.
Отдельно Тео отмечает что не стоит путать ASLR (который давным-давно в OpenBSD был реализован одним из первых, кстати) и KARL - в рамках ASLR ядро не меняется, меняется лишь расположение некоторых его важных структур в адресном пространстве. В KARL же, при каждой перезагрузке система запускается по сути с новым ядром.
Всем заинтересовавшимся рекомендую за подробностями сходить по ссылкам ниже:
Начало: https://goo.gl/Mru7wQ
Продолжение: https://goo.gl/ZHjZBd
#openbsd #karl #kernel
Отдельно Тео отмечает что не стоит путать ASLR (который давным-давно в OpenBSD был реализован одним из первых, кстати) и KARL - в рамках ASLR ядро не меняется, меняется лишь расположение некоторых его важных структур в адресном пространстве. В KARL же, при каждой перезагрузке система запускается по сути с новым ядром.
Всем заинтересовавшимся рекомендую за подробностями сходить по ссылкам ниже:
Начало: https://goo.gl/Mru7wQ
Продолжение: https://goo.gl/ZHjZBd
#openbsd #karl #kernel
Потребовалось запретить обычным пользователям сервера доступ к чтению dmesg. Делается это просто, параметром в sysctl.conf:
После этого, пользователь доступа к dmesg иметь не будет:
К слову, а вы знали что у dmesg есть возможность сделать вывод результатов команды более человекочитаемым?
#будничное #dmesg
kernel.dmesg_restrict = 1
После этого, пользователь доступа к dmesg иметь не будет:
$ dmesg
dmesg: read kernel buffer failed: Operation not permitted
К слову, а вы знали что у dmesg есть возможность сделать вывод результатов команды более человекочитаемым?
dmesg -H --color
#будничное #dmesg
По моему, эта страница уже должна быть у всех в закладках, но если вы по какой-то причине не встречали её раньше, то обязательно изучите. Очень большой пласт информации об утилитах для анализа тех или иных частей системы и пачка полезных ссылок в придачу.
http://www.brendangregg.com/linuxperf.html
#performance #linux
http://www.brendangregg.com/linuxperf.html
#performance #linux
Brendangregg
Linux Performance
A collection of documents, slides, and videos about Linux performance, mostly created by Brendan Gregg, and with a focus on performance analysis.
https://vfsync.org/ - теперь виртуальная машина есть у вас и в браузере. Там даже Windows для запуска доступна. Загляните как будет время. 🤓
Меж тем, 29 июня, ISPsystem провели вебинар по работе с ISPmanager. Безотносительно некоторых проблем на видео, несколько полезных приёмов для себя я вынес. Посмотрите и вы. К ознакомлению вебинар рекомендую администраторам и владельцам серверов, которые работают с панелью управления ISPmanager.
https://youtu.be/3vJf7eVLTrY?t=264
#ispmanager
https://youtu.be/3vJf7eVLTrY?t=264
#ispmanager
YouTube
Возможности панели управления ISPmanager, о которых вы не знали
Запись вебинара о фичах самой популярной на отечественном рынке панели управления - ISPmanager. + Акция! До 31.08.2017 при заказе и продлении любого сервера в rackstore.ru месячная лицензия ISPmanager 5 в подарок!
Перейти на сайт - https://goo.gl/kgjtQc
Перейти на сайт - https://goo.gl/kgjtQc
Друзья, нас с вами уже более полутора тысяч человек. Полторы тысячи подкованных и эрудированных людей - это занимательная компания, согласитесь. Спасибо всем кто здесь уже давно, всем кто пришёл только недавно. Буду стараться и дальше радовать вас чем-то полезным. 🤓
На случай если кто-то забыл, впереди у нас 28 июля - День Системного Администратора. У меня на этот день запланирована раздача некоторого количества годноты на канале. Кроме того, 28 июля мы проведём розыгрыш 20 подписок на журнал Хакер, дающих полный доступ ко всем материалам ресурса на один месяц.
Для участия в розыгрыше достаточно заполнить простую анкету из пяти вопросов к вам. Так мы сможем познакомиться поближе, а вы получите шанс выиграть подписку на журнал. Ссылку на анкету привожу ниже, кроме того, она будет доступна в описании канала:
🖇 https://goo.gl/7mrWAk
Ответьте на вопросы и оставьте свой логин, а 28 числа великий рандом выберет 20 победителей, которые получат месячные купоны на доступ ко всем материалам журнала xakep.ru.
Приглашайте на канал друзей, коллег, обязательно пишите мне если есть что сказать. Продолжаем работать и развиваться...
На случай если кто-то забыл, впереди у нас 28 июля - День Системного Администратора. У меня на этот день запланирована раздача некоторого количества годноты на канале. Кроме того, 28 июля мы проведём розыгрыш 20 подписок на журнал Хакер, дающих полный доступ ко всем материалам ресурса на один месяц.
Для участия в розыгрыше достаточно заполнить простую анкету из пяти вопросов к вам. Так мы сможем познакомиться поближе, а вы получите шанс выиграть подписку на журнал. Ссылку на анкету привожу ниже, кроме того, она будет доступна в описании канала:
🖇 https://goo.gl/7mrWAk
Ответьте на вопросы и оставьте свой логин, а 28 числа великий рандом выберет 20 победителей, которые получат месячные купоны на доступ ко всем материалам журнала xakep.ru.
Приглашайте на канал друзей, коллег, обязательно пишите мне если есть что сказать. Продолжаем работать и развиваться...
Google Docs
@SysadminNotes
Друзья, мы вместе с вами вот уже три месяца. Думаю что настало время познакомиться поближе. К счастью, и повод для этого тоже имеется. Пожалуйста, ответьте всего на пять вопросов ниже. Они не обязывают вас присылать никакую контактную информацию (кроме логина…
Я почти закончил воевать с Ревизором, так что надеюсь скоро мы вернёмся в прежний режим и мануалов будет чуть больше чем ссылок. А пока что, заметка о том, как можно скриптом обработать список разного вида URL адресов и получить из него только доменные имена.
📘 Открыть Instant View
📗 Открыть на сайте
#будничное #bash
📘 Открыть Instant View
📗 Открыть на сайте
#будничное #bash
Записки сисадмина
BASH. Имя домена из URL.
При написании одной штуки, понадобилось обрабатывать большое количество разных URL выдёргивая из них только имя домена без www, протокола, логина, пароля и полного пути. Для решения задачки можно воспользоваться вот таким вот скриптом: #!/usr/bin/env bash…
Получить имя домена из сертификата, можно с помощью самого openssl:
А тем, кто как и я не может осилить синтаксис openssl по памяти, я рекомендую воспользоваться утилитой certtool из пакета gnutls-utils:
#будничное #openssl #certtool
# openssl x509 -noout -subject -in ssl.sysadmin.pm.pem | cut -f3 -d=
sysadmin.pm
А тем, кто как и я не может осилить синтаксис openssl по памяти, я рекомендую воспользоваться утилитой certtool из пакета gnutls-utils:
# certtool -i < ssl.sysadmin.pm.pem | grep "Subject: CN" | cut -f2 -d=
sysadmin.pm
#будничное #openssl #certtool
Сегодня в заметке настраиваем двухфакторную авторизацию по SSH на сервер с помощью Google Authenticator. Всем кто хочет дополнительно обезопасить процесс авторизации на сервере, рекомендую в заметку заглянуть. Делать это лучше с ПК или хотя бы планшета.
Отдельное замечание для начинающих - обязательно проверяйте то, что вы делаете при настройке авторизации по SSH на удалённой машине. Некорректная настройка оной может привести к потере доступна на сервер и дополнительной суете, связанной с его восстановлением.
📗 Открыть на сайте
#будничное #google #ssh
Отдельное замечание для начинающих - обязательно проверяйте то, что вы делаете при настройке авторизации по SSH на удалённой машине. Некорректная настройка оной может привести к потере доступна на сервер и дополнительной суете, связанной с его восстановлением.
📗 Открыть на сайте
#будничное #google #ssh
t.me
SSH и Google Authenticator.
В рамках данной заметки мы настроим дополнительную защиту авторизации по SSH с помощью двухфакторной аутентификации с кодами от Google Authenticator.
Спросили меня на счёт последних новостей о законах для мессенжеров и VPN/анонимайзеров. Да, мнение по этому поводу имею, но не так что бы какое-то широкое и скорее всего скучноватое, в отличие от той истерии, что в очередной раз начинает подниматься.
О VPN и анонимайзерах.
В первую очередь, конечно же, озадачиться придётся VPN сервисам и провайдерам, которые эту услугу предоставляют, потому как именно они должны будут соблюдать установленные законом ограничения для пользователя. Озадачатся или нет - это вопрос отдельный. Кроме того, пока что не совсем понятно как наши уважаемые ведомства будут осуществлять проверку исполнения закона тем или иным VPN провайдером. Будут им мини-ревизора раздавать? А для компаний вне юрисдикции РФ придумают ещё один реестр? Смотреть на это не хочется, но видимо придётся.
Пользователи персональных VPN на собственных серверах, пока что, могут особо не переживать. До нас с вами если и доберутся, то значительно позже.
О мессенджерах.
Ну окей, мы же в Telegram, так что о мессенджере. Нужно отдать должное Дурову - при необходимости он отлично...
а) Использует шанс "хайпануть", в том числе и на решениях тех или иных властей.
б) Грамотно, вдумчиво и без перегиба таки пойти на встречу властям того или иного государства.
Думаю что когда происходящее коснётся Telegram, то эти два пункта вновь сыграют на руку мессенджеру - о нём опять будут говорить, а аудитория будет расти. Выяснится, что не всё так уж и запущено, что текущая работа в рамки закона укладывается, авторизация по номеру происходит, реакция на жалобы присутствует, какая-то фильтрация генерируемого контента всё равно идёт. Блокировать мессенжер окажется вроде бы и не за что.
По более грубому сценарию всё может пойти только если правительство РФ займёт какую-то принципиальную позицию по каким-то конкретным своим требованиям. Очевидно что тогда, вопрос о блокировке вновь повиснет в воздухе. Тогда же, на происходящее интересно будет посмотреть.
Призыв.
Нет, не к протестам и выходам куда-то там. Мы тут иные темы поднимаем. Призыв будет другой - повышайте уровень своей компьютерной грамотности, друзья, и по возможности помогайте другим. Чем больше вокруг нас будет технически подкованных людей, которые пусть и не разбираются в тонкостях криптографии, но хотя бы могут настроить, например, VPN и понять для чего он нужен (а нужен он не для обхода блокировок, прямо подчеркну это, да), тем сложнее будет нам с вами вот таким вот абсурдом испортить жизнь. А может быть и абсурда как такового станет меньше.
P. S. Но это не точно. Слишком идеалистично звучит, согласен.
#естьмнение #telegram #vpn
О VPN и анонимайзерах.
В первую очередь, конечно же, озадачиться придётся VPN сервисам и провайдерам, которые эту услугу предоставляют, потому как именно они должны будут соблюдать установленные законом ограничения для пользователя. Озадачатся или нет - это вопрос отдельный. Кроме того, пока что не совсем понятно как наши уважаемые ведомства будут осуществлять проверку исполнения закона тем или иным VPN провайдером. Будут им мини-ревизора раздавать? А для компаний вне юрисдикции РФ придумают ещё один реестр? Смотреть на это не хочется, но видимо придётся.
Пользователи персональных VPN на собственных серверах, пока что, могут особо не переживать. До нас с вами если и доберутся, то значительно позже.
О мессенджерах.
Ну окей, мы же в Telegram, так что о мессенджере. Нужно отдать должное Дурову - при необходимости он отлично...
а) Использует шанс "хайпануть", в том числе и на решениях тех или иных властей.
б) Грамотно, вдумчиво и без перегиба таки пойти на встречу властям того или иного государства.
Думаю что когда происходящее коснётся Telegram, то эти два пункта вновь сыграют на руку мессенджеру - о нём опять будут говорить, а аудитория будет расти. Выяснится, что не всё так уж и запущено, что текущая работа в рамки закона укладывается, авторизация по номеру происходит, реакция на жалобы присутствует, какая-то фильтрация генерируемого контента всё равно идёт. Блокировать мессенжер окажется вроде бы и не за что.
По более грубому сценарию всё может пойти только если правительство РФ займёт какую-то принципиальную позицию по каким-то конкретным своим требованиям. Очевидно что тогда, вопрос о блокировке вновь повиснет в воздухе. Тогда же, на происходящее интересно будет посмотреть.
Призыв.
Нет, не к протестам и выходам куда-то там. Мы тут иные темы поднимаем. Призыв будет другой - повышайте уровень своей компьютерной грамотности, друзья, и по возможности помогайте другим. Чем больше вокруг нас будет технически подкованных людей, которые пусть и не разбираются в тонкостях криптографии, но хотя бы могут настроить, например, VPN и понять для чего он нужен (а нужен он не для обхода блокировок, прямо подчеркну это, да), тем сложнее будет нам с вами вот таким вот абсурдом испортить жизнь. А может быть и абсурда как такового станет меньше.
P. S. Но это не точно. Слишком идеалистично звучит, согласен.
#естьмнение #telegram #vpn