🦅 FalconHound - это новый многофункциональный инструмент информационной безопасности.
FalconHound - проект с открытым исходным кодом, написанный на Go для Blue Team. Blue team — это команда защиты информационной безопасности. Чаще всего это аналитики и инженеры внутреннего SOC компании или сторонней организации, которая предоставляет свои услуги на аутсорсе.
Одними из самых сложных данных для безопасников являются данные о членстве в локальных группах и информация о сессиях. FalconHound может использоваться для сбора этой информации и добавления ее в графы. Это лишь пример использования FalconHound. С его помощью можно собирать любую информацию, содержащуюся в логах.
Если пользователь добавлен в определенную группу, FalconHound может быть использован для запроса базы данных на предмет кратчайшего пути к чувствительной или высокопривилегированной группе.
FalconHound обеспечивает:
▪ Создание, добавление, удаление и сеансов на графе на основе событий входа и выхода из системы.
▪ Пометка пользователей и компьютеров как скомпрометированных
▪ Добавление в граф информации о CVE и наличии общедоступного эксплойта.
▪ Сбор активности с Azure.
▪ Перерасчет кратчайшего пути к чувствительным группам при добавлении пользователя в группу или получении новой роли.
▪Добавление в граф новых пользователей, групп и компьютеров.
▪Формирование отчетов для Sentinel и Splunk, например отчетов, пользователей, имеющих доступ к Kerberoast, или пользователей, владеющих определенными сущностями.
📌 Github
@Golang_google
FalconHound - проект с открытым исходным кодом, написанный на Go для Blue Team. Blue team — это команда защиты информационной безопасности. Чаще всего это аналитики и инженеры внутреннего SOC компании или сторонней организации, которая предоставляет свои услуги на аутсорсе.
Одними из самых сложных данных для безопасников являются данные о членстве в локальных группах и информация о сессиях. FalconHound может использоваться для сбора этой информации и добавления ее в графы. Это лишь пример использования FalconHound. С его помощью можно собирать любую информацию, содержащуюся в логах.
Если пользователь добавлен в определенную группу, FalconHound может быть использован для запроса базы данных на предмет кратчайшего пути к чувствительной или высокопривилегированной группе.
FalconHound обеспечивает:
▪ Создание, добавление, удаление и сеансов на графе на основе событий входа и выхода из системы.
▪ Пометка пользователей и компьютеров как скомпрометированных
▪ Добавление в граф информации о CVE и наличии общедоступного эксплойта.
▪ Сбор активности с Azure.
▪ Перерасчет кратчайшего пути к чувствительным группам при добавлении пользователя в группу или получении новой роли.
▪Добавление в граф новых пользователей, групп и компьютеров.
▪Формирование отчетов для Sentinel и Splunk, например отчетов, пользователей, имеющих доступ к Kerberoast, или пользователей, владеющих определенными сущностями.
📌 Github
@Golang_google
Обновлен пакет compress. Это проект, который предоставляет различные алгоритмы сжатия:
▪S2 высокопроизводительная замена Snappy.
▪Оптимизированный пакет deflate, который можно использовать в качестве замены
gzip, zip и zlib
.▪snappy - это замена github.com/golang/snappy, обеспечивающая лучшее сжатие и одновременные потоки.
▪zstandard компрессия и декомпрессия в Go.
▪huff0 и FSE реализации.
▪gzhttp - предоставляет клиентские и серверные оболочки для обработки gzipped-запросов.
▪pgzip - пакет, обеспечивающий очень быструю параллельную реализацию gzip.
📌 Github
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
Небольшой, но мощный пакет для логов протоколирования HTTP-запросов, построенный на основе пакета Go 1.21+ stdlib slog.
go get -u github.com/go-chi/httplog/v2
▪Github
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
GoCrack предоставляет API для широкого спектра задач взлома паролей с помощью различных алгоритмов, который написан на Go.
▪Github
▪Документация
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
Микросервисная архитектура Airbnb прошла 3 основных этапа.
Монолит (2008 - 2017 гг.)
Airbnb начиналась как простая площадка для хозяев и гостей. Он был построен в виде приложения монолита.
В чем проблема?
- Запутанная система управления + громоздкий, плохо структурированный код
- Медленное развертывание
Микросервисы (2017 - 2020 гг.)
Микросервисы были призваны решить эти проблемы. В новое архитектуре ключевыми сервисами являются:
- Cервис получения данных
- Сервис данных бизнес-логики
- Сервис рабочих процессов записи
- Сервис агрегации пользовательского интерфейса
- Каждый сервис имеет одну команду-владельца.
В чем заключалась проблема?
Сотни сервисов и зависимостей были сложны для управления и пожжержки.
Микро и макросервисы (2020 - настоящее время)
Это то, над чем сейчас работает Airbnb. Гибридная модель микро и макросервисов сосредоточена на унификации API.
Почитать подробнее об архитектуру можно здесь.
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
Elem-go
elem - это легковесная библиотека на языке Go для программного создания HTML-элементов.
Используя возможности сильной типизации языка Go,
Она упрощает создание HTML-кода, предоставляя простой и интуитивно понятный способ создания элементов и задания их атрибутов, свойств и содержимого.
📌 Github
@Golang_google
elem - это легковесная библиотека на языке Go для программного создания HTML-элементов.
Используя возможности сильной типизации языка Go,
elem
обеспечивает безопасность типов при определении и манипулировании HTML-элементами, сводя к минимуму возможные ошибки во время выполнения программы.Она упрощает создание HTML-кода, предоставляя простой и интуитивно понятный способ создания элементов и задания их атрибутов, свойств и содержимого.
go get github.com/chasefleming/elem-go
content := elem.Div(elem.Attrs{
attrs.ID: "container",
attrs.Class: "my-class",
},
elem.H1(nil, elem.Text("Hello, Elem!")),
elem.H2(nil, elem.Text("Subheading")),
elem.P(nil, elem.Text("This is a paragraph.")),
)
📌 Github
@Golang_google
На прошлой неделе был создан репозиторий GitHub "System Design 101", который только что достиг
36к
+ звезд.Объяснение сложных систем с помощью наглядных примеров и простых терминов.
Готовитесь ли вы к собеседованию по проектированию систем или просто хотите понять, как работают системы под поверхностью, мы надеемся, что этот репозиторий поможет вам в этом.
Что включено в репозиторий GitHub:
- 100 + концепций систем с наглядными примерами.
- Примеры с кодом из реальной практики.
- Советы по подготовке к собеседованиям по проектированию систем.
- SOAP vs. REST vs. GraphQL vs. RPC
- HTTP 1.0 -> HTTP 1.1 -> HTTP 2.0 -> HTTP 3.0 (QUIC)
- CI/CD Pipeline
- Структуры данных, обеспечивающих работу баз данных
- Лучшие практики кэширования
- Примеры микросервисных архитектур
▪Github
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Дайджест полезных материалов из мира Golang за неделю
Почитать:
— Playground. Как сэкономить время на настройке локальной среды
— Schemaless для Uber.
— Yet Another Easyjson. Как я не устаю делать велосипеды, а главное зачем
— Kafka, go и параллельные очереди
— Мониторинг и трассировка в Go: от Prometheus до Jaeger
— Визуализация результатов Telegram-опросов в Grafana
— Go 1.21: пакет slices
— A Comprehensive Introduction to Golang
— Grogue: A Roguelike Tutorial in Go (Part 3)
— Experimenting on the Edge with Turso and Go 🧪
— Have multiple config file types in a project? Here’s a single tool to validate them all!
— Building a Fargate API Server with Go, Gin, Docker, and AWS Copilot
— Distribuindo uma aplicação Go sem o Docker
— ltag: A little CLI tool for tagged text searching
— Use Gozz to Manage Your Golang Struct Field Tags Formats Automatically
— Storing Secrets Securely for Go Cloud Applications 🔑
— Building a global deployment platform is hard, here is why
Посмотреть:
🌐 Идеальный мир программиста (⏱ 04:03)
🌐 Качества хорошего программиста #айти #программирование #программист (⏱ 00:45)
🌐 Plunge into Zig by Solving a Coding Challenge (⏱ 14:13)
🌐 Прогнозирование цены биткоина при помощи VAR, XGBoost, FB Prophet (⏱ 20:29)
🌐Learn Golang: Build High-Performance Applications with Go | The basics | Part 1
Хорошего дня!
Почитать:
— Playground. Как сэкономить время на настройке локальной среды
— Schemaless для Uber.
— Yet Another Easyjson. Как я не устаю делать велосипеды, а главное зачем
— Kafka, go и параллельные очереди
— Мониторинг и трассировка в Go: от Prometheus до Jaeger
— Визуализация результатов Telegram-опросов в Grafana
— Go 1.21: пакет slices
— A Comprehensive Introduction to Golang
— Grogue: A Roguelike Tutorial in Go (Part 3)
— Experimenting on the Edge with Turso and Go 🧪
— Have multiple config file types in a project? Here’s a single tool to validate them all!
— Building a Fargate API Server with Go, Gin, Docker, and AWS Copilot
— Distribuindo uma aplicação Go sem o Docker
— ltag: A little CLI tool for tagged text searching
— Use Gozz to Manage Your Golang Struct Field Tags Formats Automatically
— Storing Secrets Securely for Go Cloud Applications 🔑
— Building a global deployment platform is hard, here is why
Посмотреть:
🌐 Идеальный мир программиста (⏱ 04:03)
🌐 Качества хорошего программиста #айти #программирование #программист (⏱ 00:45)
🌐 Plunge into Zig by Solving a Coding Challenge (⏱ 14:13)
🌐 Прогнозирование цены биткоина при помощи VAR, XGBoost, FB Prophet (⏱ 20:29)
🌐Learn Golang: Build High-Performance Applications with Go | The basics | Part 1
Хорошего дня!
Шахматный движок, написанный на Go
Если передать аргумент командной строки "-c", то будет запущен консольный интерфейс для игры в шахматные партии из командной строки.
Шахматная доска с графическим интерфейсом HTML взята с сайта https://chessboardjs.com/.
▪Github
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
GoFr - это веб-фреймворк, написанный на языке Go, ориентирован на развертывание в kubernetes, который помогает создавать надежные и масштабируемые приложения.
Этот фреймворк разработан таким образом, чтобы предложить удобную и понятную абстракцию для всех разработчиков.
Ключевые особенности
▪Middleware для реализации общей функциональности, такой как протоколирование, кэширование и аутентификация.
▪Поддержка различных типов ответов, таких как
JSON, XML, TEXT, HTML и FILE.
▪Встроенная обработка ошибок для типичных ситуаций, включая ошибки базы данных и ошибки проверки параметров.▪ Заголовки и параметы запроса и обрабатываются динамически.
Проверка работоспособности и мониторинг для контроля непрерывной доступности сервиса.
▪Встроенный планировщик cron для планирования повторяющихся задач.
▪Метрики для мониторинга и анализа с помощью Prometheus, мониторинг производительности с помощью Grafana.
▪Возможность трассировки для отслеживания хода выполнения запросов пользователей.
▪Поддержка логирования на основе уровней для эффективной отладки и мониторинга.
▪Фильтры для манипулирования и преобразования данных.
▪Поддержка внутренних URL-адресов для безопасного взаимодействия внутри кластера.
📌Github
📌 Документация
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
🦫10 проектов для изучения Golang в 2023 году
Оптимальный способ освоить Golang — создавать проекты. Исследованиями показано, что учиться лучше на практике, это подтверждается и моим опытом. Вопрос в том, какие именно проекты создавать?
10 идей проектов на Golang для начинающих (с курсами):
1. Создание веб-сервера
Это отличный проект для начала веб-разработки на Golang. Настраивая сервер для обработки HTTP-запросов и отправки ответов обратно клиентам, вы узнаете о маршрутизации, обработке HTTP-методов, парсинге параметров запроса, работе со статическими файлами.
Начните со встроенного пакета net/http, этого надежного каркаса для создания HTTP-серверов. Настроив сервер, добавьте конечные точки для обработки GET-, POST-, PUT- и DELETE-запросов.
2. Создание системы управления книгами YSQL
Это проект для эффективного управления книжными фондами.
Добавление, редактирование, удаление и поиск книг выполняются в высокопроизводительном, масштабируемом, отказоустойчивом хранилище данных БД YSQL. Безопасность системы обеспечивается аутентификацией и ролями пользователей, контролем доступа.
В целом это отличный проект для создания масштабируемых приложений баз данных, эффективный и простой в сопровождении благодаря Golang и YSQL.
3. Создание «Slackbot» для загрузки файлов
Это проект для загрузки файлов на канал Slack, доступ к каналу получается через его API. Создается приложение Slackbot с настройкой его разрешений, а также сервер для обработки загрузки файлов, который интегрируется со Slackbot.
Ваша команда часто обменивается файлами в Slack? Тогда проект для вас: здесь это делается быстро и легко, не выходя из интерфейса Slack.
4. Создание «AWS Lambda»
📌 Продолжение
Оптимальный способ освоить Golang — создавать проекты. Исследованиями показано, что учиться лучше на практике, это подтверждается и моим опытом. Вопрос в том, какие именно проекты создавать?
10 идей проектов на Golang для начинающих (с курсами):
1. Создание веб-сервера
Это отличный проект для начала веб-разработки на Golang. Настраивая сервер для обработки HTTP-запросов и отправки ответов обратно клиентам, вы узнаете о маршрутизации, обработке HTTP-методов, парсинге параметров запроса, работе со статическими файлами.
Начните со встроенного пакета net/http, этого надежного каркаса для создания HTTP-серверов. Настроив сервер, добавьте конечные точки для обработки GET-, POST-, PUT- и DELETE-запросов.
2. Создание системы управления книгами YSQL
Это проект для эффективного управления книжными фондами.
Добавление, редактирование, удаление и поиск книг выполняются в высокопроизводительном, масштабируемом, отказоустойчивом хранилище данных БД YSQL. Безопасность системы обеспечивается аутентификацией и ролями пользователей, контролем доступа.
В целом это отличный проект для создания масштабируемых приложений баз данных, эффективный и простой в сопровождении благодаря Golang и YSQL.
3. Создание «Slackbot» для загрузки файлов
Это проект для загрузки файлов на канал Slack, доступ к каналу получается через его API. Создается приложение Slackbot с настройкой его разрешений, а также сервер для обработки загрузки файлов, который интегрируется со Slackbot.
Ваша команда часто обменивается файлами в Slack? Тогда проект для вас: здесь это делается быстро и легко, не выходя из интерфейса Slack.
4. Создание «AWS Lambda»
📌 Продолжение
🛠Утилиты на Go для запуска старых Unix-программы, на современных компьютерах.
rsc.io/unix - содержит программы для запуска старых Unix-программ на современных компьютерах.
pdp11 - симулятор PDP-11.
v6unix - симулятор Research Unix Sixth Edition (V6). Он представляет собой перенос логики ядра V6 на Go, используя симулятор PDP11 для запуска пользовательских программ. По большей части ядро является точной имитацией ядра V6, но оно написано с использованием структур данных в памяти и других упрощающих допущений, и в нем нет необходимости заботиться о специфических деталях дисков, терминалов и другого оборудования PDP11. Это позволяет пользователям сосредоточиться на том, как работают программы Unix и каково это - пользоваться системой, а не изучать конфигурацию симулированных дисковых пакетов RK05.
v6run - это интерфейс командной строки к v6unix. go run rsc.io/unix/v6run@latest запустит симулятор. Нажатие Control-Backslash приведет к выходу из симулятора.
v6web - это интерфейс на основе веб-браузера.
▪Github
@Golang_google
rsc.io/unix - содержит программы для запуска старых Unix-программ на современных компьютерах.
pdp11 - симулятор PDP-11.
v6unix - симулятор Research Unix Sixth Edition (V6). Он представляет собой перенос логики ядра V6 на Go, используя симулятор PDP11 для запуска пользовательских программ. По большей части ядро является точной имитацией ядра V6, но оно написано с использованием структур данных в памяти и других упрощающих допущений, и в нем нет необходимости заботиться о специфических деталях дисков, терминалов и другого оборудования PDP11. Это позволяет пользователям сосредоточиться на том, как работают программы Unix и каково это - пользоваться системой, а не изучать конфигурацию симулированных дисковых пакетов RK05.
v6run - это интерфейс командной строки к v6unix. go run rsc.io/unix/v6run@latest запустит симулятор. Нажатие Control-Backslash приведет к выходу из симулятора.
v6web - это интерфейс на основе веб-браузера.
▪Github
@Golang_google
⚡️ Впечатляющая монолитная архитектура Stack Overflow
Компания
Веб-серверы:
- Используется всего 9 локальных веб-серверов IIS.
- Каждый сервер имеет 64 ГБ оперативной памяти и работает на высокооптимизированном коде .NET
- Обработка 450 пиковых запросов в секунду на каждом сервере при использовании всего 12% процессорной мощности
- Код минимизирует потребление памяти и настроен на ограничения сбора мусора
Серверы SQL:
- Организованы в 2 отказоустойчивых кластера по 2 сервера в каждом
- Первый кластер: 1,5 ТБ оперативной памяти на сервер
- Второй кластер: 768 ГБ оперативной памяти на сервер
- Около трети массива данных Q&A находится в памяти.
- Каждый кластер обрабатывает более 10 000 пиковых запросов в секунду при ~15% CPU
Redis:
- Один основной сервер с репликой на 256 ГБ.
- Обработка 60000 пиковых операций в секунду при 2% CPU
Stack Overflow эффективно масштабирует монолитное приложение.
📌 Архитектура наглядно
📌 Подкаст об архитектуре Stack Overflow
@Golang_google
Компания
Stack Overflow,
поддерживает тенденцию развития микросервисов их сервис обрабатывает 1,3 млрд. просмотров страниц в месяц на своих 200 сайтах, используя удивительно эффективную монолитную архитектуру с минимальной инфраструктурой.Веб-серверы:
- Используется всего 9 локальных веб-серверов IIS.
- Каждый сервер имеет 64 ГБ оперативной памяти и работает на высокооптимизированном коде .NET
- Обработка 450 пиковых запросов в секунду на каждом сервере при использовании всего 12% процессорной мощности
- Код минимизирует потребление памяти и настроен на ограничения сбора мусора
Серверы SQL:
- Организованы в 2 отказоустойчивых кластера по 2 сервера в каждом
- Первый кластер: 1,5 ТБ оперативной памяти на сервер
- Второй кластер: 768 ГБ оперативной памяти на сервер
- Около трети массива данных Q&A находится в памяти.
- Каждый кластер обрабатывает более 10 000 пиковых запросов в секунду при ~15% CPU
Redis:
- Один основной сервер с репликой на 256 ГБ.
- Обработка 60000 пиковых операций в секунду при 2% CPU
Stack Overflow эффективно масштабирует монолитное приложение.
📌 Архитектура наглядно
📌 Подкаст об архитектуре Stack Overflow
@Golang_google
⚡️ Конвейер параллельной обработки файлов, написанный на языке Go.
▪Простота настройки
▪Высокая степень кастомизации
▪Широкий спектр операций по обработке файлов
▪ Github
@Golang_google
▪Простота настройки
▪Высокая степень кастомизации
▪Широкий спектр операций по обработке файлов
▪ Github
@Golang_google
Если вам надоело начинать проекты на Golang с нуля, бороться с несовместимыми структурами и переписывать один и тот же код?
Go Blueprint - это
CLI-инструмент
, позволяющий легко создать Go-проект с соответствующей структурой. Он также предоставляет возможность интеграции с популярными фреймворками веб-разработчки Go!Преимущества:
▪Простота настройки и установки
▪Вся структура для Go проекта уже создана
▪Легкая настройка Go HTTP-сервера (или Fasthttp с Fiber)
▪Интеграция с популярными фреймворками
go install github.com/melkeydev/go-blueprint@latest
📌 Github
@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM