🖥 Лучшие ресурсы для освоения Git и GitHub

1) Список часто используемых команд Git
https://github.com/joshnh/Git-Commands

2) Книга по Git
https://git-scm.com/book/en/v2

3) Git simple guide no deep shit!
https://rogerdudler.github.io/git-guide/

4) Intro to Git and GitHub for Beginners
https://product.hubspot.com/blog/git-and-github-tutorial-for-beginners
5) Понимание потока GitHub
https://docs.github.com/en/get-started/quickstart/github-flow

6) Руководство для начинающих по внесению вклада в проект GitHub
https://akrabat.com/the-beginners-guide-to-contributing-to-a-github-project/

7) Ё**** Git!!!
https://ohshitgit.com/ru

8)LearnGitBranching
https://learngitbranching.js.org/

Делитесь в комментариях свои полезные ресурсы по работе с Git и GitHub

@Golang_google

👣 OffensiveGo - Golang Weaponization for red teamers.

Это репо содержит примеры переписанных на Golang инструментов и утилит кибербезопасности, которые могут быть использованы в работе "Red Team".

Главная задача Red Team – оценить скорость реагирования, а также эффективность процедур, систем и средств защит

Red Teaming — это имитация реальных кибератак с целью тренировки и оценки эффективности людей, процессов и технологий, используемых для защиты информационной инфраструктуры заказчика.

▪ Github

@Golang_google

👣 go-priorityqueue

Реализация приоритетной очереди, основанная на container/heap.

Этот пакет построен поверх стандартной функциональности, уже предоставляемой container/heap и добавляет различные удобные методы для создания новых приоритетных очередей, предикаты для проверки того, пуста ли очередь, синхронизацию для безопасного использования несколькими горутинами и другое.

go get -v gopkg.in/dnaeon/go-priorityqueue.v1

🐱 GitHub

@Golang_google

👣 NilAway: Practical Nil Panic Detection for Go

Uber широко использует Go в качестве основного языка программирования для реализации внутренних сервисов и библиотек благодаря его высокой производительности.

Моно репо Go является самой большой кодовой базой в Uber, насчитывающей 90 млн. строк кода (и продолжает расти). Это делает инструментарий для написания надежного кода на Go критически важной частью нашей инфраструктуры разработки.

Указатели (переменные, хранящие в памяти адреса других переменных, а не их реальные значения) являются неотъемлемой частью языка программирования Go и способствуют эффективному управлению памятью и эффективному манипулированию данными.

Поэтому программисты широко используют указатели при написании программ на языке Go для различных целей, таких как модификация данных, параллельное программирование, обмен данными, оптимизация использования памяти, облегчение работы с интерфейсами и полиморфизм.

Несмотря на то, что указатели являются мощным и широко используемым инструментом, необходимо использовать их аккуратно и разумно, чтобы избежать распространенных ошибок, связанных с nil-паниками в коде.

В этой статье описаны практики решения, а так же о интсрменте от команды Uber NilAway — библиотеке статического анализа для обнаружения возможных nil-паник в коде на Go, который позволяет ловить их во время компиляции, а не во время выполнения.

NilAway похож на nilness, но является гораздо более продвинутым инструментом и содержит мощные методы статического анализа для отслеживания потоков nil как внутри пакета, так и между пакетами.

📌 Читать статью
📌 Github

@Golang_google

👣 go-tunnel

Утилита на Golang для безопасного открытия портов HTTP/Websocket

▪ Github

@Golang_google

👣 Solid Core Database System

scdb - это легкий и быстрый механизм хранения данных типа "ключ-значение", отличающийся простотой и скоростью работы, написанная на Go.

Инструмент создан по образцу архитектуры хранения Bitcask, известной своей эффективностью при операциях записи.

▪Основной принцип построения scdb (и Bitcask) основан на файловых системах с лог-структурой. При таком подходе все изменения добавляются в конец журнала, что делает запись исключительно быстрой, поскольку она осуществляется последовательно. Такая конструкция не только обеспечивает быстродействие, но и гарантирует целостность данных: даже в случае сбоя системы можно легко восстановить данные благодаря этому методу, основанному только на приложении.

▪Кроме того, в scdb реализован процесс, известный как объединение файлов журнала. Со временем, когда ваше приложение записывает все больше данных, количество файлов журнала естественным образом увеличивается. Объединение лог-файлов - это техника, которая объединяет файлы для предотвращения фрагментации и поддержания производительности. Это похоже на домашнюю уборку, обеспечивающую организованность и эффективность хранения данных.

▪Таким образом, если вы разрабатываете приложение, требующее быстрой записи данных и простого, но надежного решения для хранения данных, scdb может оказаться именно тем механизмом, который вы ищете. Он создан для того, чтобы обеспечить разработчикам, подобным вам, удобство хранения и извлечения пар ключ-значение.

🖥 Github

@Golang_google

👣 Retries
An interactive study of common retry methods

Для написания надежного программного обеспечения необходимо обрабатывать сетевые сбои, иначе приложение не будет эффективно работать. Одним из наиболее распространенных методов обработки неудачного запроса является повтор запросов.

В этом интерактивном гайде наглядно показаын различные методы повторных попыток запросов, показано, почему некоторые распространенные подходы опасны, и, объянено, что является наилучшей практикой.

После прочтения этой статьи вы будете иметь четкое представление о том, что хорошей практикой для использования повторных запросов.

Советы, приведенные в этой статье, в равной степени относятся как к запросам к собственным внутренним сервисам, так и к сторонним.

https://encore.dev/blog/retries

@Golang_google

💻 Архитектурные шаблоны программного обеспечения - это многократно используемые решения для обычно встречающихся проблем проектирования в программной архитектуре.

Архитектура, основанная на событиях (EDA):
В архитектуре, основанной на событиях, поток системы определяется событиями.

Слоистая архитектура:
Слоистая архитектура организует систему на отдельные слои, где каждый слой имеет свою конкретную ответственность.

Монолит:
Монолитная архитектура - это традиционный подход, при котором все компоненты и модули программного приложения тесно интегрированы в одну кодовую базу и развертываются как единое целое.

Архитектура микросервисов:
Микросервисы разбивают программное приложение на небольшие, независимо развертываемые сервисы.

Модель-Представление-Контроллер (MVC):
MVC - это шаблон проектирования, поделенный на три компонента: Модель, Представление и Контроллер

Архитектура Мастер-Ведомый:
В архитектуре Мастер-Ведомый один центральный узел контролирует и управляет одним или несколькими подчиненными узлами.

📌 Самые важные архитектурные шаблоны, которые нужно знать

@Golang_google

🖥 Как базы данных выполняют SQL-запросы?

Процесс выполнения SQL-запросов в базе данных включает в себя несколько компонентов, взаимодействующих между собой. Хотя конкретная архитектура различных систем баз данных может отличаться, ниже описана общая последовательность действий.

1. Оператор SQL запускается в клиентской программе и передается по сети на сервер базы данных.

2. Когда сервер базы данных получает SQL-оператор, реляционный движок начинает его обработку. Сначала синтаксический анализатор проверяет правильность оператора. Затем он преобразует оператор в дерево запросов, которое представляет собой внутреннюю структуру данных.

3. Оптимизатор запросов просматривает дерево запросов и определяет наиболее эффективный способ выполнения SQL-оператора, создавая план выполнения.

4. План выполнения передается исполнителю запроса, который использует его для координации получения или изменения данных в соответствии с запросом SQL. Для доступа к данным исполнитель взаимодействует с движком хранилища.

5. Движок хранилища использует методы доступа - протоколы чтения и записи данных, наиболее эффективные для выполнения различных операций.

6. При чтении данных менеджер буферов проверяет, кэшированы ли нужные данные в памяти, и при необходимости извлекает их с диска. Это ускоряет последующий доступ.

7. При записи данных со вставкой или обновлением менеджер транзакций следит за тем, чтобы изменения происходили атомарно и сохраняли целостность базы данных.

8. В то же время менеджер блокировок накладывает блокировки, чтобы несколько транзакций могли выполняться одновременно, не конфликтуя между собой. Таким образом, обеспечивается изоляция и согласованность.

Работая вместе, эти компоненты обеспечивают надежную и эффективную обработку SQL-запросов в системе управления базами данных.

@Golang_google

👣 Почему сообщество #golang старается не использовать сторонние библиотеки?

Некоторые причины исторические (до Go 1.11 в Go была довольно печальная история управления зависимостями), некоторые культурные (сообщество Go пропагандирует простоту и самодостаточность), но некоторые из них, я бы сказал, являются хорошей практикой независимо от используемого языка.

Безопасность - когда вы добавляете зависимость, вы добавляете разработчика (или команду разработчиков), с которым вы никогда не взаимодействовали, в качестве участника вашего проекта. Вы должны проанализировать библиотеку, как если бы она была написана собственными силами, и убедиться, что она соответствует вашим задачам и не несет никакого риска.

Сложность в поддержке - теперь вы и ваша команда должны поддерживать добавленную библиотеку в актуальном состоянии.

Воспроизводимые сборки - Вы можете добиться этого с помощью библиотек сторонних производителей, но чем меньше вам придется об этом беспокоиться, тем лучше.

Просто нет необходимости - Это одна из лучших причин. В Go есть замечательная стандартная библиотека, и вы можете добиться очень многого, используя ее.

Так когда же следует обращаться к библиотеке?
Если то, что вы хотите реализовать, является функционально сложным, имеет приемущества от поддержки сообществом и берется из надежного источника, то использование библиотеки может быть хорошим вариантом.

Примерами библиотек, которые, на мой взгляд, являются достойными для внимания:

- Библиотеки шин сообщений (Kafka, RabbitMQ и т.д.)
- Библиотеки БД (Mongo, Postgres).
- Сложные криптографические вещи алгоритмы, которые не поддерживаются стандартной библиотекой.

👇 Напишите в комментаряих о ваших любимых сторонних библиотеках.

@Golang_google

👣 Go + gRPC + GORM + SQLite + GIN + Swagger

gRPC - это система удалённого вызова процедур (RPC) с открытым исходным кодом, первоначально разработанная в Google в 2015 году. Она имеет открытый исходный код и используется для коммуникаций с архитектурой клиент-сервер.

gRPC может использовать буферы протоколов в качестве определения интерфейса lang

▪Github

@Golang_google

👣 tmx-go - это удобаня и безопасная для типов библиотека для работы с HTMX в Go.

Полезный инструмент для проверки запросов от HTMX, использование безопасных типов, декларативный синтаксис для заголовков ответов HTMX, инстурменты для управленикм поведением HTMX на сервере.

Встроенные методы Swap Strategy для точной настройки поведения hx-swap.

Имеет базовую интеграцию с компонентами templ.

go get github.com/angelofallars/htmx-go

🖥 Github

@Golang_google

👣 errtrace - это экспериментальный пакет на Go для отслеживания пути возврата ошибки, трассировка возврата.

Если трассировка стека отслеживает путь кода, который привел к ошибке, то трассировка возврата отслеживает путь кода, который ошибка прошла, чтобы добраться до пользователя. Часто это один и тот же путь, но в Go они могут различаться, поскольку ошибки - это значения, которые могут передаваться между горутинами (например, с помощью каналов).

Когда это происходит, трассировка возврата может быть более полезной, чем трассировка стека.

▪Github

@Golang_google

🔥 Uber один из самых больших пользователей Kafka в мире.

Как же они защищают свою систему?

В основе mTLS и строгие правила авторизации.

Uber моделирует свою производственную среду как сеть с нулевым уровнем доверия. Поскольку любой хост может быть скомпрометирован, они полагаются на сильные криптографические примитивы для установления доверия между сервисами. 🥷

uPKI - это платформа идентификации Uber, основанная на Spire. Она отвечает за выпуск недолговечных, автоматически изменяющихся пар криптографических ключей. Эти пары состоят из X.509-SVID, закрытого ключа и связки доверия. 🔐

При такой настройке система автоматически обновляет (ротирует) свои сертификаты, когда срок их действия подходит к концу.

Агент Spire держит долговременное соединение с сервером Spire и проактивно генерирует новый сертификат, когда наступает подходящий момент.

Это очень важно, поскольку позволяет Uber выпускать очень недолговечные сертификаты, что ограничивает время, необходимое злоумышленникам для использования утечки учетных данных.

mTLS обеспечивает Uber аутентификацию, конфиденциальность с помощью шифрования и целостность данных. 👍

Как при регистрации на рейс после проверки вашего удостоверения личности (вы тот, за кого себя выдаете) - следующая проверка:
✋ действительно ли вам разрешено лететь этим рейсом? (есть ли у вас билет с нужными разрешениями).

Для этого в Uber есть сервис под названием Charter. Подобно AWS IAM, это фреймворк, позволяет вам определять, кто и что может получить доступ к определенным сервисам и ресурсам.

В Kafka есть подключаемый фреймворк авторизации, в котором вы можете настроить пользовательский класс авторизатора, который будет выполнять аутентификацию за вас (`имя_класса_авторизатора`).

Этот авторизатор вызывается как часть любого потока запросов. В конфигурации Uber он вызывается с помощью пары actor, resource и operation.

Актор (actor) - сущность, которая является объектом принятия решения об авторизации (например, вы в аэропорту). Также называется KafkaPrincipal в Kafka.

🪨 Ресурс (resource), на основе которого принимается решение об авторизации (например, рейс).

🔧 Операция ( operation), выполняемая над ресурсом (например, посадка). Также называется ACLOperation в Kafka

Авторизатор совершает удаленный RPC-вызов к Charter, чтобы выяснить решение по данной паре, и далее кэширует результат.

🦾 Почитать подробнее

@Golang_google

🖥 Бесплатные ресурсы для изучения Linux и DevOps

Linux →http://linuxjourney.com

Bash →http://linuxopsys.com

AWS →http://explore.skillbuilder.aws

Fast-Kubernetes → https://github.com/omerbsezer/Fast-Kubernetes

Azure →http://learn.microsoft.com

DevOps →http://edx.org/learn/devops

Docker →http://docker-curriculum.com

Kubernetes →http://kubernetes.io

@Golang_google

👣 Worx - это фреймворк для создания API на языке Go с поддержкой стандартов TMF (Telecom Management Forum).

go get -u github.com/grahms/worx

▪Github

@Golang_google