👣 Go + gRPC + GORM + SQLite + GIN + Swagger

gRPC - это система удалённого вызова процедур (RPC) с открытым исходным кодом, первоначально разработанная в Google в 2015 году. Она имеет открытый исходный код и используется для коммуникаций с архитектурой клиент-сервер.

gRPC может использовать буферы протоколов в качестве определения интерфейса lang

▪Github

@Golang_google

👣 tmx-go - это удобаня и безопасная для типов библиотека для работы с HTMX в Go.

Полезный инструмент для проверки запросов от HTMX, использование безопасных типов, декларативный синтаксис для заголовков ответов HTMX, инстурменты для управленикм поведением HTMX на сервере.

Встроенные методы Swap Strategy для точной настройки поведения hx-swap.

Имеет базовую интеграцию с компонентами templ.

go get github.com/angelofallars/htmx-go

🖥 Github

@Golang_google

👣 errtrace - это экспериментальный пакет на Go для отслеживания пути возврата ошибки, трассировка возврата.

Если трассировка стека отслеживает путь кода, который привел к ошибке, то трассировка возврата отслеживает путь кода, который ошибка прошла, чтобы добраться до пользователя. Часто это один и тот же путь, но в Go они могут различаться, поскольку ошибки - это значения, которые могут передаваться между горутинами (например, с помощью каналов).

Когда это происходит, трассировка возврата может быть более полезной, чем трассировка стека.

▪Github

@Golang_google

🔥 Uber один из самых больших пользователей Kafka в мире.

Как же они защищают свою систему?

В основе mTLS и строгие правила авторизации.

Uber моделирует свою производственную среду как сеть с нулевым уровнем доверия. Поскольку любой хост может быть скомпрометирован, они полагаются на сильные криптографические примитивы для установления доверия между сервисами. 🥷

uPKI - это платформа идентификации Uber, основанная на Spire. Она отвечает за выпуск недолговечных, автоматически изменяющихся пар криптографических ключей. Эти пары состоят из X.509-SVID, закрытого ключа и связки доверия. 🔐

При такой настройке система автоматически обновляет (ротирует) свои сертификаты, когда срок их действия подходит к концу.

Агент Spire держит долговременное соединение с сервером Spire и проактивно генерирует новый сертификат, когда наступает подходящий момент.

Это очень важно, поскольку позволяет Uber выпускать очень недолговечные сертификаты, что ограничивает время, необходимое злоумышленникам для использования утечки учетных данных.

mTLS обеспечивает Uber аутентификацию, конфиденциальность с помощью шифрования и целостность данных. 👍

Как при регистрации на рейс после проверки вашего удостоверения личности (вы тот, за кого себя выдаете) - следующая проверка:
✋ действительно ли вам разрешено лететь этим рейсом? (есть ли у вас билет с нужными разрешениями).

Для этого в Uber есть сервис под названием Charter. Подобно AWS IAM, это фреймворк, позволяет вам определять, кто и что может получить доступ к определенным сервисам и ресурсам.

В Kafka есть подключаемый фреймворк авторизации, в котором вы можете настроить пользовательский класс авторизатора, который будет выполнять аутентификацию за вас (`имя_класса_авторизатора`).

Этот авторизатор вызывается как часть любого потока запросов. В конфигурации Uber он вызывается с помощью пары actor, resource и operation.

Актор (actor) - сущность, которая является объектом принятия решения об авторизации (например, вы в аэропорту). Также называется KafkaPrincipal в Kafka.

🪨 Ресурс (resource), на основе которого принимается решение об авторизации (например, рейс).

🔧 Операция ( operation), выполняемая над ресурсом (например, посадка). Также называется ACLOperation в Kafka

Авторизатор совершает удаленный RPC-вызов к Charter, чтобы выяснить решение по данной паре, и далее кэширует результат.

🦾 Почитать подробнее

@Golang_google

🖥 Бесплатные ресурсы для изучения Linux и DevOps

Linux →http://linuxjourney.com

Bash →http://linuxopsys.com

AWS →http://explore.skillbuilder.aws

Fast-Kubernetes → https://github.com/omerbsezer/Fast-Kubernetes

Azure →http://learn.microsoft.com

DevOps →http://edx.org/learn/devops

Docker →http://docker-curriculum.com

Kubernetes →http://kubernetes.io

@Golang_google

👣 Worx - это фреймворк для создания API на языке Go с поддержкой стандартов TMF (Telecom Management Forum).

go get -u github.com/grahms/worx

▪Github

@Golang_google

🔥 Shopify обслуживает более 1 миллиона запросов в секунду во время черной пятницы.

Вероятно, вы думаете, что с такими большим количеством запросов могут справиться только какие-то мощные микросервисы. На самом деле все обстоит несколько иначе.

Shopify использует 𝗺𝗼𝗱𝘂𝗹𝗮𝗿 𝗺𝗼𝗻𝗼𝗹𝗶𝘁𝗵 𝗮𝗽𝗽𝗿𝗼𝗮𝗰𝗵( модульную монолитную архитектуру), они хранят весь свой код в одной модульной кодовой базе.

Монолитная архитектура - самая простая архитектура для понимания и реализации.

Поскольку монолитный дизайн прост в построении и позволяет командам быстро работать на начальном этапе разработки, он может помочь продвинуть разработку приложения.

Централизация развертывания приложения и поддержки кодовой базы имеет множество преимуществ.

Вся функциональность доступна в одной папке; вам нужно будет управлять только одним репозиторием. Кроме того, это означает, что необходимо поддерживать один конвейер тестирования и развертывания, что может сэкономить много времени.

Возможность обращаться к различным компонентам, а не полагаться на API веб-сервисов, - однно из самых привлекательных приемуществ монолитной архитектуры по сравнению с несколькими отдельными сервисами.

Shopify реализовала одну из версий модульного монолита на 𝗥𝘂𝗯𝘆 𝗼𝗻 𝗥𝗮𝗶𝗹𝘀. Они организуют кодовую базу вокруг реальных концепций (таких как заказы, доставка, инвентаризация и выставление счетов), что облегчает разметку кода и людей, которые его понимают. Каждый компонент представляет собой мини-приложение на Rails (модуль).

Каждый компонент претендует на единоличное владение данными, с которыми связан, и определяет прямой, специализированный интерфейс с границами домена, передаваемыми через публичный API.

Cтатистики работы Shopify на черной пятнице:

🔹 145 миллиардов запросов (~60 миллионов в минуту)
🔹 99,999+% аптайма
🔹 5 ТБ/мин данных из всей инфраструктуры
🔹 MySQL 5.7 и 8 обрабатывают более 19 миллионов запросов в секунду (QPS)
🔹 22 ГБ/сек журналов и 51,4 ГБ/сек метрических данных
🔹 9 миллионов проходов в секунду данных трассировки
🔹 Их Apache Kafka обслуживал 29 миллионов сообщений в секунду в пиковый момент
🔹 Все работает в облаке Google Cloud

@Golang_google

👣 rqlite 8.0 - легкая распределенная база данных, написанная на Go, Raft и SQLite - теперь с поддержкой больших наборов данных и новыми возможностями

rqlite прост в развертывании и настройкаи, а его возможности кластеризации обеспечивают отказоустойчивость и высокую доступность.

rqlite доступен для Linux, macOS и Microsoft Windows .

Github: https://github.com/rqlite/rqlite

Обновления: https://philipotoole.com/rqlite-8-0-large-dataset-support-and-core-feature-upgrades/

@Golang_google

👣 Дайджест полезных материалов из мира Golang за неделю

Почитать:
— Своё кастомное межсервисное взаимодействие с блекджеком и gRPC
— Как настроить gRPC на примере микросервисов на Ruby и Go
— Python лёгкий. Go простой. Простой != лёгкий
— Современные варианты баз данных
— Безопасность web приложений с использованием Identity Provider
— Визуализация результатов escape-анализа в VS Code
— Потрошим golang: как устроена память
— 8 бесплатных курсов по большим языковым моделям
— Торговые роботы на Golang
— Есть ли Singleton в Golang?
— ORM для реальных приложений не окупается
— Многопоточность и параллелизм в Go: Goroutines и каналы
— Go concurrency simplified. Part 1: Channels and goroutines
— Wat if... ?
— Web Scraping com Go: Coletando Notícias do Flamengo
— Golang: 14 Shorthand Tricks You Might Not Know!
— Improving Compiler Performance with Profile Guided Optimization
— Using IAM authentication for Redis on AWS
— Announcing the release of the Xata Go SDK
— How to reverse proxy the WebSocket protocol
— Como fazer Deploy de uma Aplicação Golang no Windows Server?
— Go is awesome!

Посмотреть:
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно.
🌐 Mastering Go: A Comprehensive Guide to Golang Programming
🌐 Why We Switched From Svelte Kit To Golang + HTMX (⏱ 09:54)
🌐 Advent Of Code But With C, VIM, And NO Linters (⏱ 02:56:52)
🌐 Components with HTML Templates in Go!? ~ FULL STACK Golang (⏱ 05:51)
🌐 Business Logic Layers in your Golang services!? - Golang Service Architecture (⏱ 05:51)

Хорошего дня!

@Golang_google

⚡️ zombiezen.com/go/sqlite

Этот пакет предоставляет низкоуровневый Go-интерфейс для SQLite 3. Он предназначен для замены crawshaw.io/sqlite.

▪Полная функциональность SQLite через modernc.org/sqlite, автоматически генерируемый перевод оригинального исходного кода SQLite на языке C в Go
▪Сборка с CGO_ENABLED=0 позволяет выполнять кросс-компиляцию
▪Позволяет получить доступ к специфическим для SQLite функциям
▪Включает простой пакет миграции схемы базы
▪Утилиты для запуска встроенных SQL-скриптов с использованием функции встраивания в Go 1.16
▪Go fix-подобный инструмент для миграции существующего кода с помощью crawshaw.io/sqlite

https://github.com/zombiezen/go-sqlite

@Golang_google

👣 SGSG - Svelte + Go + SQLite + gRPC

Это полнофункциональное приложение с открытым исходным кодом, в основе которого лежат два основных принципа: ПРОИЗВОДИТЕЛЬНОСТЬ и ПРОСТОТА. Идея заключается в том, что вы можете взять этот шаблон и использовать его для создания собственного проекта и он будет очень хорошо масштабироваться.

Кроме того, это не очередной шаблон для разработчиков. В нем есть все, что нужно для запуска в продакшен: конфигурация Nginx, развертывание Docker, GitHub Actions, логирование Grafana и т. д.

▪Github

@Golang_google

⚡️ 79 Ресурсов, которые следует прочитать, чтобы улучшить свои навыки в области проектирования систем:

Учебник по системному проектированию https://github.com/donnemartin/system-design-primer
Курс по системному проектированию https://github.com/karanpratapsingh/system-design
Масштабируемость http://highscalability.com
Проектирование в Meta https://engineering.fb.com
Блог об архитектуре AWS https://aws.amazon.com/blogs/architecture/
All Things Distributed https://allthingsdistributed.com
Технологический блог Netflix https://netflixtechblog.com
System Design Newsletter https://newsletter.systemdesign.one/
Инженерный блог LinkedIn https://engineering.linkedin.com/blog
Инженерный блог Uber https://eng.uber.com
Инженерия в Quora https://quoraengineering.quora.com
Инженерный блог Pinterest https://medium.com/pinterest-engineering
Инженерный блог Lyft https://eng.lyft.com
Блог инженера Twitter https://blog.twitter.com/engineering/
Инженерный блог Dropbox https://dropbox.tech
Инженерный блог Spotify https://engineering.atspotify.com
Инженерный блог Github https://github.blog/category/engineering/
Инженерный блог Instagram https://instagram-engineering.com
Инженерный блог Canva https://canvatechblog.com
Инженерный блог Etsy https://etsy.com/codeascraft
http://Booking.com Технологический блог https://blog.booking.com
Технологии Expedia https://medium.com/expedia-group-tech
Технологический блог Airbnb https://medium.com/airbnb-engineering
Инженерный блог Stripe https://stripe.com/blog/engineering
Технический блог Ebay https://tech.ebayinc.com
Технический блог Flickr https://code.flickr.net
Блог Hubspot https://product.hubspot.com/blog/topic/engineering
Инженерный блог Zynga https://zynga.com/blogs/engineering
Блог инженера Yelp https://engineeringblog.yelp.com
Инженерный блог Heroku https://blog.heroku.com/engineering
Инженерия и дизайн Discord https://blog.discord.com/engineering-posts/home
Zomato https://zomato.com/blog/category/technology
Hotstar https://blog.hotstar.com
Swiggy https://bytes.swiggy.com
Acast Tech https://medium.com/acast-tech
Технологический блог ASOS https://medium.com/asos-techblog
Shopify Engineering https://shopify.engineering
Технологические блоги Microsoft https://devblogs.microsoft.com
Инженерия в Microsoft https://devblogs.microsoft.com/engineering-at-microsoft/
Блог о разработке MongoDB https://mongodb.com/blog/channel/engineering-blog
Slack Engineering https://slack.engineering

❤️ Лайк, если полезно

@Golang_google

👣 Huh.

Huh: простая, мощная библиотека для создания терминальных форм (написана на Go).

▪Github

@Golang_google

👣 Sign in with GitHub in Go

Часто можно встретить веб-приложения, позволяющие войти в систему через сторонние сервисы. Особенно популярна функция "Войти с помощью Google"; на сайтах, ориентированных на разработчиков, также часто встречается "Войти с помощью GitHub". В этой статье я освящена тема OAuth - технологии, позволяющей создавать такие делегированные логины, и представить несколько способов интеграции логина GitHub в ваш Go-сервис.

Заметка о терминологии аутентификации:

Аутентификация (authn): это процесс проверки личности пользователя или объекта. Она отвечает на вопрос "Кто вы?", обычно с помощью учетных данных, таких как имена пользователей и пароли, 2FA и т. д.

Авторизация (authz): процесс определения того, какими правами обладает аутентифицированный пользователь в определенном сервисе (например, редактор, комментатор или зритель в Google Документах).

Эта статья посвящена authn, хотя GitHub на самом деле предоставляет более общий механизм authz. В GitHub, когда вы пытаетесь использовать OAuth login, вы заранее запрашиваете определенные разрешения (называемые "scopes"); таким образом, процесс аутентификации пользователя сочетает authn (есть ли у этого пользователя действительный аккаунт GitHub?) и authz (может ли это приложение получить следующие разрешения на аккаунт пользователя?).

Однако мы стараемся сосредоточиться только на authn, не запрашивая у GitHub никаких особых разрешений, кроме проверки наличия у пользователя аккаунта и получения базовой информации о пользователе (email), которая может быть использована для уникальной идентификации пользователя в нашем приложении.

В этом посте приведены примеры кода для выполнения этой задачи.

▪ Читать

@Golang_google