👣 Как написать и запустить миграцию базы данных в Golang

При работе с базой данных миграция схемы является одной из важных задач, которую нам часто приходится выполнять на протяжении всего жизненного цикла приложения, чтобы адаптироваться к новым бизнес-требованиям.
И в этой статье речь пойдёт о том, как написать и запустить миграцию схемы базы данных в Golang, используя библиотеку golang-migrate, уверен, будет полезно

📎 Туториал
📎 YouTube

@Golang_google

👣 Аутентификация и OAuth с помощью Go

Держите полезные библиотеки для реализации схем аутентификации. Вы готовы? Их немало)

🟡 authboss — Модульная система аутентификации для Интернета. Он пытается удалить как можно больше шаблонов и «сложных вещей», чтобы каждый раз, когда вы запускаете новый веб-проект в Go, вы могли подключить его, настроить и начать создавать свое приложение без необходимости каждый раз создавать систему аутентификации.

🟡 branca — реализация спецификации токена branca для Golang 1.15+.

🟡 casbin — библиотека авторизации, поддерживающая такие модели управления доступом, как ACL, RBAC и ABAC.

🟡 cookietxt — предоставляет анализатор файлов формата cookie.txt.

🟡 go-guardian — Go-Guardian — это библиотека golang, которая предоставляет простой, понятный и идиоматический способ создания мощного современного API и веб-аутентификации, поддерживающей LDAP, базовую аутентификацию, аутентификацию на основе токена и сертификата.

🟡 go-jose — довольно полная реализация спецификаций JSON Web Token, JSON Web Signatures и JSON Web Encryption рабочей группы JOSE.

🟡 gologin — цепочки обработчиков для входа в систему с помощью поставщиков аутентификации OAuth1 и OAuth2.

🟡 gorbac — предоставляет облегченную реализацию управления доступом на основе ролей (RBAC) в Golang.

🟡 gosession — это быстрый сеанс для net/http в GoLang. Этот пакет, возможно, является лучшей реализацией механизма сеансов или, по крайней мере, пытается им стать.

🟡 goth — предоставляет простой, понятный и идиоматический способ использования OAuth и OAuth2. Обрабатывает несколько провайдеров «из коробки».

🟡 jeff — Простое, гибкое, безопасное и идиоматичное управление веб-сессиями с помощью подключаемых серверных частей.

🟡 jwt — безопасные, простые и быстрые веб-токены JSON для Go.

🟡 jwt-auth — промежуточное программное обеспечение JWT для http-серверов Golang со множеством параметров конфигурации.

🟡 jwt-go — полнофункциональная реализация веб-токенов JSON (JWT). Эта библиотека поддерживает синтаксический анализ и проверку, а также генерацию и подписание JWT.

@Golang_google

👣 Получение параметров при использовании ssl

▶️Итак, реальный кейс, связанный с использованием ssl/tls сертификатов. В коде есть фрагменты передачи данных из форм такого типа

http://localhost:8080/?param1=value

Сейчас, без использования шифрования транспорта, можно получить значение param1 так

r.FormValue("param1")

Вопрос: если начать шифровать транспорт, сами данные останутся незашифрованны ведь? Или придётся изменить способ получения параметров из запроса и сперва эти параметры расшифровать?


▶️Вообще, здесь не важно, происходит шифрование транспорта или нет, в хендлер придут данные в расшифровоном виде. Вот простой пример:

package main

import (
   "fmt"
    "log"
    "net/http"
)

func handler(w http.ResponseWriter, r *http.Request) {
    w.WriteHeader(http.StatusOK)
    w.Header().Set("Content-Type", "text/plain")
    w.Write([]byte(fmt.Sprintf("param1=%s", r.FormValue("param1"))))
}

func main() {
    http.HandleFunc("/", handler)
    http.NewServeMux()
    err := http.ListenAndServeTLS(":8080", "server.crt", "server.key", nil)
    if err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

А вот команда генерации сертификатов:

openssl req -x509 -nodes -newkey rsa:2048 -keyout server.key -out server.crt -days 3650

Такие дела

@Golang_google

👣 Как загрузить пакет из приватного репозитория?

⏩Итак, ситуация. Есть приватный репозиторий. Можно склонировать себе данный репозититорий по ssh, но через go get / go install происходит ошибка:

go: unrecognized import path "private.gitlab.ru/repositoryName": https fetch: Get "https://private.gitlab.ru/repositoryName?go-get=1": dial tcp 255.255.255.255:443(левый IP адрес): i/o timeout

Попытки установить хост данного репозитория себе в переменные GONOPROXY / GOPRIVATE / GONOSUMDB не помогли, ошибка остаётся той же.


⏩Возможно, у кого-то тоже была такая проблема, надеюсь, этот совет ещё кому-то пригодится. Итак, если есть доступ по SSH, можно использовать такой вариант:

git config --global url."[email protected]".insteadOf "https://private.gitlab.ru"

🟡Или используя access-токен

git config --global url."https://${user}:${personal_access_token}@private.gitlab.ru".insteadOf"https://private.gitlab.ru"

После этого go get / go install будут работать с приватными репозиториями.

@Golang_google

👣 Разработка простого DNS сервера на Go, согласно RFC

О чём речь в статье?
🟡Небольшое введение в DNS в целом, как эти серверы позволяют связать IP и URL; о том, что DNS протокол является прикладным протоколом, работающим поверх UDP

🟡В протоколе реализуется один формат сообщения, его размер — 512 байт; описывается структура сообщения и его заголовок

🟡Описывается процесс распарсивания заголовка запроса и кодирования его для ответа

🟡В общем, по итогу создаётся минимальный рабочий DNS сервер на Go, что можно без проблем повторить

📎 Статья

@Golang_google

👣 Go-mongox

Пакет Go Mongo, поддерживающий операции по работе с документами и эффективным компоновщиком данных BSON с использованием различных типов данных.

BSON - бинарная форма представления простых структур данных и ассоциативных массивов (которые в контексте обмена называют объектами или документами)

go get github.com/chenmingyong0423/go-mongox

#golang #MongoDB

▪ Github

@Golang_google

👣 Лимит на количество открытых дескрипторов

▶️Вопрос, связанный с написанием демона на Go при помощи go-daemon:
какой лимит по умолчанию на количество открытых дескрипторов файла в Go? Как его менять? И есть ли общепринятые рекомендации по их количеству?


▶️Начать стоит с проверки ulimit -a и ulimit -aH в shell'е перед запуском вашего демона. Это быстро покажет текущие "мягкие" и (второй вызов) "жесткие" ограничения. При помощи ulimit можно открутить мягкие ограничения до пределов жестких. Следует понимать, что ulimit меняет только текущие лимиты, для шелла и всех программ, запущенных в этом шелле, поэтому после завершения сессии или даже в другом окне терминала значения останутся прежними.

🟡Следующее место задания ограничений, на этот раз постоянных — это /etc/security/limits.conf и каталог /etc/security/limits.d/, ограничение называется nofile. Редактировать (а, иногда, и смотреть) эти файлы может только суперпользователь ("root"). Там задаются ограничения на отдельных пользователей или группы, применяемые на всю сессию данного пользователя, или всех пользователей определенной группы.

🟡И наконец, есть "системное ограничение", задаваемое через sysctl - это fs.nr_open:
/sbin/sysctl -n fs.nr_open
ему же соответствует файл /proc/sys/fs/nr_open

🟡"Программно" манипулирование лимитами текущего процесса в пределах жестких ограничений, заданных на сессию, осуществляется через вызовы getrlimit/setrlimit, которые можно звать из Go, используя FFI (примеры можно посмотреть здесь)

@Golang_google

👣 Паттерн Repository в Go

⏩Repository — это прослойка между бизнес-логикой и источником данных, которая абстрагирует приложение от конкретных деталей работы с базой данных. Это позволяет разделить логику работы с данными от логики приложения и облегчает поддержку и расширение приложения. Кроме того, использование Repository способствует повышению тестируемости кода.
Основная идея — отделить интерфейс хранилища данных от его реализации. Тогда мы можем использовать различные реализации хранилища, обладающие одним интерфейсом

⏩Рассмотрим следующий пример. У нас есть некоторый микросервис, который хранит данные пользователя. Для описания пользователя создадим пакет entity/user

📎 Читать дальше

@Golang_google

👣 Шаблон backend сервера на Go

Основная цель этого шаблона, кроме обучения — это снизить время на прототипирование небольших серверных задач на Go.

Шаблон включает в себя:
⏩Передачу параметров для запуска HTTP сервера через командную строку — github.com/urfave/cli
⏩Настройка параметров сервера через конфигурационный файл — github.com/sasbury/mini
⏩Настройка параметров TLS HTTP сервера
⏩Настройка роутера и регистрация HTTP и prof-обработчиков — github.com/gorilla/mux
⏩Настройка уровней логирования без остановки сервера — github.com/hashicorp/logutils
⏩Настройка логирования HTTP трафика без остановки сервера
⏩Настройка логирования ошибок в HTTP response без остановки сервера
⏩HTTP Basic аутентификация
⏩MS AD аутентификация — gopkg.in/korylprince/go-ad-auth.v2
⏩JSON Web Token — github.com/dgrijalva/jwt-go
⏩Запуск сервера с ожиданием возврата в канал ошибок
⏩Использование контекста для корректной остановки сервера и связанных сервисов
⏩Настройка кастомной обработки ошибок — github.com/pkg/errors
⏩Настройка кастомного логирования
⏩Сборка с внедрением версии, даты сборки и commit

🖥 GitHub

На изображении — UML-диаграмма последовательности запуска и остановки сервера

@Golang_google

👣 Самоизменяющийся бинарник (Self Modifying Binary)

▶️Возможно ли создать самоизменяющийся бинарник на Go? К примеру, программа должна отобразить сколько раз она была запущена и время последнего запуска, выглядеть это может как-то так:

./goprogram
1 29.06.2099 14:10
./goprogram
2 29.06.2099 14:12
./goprogram
3 29.06.2099 15:10
./goprogram
4 30.06.2099 14:10

При этом ни каких дополнительных файлов или записей не должно создаваться.

На Purebasic довольно просто такое реализовать:
• Скомпилированный бинарный файл создаёт свою копию.
• Записывает в конец файла число.
• Замещает оригинал изменённой копией.
• При повторном запуске выводит записанное число.
• Можно пример такой реализации на Go?


▶️Вообще, это небезопасно, и наверняка будет запрещено антивирусами и прочими системами безопасности. Не говоря уже о разнице в различных ОС. Тем не менее, можно сделать как-то так (обработка ошибок опущена для краткости):

type persistent struct {
    Magic   [8]byte
    Content int64
}

var p = persistent{
    Magic:   [8]byte{0xBA, 0xDD, 0xFA, 0xCE, 0xBE, 0xEF, 0xCA, 0xCE},
    Content: 0,
}

func main() {
    fmt.Println(p.Content)

    const size = int(unsafe.Sizeof(p))
    currentBuf := bytes.NewBuffer(make([]byte, 0, size))
    err := binary.Write(currentBuf, binary.LittleEndian, p)

    newP := p
    newP.Content++

    newBuf := bytes.NewBuffer(make([]byte, 0, size))
    err = binary.Write(newBuf, binary.LittleEndian, newP)

    currentBytes, newBytes := currentBuf.Bytes(), newBuf.Bytes()
    self, err := os.OpenFile(os.Args[0], os.O_RDONLY, 0755)
    selfBytes, err := ioutil.ReadAll(self)

    i := bytes.Index(selfBytes, currentBytes)
    copy(selfBytes[i:i+size], newBytes)
    newSelf, err := ioutil.TempFile("", "selfmodifying")
    _, err = newSelf.Write(selfBytes)
    err = os.Rename(newSelf.Name(), self.Name())
    err = os.Chmod(self.Name(), 0755)
}

📎 Полный пример кода тут.

@Golang_google

👣 Как добавить метаданные в изображение?

Вот задача — дано изображение в виде слайса байт, в которое нужно добавить метаинформацию вроде заголовков exif.
Практиески все библиотеки на Go дают возможно считать метаинформацию из файла, но не записать.

Благо, есть такая библиотека go-exif, которая умеет править или создавать новые exif-блоки:
🖥 GitHub

Немного подробностей про go-exif:
⏩Требования: Go >= 1.17, поддержка только для тестирования и CI.

⏩Пакет содержит рабочие примеры и модульные тесты для обучения работе с EXIF.

⏩Пакет предоставляет методы брутфорса для поиска и извлечения текста и EXIF.

⏩Проект управляется конфигурацией и позволяет добавлять пользовательские IFD и пользовательские бирки.

@Golang_google

👣 go-size-analyzer

Инструмент для анализа размера зависимостей в скомпилированных бинарных файлах
Go.

• Github

@Golang_google