👣 Sling

Полезный инструмент, написанный на Go, для выгрузки/загрузки данных с большинства основных СУБД включая облачные, файловых систем и различных файлов данных.

▪Github

@Golang_google

👣 cli2ssh: Превратите любую CLI-программу в SSH-сервер

▪Github

#golang #программирование

go install github.com/PeronGH/cli2ssh/cmd/cli2ssh@latest

@Golang_google

👣 Небольшой пример как копировать данные между базами данных используя `go`, `pgx`, и `copy`

Предположим что у нас есть два коннекта к базе (одной или нескольким, это не важно). Далее используя io.Pipe() создаём Reader и Writer, и используя CopyTo() и CopyFrom() переносим данные.

  r, w := io.Pipe()

  doneChan := make(chan struct{}, 1)

  go func() {
      defer close(doneChan)

      _, err := db1.PgConn().CopyTo(ctx, w, `copy table1 to stdin binary`)
      if err != nil {
          slog.Error("error", "error", err)
          return
      }
      _ = w.Close()
      doneChan <- struct{}{}
  }()

  _, err = db2.PgConn().CopyFrom(ctx, r, `copy table1 from stdout binary`)
  _ = r.Close()

  select {
  case <-doneChan:
  case <-ctx.Done():
  }

Вся прелесть тут в том что используем наиболее быстрый способ с точки зрения PostgreSQL.

Используя `copy (select * from where ... order by ... limit ...) to stdout `можем регулировать нагрузку на чтение, следить за прогрессом и управлять копированием данных.

В качестве Reader может выступать что угодно, хоть файл csv, хоть другая СУБД, но тогда данные придётся дополнительно конвертировать в формат понимаемый PostgreSQL - csv или tsv, и использовать copy ... from stdin (format csv).

Нюанс: copy ... from stdin binary , binary обязывает использовать одинаковые типы данных, нельзя будет integer колонку перенести в колонку smallint, если такое требуется, то параметр binary надо опустить.

Весь код тут. И ещё немного кода для вдохновения.

@Golang_google

👣 Что такое `range func`?

range func — это функция-итератор, которую можно использовать в for-range цикле. Функция позволяет проходиться по какому-либо множеству данных, конечному или бесконечному.

🟢Примером конечного набора данных является какой-либо абстрактный контейнер: массив, слайс, хэш-таблица, структура (если мы хотим пройтись по полям этой структуры), текстовый файл (хотим пройтись построчно) и т.д.

🟢Примером бесконечного набора можно считать какой-либо генератор: генератор рандомных чисел, рандомных строк.

Как с этим дела сейчас?
For-range циклы на данный момент позволяют следующее (в плане итерирования по коллекциям):

🟢Последовательно пройтись по слайсу/массиву

for i, v := range []int{2, 4, 6} {...}

🟢В случайном порядке пройтись по мапе

for k, v := range map[string]int{“two”: 2, “four”: 4, “six”: 6} {...}

🟢...и ещё пару столь же простых вариантов прохождения по коллекции

На этом все. Если вам нужно итерироваться как-то иначе, то используйте обычный for цикл. Различные библиотеки решают этот вопрос по-разному.

И вот тут можно использовать итераторы, чтобы создавать нужный порядок обхода набора.
Например, задача: проитерироваться по слайсу с конца. Ничего сложного, типичная схема.

s := []int{2, 4, 6}
for i := len(s)-1; i >= 0; i-- {
  // ...  
}

Вот было круто вообще все слайсы проходить с конца. Используем итератор — и вуаля:

type Iter[E any] func(body func(index int, value E))

func Backward[S ~[]E, E any](s S) Iter[E] {
  return func(body func(int, E)) {
    for i := len(s) - 1; i >= 0; i-- {
      body(i, s[i])
    }
  }
}

// Использование
backwardIter := Backward([]int{2, 4, 6})
backwardIter(func(index int, value int) {
  fmt.Printf("[%d]=%d\n", index, value)
})

Вообще, итераторы могут стать очень полезной фичой, если в вашем проекте часто всплывают похожие задачи
Подробнее про итераторы можно почитать тут

@Golang_google

👣 Структурированное логирование в Go с помощью Slog

Более 10 лет гоферы жаловались на отсутствие структурированного логирования в ядре Golang.
В 2023 году, команда Go наконец-то представила slog — высокопроизводительный пакет для структурированного ведения логов в стандартной библиотеке Go.

log/slog предоставляет 3 основных типа:
🔘Logger: это "фронтэнд" логгирования; предоставляет методы уровня (Info() и Error()) для записи событий.
🔘Record: представление каждого автономного объекта журнала, созданного Logger.
🔘Handler: интерфейс, который определяет форматирование и назначение каждого Record. В пакет log/slog включены два встроенных обработчика: TextHandler и JSONHandler для вывода данных в формате key=value и JSON соответственно.

Пакет slog предоставляет стандартный Logger, доступный через функции верхнего уровня. Этот логер выводит почти такой же результат, как и старый метод log.Printf(), за исключением включения уровней журнала:

package main

import (
    "log"
    "log/slog"
)

func main() {
    log.Print("Info")
    slog.Info("Info")
}

// 2099/09/09 23:59:59 Info
// 2099/09/09 23:59:59 INFO Info

Выглядит странно, учитывая, что основная цель slog — привнести структурирование логов.

Это легко исправить, создав экземпляр Logger с помощью slog.New(). Он принимает реализацию Handler, который определяет, как будут отформатированы журналы и куда будут записаны.
Вот мы выводим JSON-логи в stdout при помощи встроенного JSONHandler:

func main() {
    logger := slog.New(slog.NewJSONHandler(os.Stdout, nil))
    logger.Debug("Debug")
    logger.Info("Info")
    logger.Warn("Warning")
    logger.Error("Error")
}

// {"time":"2099-09-15T12:59:59.227408691+09:00","level":"INFO","msg":"Info"}
// {"time":"2099-09-15T12:59:59.227468972+09:00","level":"WARN","msg":"Warning"}
// {"time":"2099-09-15T12:59:59.227472149+09:00","level":"ERROR","msg":"Error"}

🔘Почитать про slog подробнее

👣 log/slog

@Golang_google

👣 Goqite

go quite - это библиотека Go для постоянной очереди сообщений, построенная на SQLite и вдохновленная AWS SQS (но намного более простая).

Особенности

▪Сообщения сохраняются в таблице SQLite.
▪Сообщения отправляются в очередь и принимаются из нее и гарантированно не будут доставлены повторно до истечения времени ожидания.
▪Поддержка нескольких очередей в одной таблице.
▪Время ожидания сообщений может быть увеличено, например, для поддержки длительно выполняющихся задач.
▪Встроенный обработчик HTTP.

📌 Github

@Golang_google

👣 Nuke — арена памяти для Go

На GitHub под лицензией Apache License 2.0 опубликован проект под названием Nuke v1.1.0. Это реализация арены памяти для Go с бенчмарками и даже реализацией параллельной арены.

Арена памяти — это метод управления памятью, при котором сразу выделяется большой блок памяти, а его части используются для удовлетворения запросов выделения от программы. В контексте языка со сборкой мусора, такого как Go, использование арен памяти может дать несколько преимуществ:

🔘повышение производительности: распределяя память большими блоками, арены памяти сокращают накладные расходы, связанные с частыми вызовами системного распределителя памяти;

🔘улучшенная локальность кэша. Арены памяти также могут улучшить локальность кэша, размещая тесно связанные объекты в одном блоке памяти;

🔘эффективность сборки мусора. Использование арен памяти может снизить рабочую нагрузку на сборщик мусора за счёт уменьшения количества объектов, которые необходимо отслеживать и собирать, что приводит к меньшему времени паузы и более предсказуемой производительности.

Однако, хотя арены памяти предлагают эти преимущества, они не являются панацеей и имеют свои недостатки, такие как потенциальное увеличение использования памяти из-за неиспользуемого пространства внутри выделенных блоков. Необходимо тщательное рассмотрение и профилирование, чтобы определить, полезно ли использование арены памяти для конкретного приложения.

🖥 Nuke

@Golang_google

👣 Ente

Сервис, который предоставляет полностью открытую платформу с сквозным шифрованием, позволяющую хранить ваши данные в облаке без необходимости доверять поставщику услуг.

Альтернатива ва Google Photos и Apple Photos.

#golang #backend

▪Github

@Golang_google

👣 Возможный вопрос на собесе: rune и byte — в чём разница?

⏩rune - это 32-х битный тип, представляющий юникодные символы в кодировке UTF-32 aka UCS-4.

⏩byte - это универсальный 8-битный тип.

⏩rune используется для работы с не-ASCII символами в строках. Есть встроенное приведение []rune для типа string, которое парсит строку из UTF-8 (представление с переменной длиной байтов) в представление с фиксированной длиной байтов.

⏩В случае не-ASCII строк разница между []byte(str) и []rune(str) разительна. Строка Привет, мир!:

Байты:  [208 159 209 128 208 184 208 178 208 181 209 130 44 32 208 188 208 184 209 128 33]
Руны:  [1055 1088 1080 1074 1077 1090 44 32 1084 1080 1088 33]

⏩Приведение []rune(string) эквивалентно вот такой функции:

func ToRunes(bytes []byte) []rune {
    result := []rune{}
    for i := 0; i < len(bytes); {
        r, size := utf8.DecodeRune(bytes[i:])
        result = append(result, r)
        i += size
    }
    return result
}

📎На картинке текст программы с преобразованием Привет, мир! в руны и обратно

@Golang_google