Note #40 gops - list of your go process currently running

Нашел отличный тул gops, которые показывает список Go процессов, которые сейчас запущены.

$ go get -u github.com/google/gops

С помощью gops легко посмотреть версию Go бинарника который сейчас запущен:

$ gops
64186 81994 gops                           go1.13   /Users/andrii/workspace/bin/gops
76    1     com.docker.vmnetd              go1.12.7 /Library/PrivilegedHelperTools/com.docker.vmnetd
….

$ gops tree
├── 81994
│   └── 70280 (gops) {go1.13}
├── 1
│   ├── 76 (com.docker.vmnetd) {go1.12.7}
│   ├── 28657 (updater) {go1.13}
│   ├── 28669 (kbfs) {go1.13}
│   └── 28663 (keybase) {go1.13}
├── 5099
│   ├── 5106 (com.docker.backend) {go1.12.7}
│   └── 5104 (com.docker.driver.amd64-linux) {go1.12.7}
└── 5032

Больше примеров как обычно в README [1]

Links:
[1] https://github.com/google/gops

Note #41: Поиск по исходному коду Go 🏄‍♂️

gg - еще один аналог старичка grep, который сужает поиск только: по ключевым словам, комментариям, и различным литералам.

Итак что умеет gg:

💥Поиск числа 255 в разных системах счисления (0b1111_1111, 0377, 0o377, 255, 0xff) во всех *.go файлах в текущей директории:

gg v 255 .

💥Поиск по всем комментариям, которые содержат слово case и игнорирует конструкцию switch case:

gg c case .

💥Поиск по всем ключевым словам, в частности по ifaм:

gg k if .

Болеше инфы как обычно в help. Have fun!

P.S. Также рекомендую познакомиться с аналогами grep заточенных под разработчиков: ripgrep (Rust), pt (platinum searcher) или ag (silver searcher) и ack eсли вы еще не слышали о них.

Useful links:
https://github.com/MichaelTJones/gg
https://github.com/BurntSushi/ripgrep
https://github.com/monochromegane/the_platinum_searcher
https://github.com/ggreer/the_silver_searcher

Note #42 Proposal: Scaling the Go page allocator

Пока мы все читали пропозалы про Go2, ошибки и дженерики ребята написали предложение, о том чтобы потюнить Go runtime page аллокатор, который содержит серьезные проблемы с маштабирование при высоких hit rate аллокациях и большом GOMAXPROCS=32.

Заметили проблему в kubernetes/kubernetes/issues/75833 и в issue golang/go/28479 (runtime: make([]byte, n) becomes much slower compared with go 1.11.1)

В общем все детали в достаточно объемном документе:
https://go.googlesource.com/proposal/+/refs/changes/57/202857/2/design/35112-scaling-the-page-allocator.md

Оригинальный issue: https://github.com/golang/go/issues/35112

P.S. Thanks @o8tomat8o за ссылку.

Note #43: Слайды моего доклада с Kyiv Go Meetup October 2019 🎃

В этом докладе я рассказываю как писать удобные для пользователя консольные комманды, которые легко тестировать.

Сcылка на слайды 👇
https://www.slideshare.net/ssuserb92f8d/building-robust-and-friendly-command-line-applications-in-go

Видео: 👇
https://youtu.be/4AdN5q_SSbs?t=21

References:
📹 justforfunc #5: Defining a Color Flag in Go
📹 justforfunc #32: CLI tools with Cobra
📹 GopherCon 2019: Carolyn Van Slyck - Design Command-Line Tools People Love
📖 The Go Programming Language by Alan A. A. Donovan, Brian W. Kernighan
📖 Go in Practice by Matt Butcher, Matt Farina

P.S. Вопросы можно задавать в личку или чатик.

Note #44: Golang security checker 👮‍♂️

Нашел тул, который помогает сканировать кодовую базу на различные секьюрити уязвимости:

- хардкодед явки и пароли
- байндинг на все сетевые интерфейсы (0.0.0.0:8001)
- поиск unsafe блоков кода
- конкатинация строк в SQL запросах
- не верные права на при создании фолдера

Больше инфы в доках [1] и сорс коде [2]

Links:
- [1] https://securego.io/
- [2] https://github.com/securego/gosec
P.S. даже есть свой slack: http://securego.herokuapp.com/ :)

Note 45: Go Конференции, которые нас ожидают в 2020 году 🔊

Продолжается набор заявок на доклады на FOSDEM 2020 (Go dev room), которая пройдет 1-2 февраля 2020 года, как обычно в Брюсселе. 🇧🇪

Как стало известно dotGo будет в марте 2020 в Париже 🇫🇷.

23-25 Апреля в Берлине, пройдет GoperCon Europe 2020 🇩🇪.

GopherCon в этому будет в Walt Disney World Dolphin Resort в 2020 году. Расположен в Орландо, штат Флорида. Стоит забукать в свои календари на 22-25 июня, чтобы испытать волшебство Диснея 😋🇺🇸.

To be continued...

Links:
[1] CFP Go devroom https://medium.com/@maartjeme/go-devroom-cfp-fosdem-2020-7615f2ed390
[2] dotGo https://www.dotgo.eu/
[3] https://twitter.com/gopherconeu
[4] https://twitter.com/gophercon

Note #46: Методы оценки безопасности для проектов Go 👮‍♂️

Ребята который проводили аудит безопасности k8s этим летом, опубликовали интересную статью о методах оценки безопасности в Go проектах [1]:

В статье говорится о:
- Статическом анализе (gosec, go-vet, and staticcheck, ineffassign, errcheck), кстати, о gosec я писал недавно https://yangx.top/golang_for_two/70);
- динамическом анализе: фаззинг, property testing (leanovate/gopter)
- кратко о codecoverage ( от себя добавлю визуализация codecov с помощью coveralls/codecov.io очень помогает)
и еще много полезностей 👇

https://blog.trailofbits.com/2019/11/07/attacking-go-vr-ttps/

Note #47: Happy Birthday, Go! 🥂🍾🍰

Сегодня Go исполняется 10 лет!

🎉🎉🎉

blog.golang.org/10years

Note #48: Top 10 talks from Golab 2019 based on youtube stats 🎞 🇮🇹

Как многие[1][2] заметили, появились видео с последней конференции Golab, которая прошла в октябре в Италии.

По традиции top 10:
GoLab 2019 - Roberto Clapis - Day 1 Closing Talk: It starts with a problem (https://youtu.be/f6v3b4Rzb6E)
GoLab 2019 - Italo Vietro - Designing for failure (https://youtu.be/BOn3R41UrV8)
Golab 2019 - Hadas Yaakobovitch - Migrating a Mission Critical Service to Go (https://youtu.be/vUEKL8zekXc)
GoLab 2019 - Bill Kennedy - Keynote: You Want To Build a Web Service? (https://youtu.be/IV0wrVb31Pg)
GoLab 2019 - Giovanni Bajo - Conference presentation (https://youtu.be/SR-nJpoXyOE)
GoLab 2019 - Klaus Post - Taming Mutexes for Concurrency (https://youtu.be/fTEL4GxjWLM)
GoLab 2019 - Eleanor McHugh - Keynote: An Introduction To Functional Programming In Go (https://youtu.be/nxydu5aPtjQ)
GoLab 2019 - Federico Paolinelli - Rpc on steroids with Go and Grpc (https://youtu.be/2VW1_EHdb_o)
GoLab 2019 - Fabio Falzoi - An insight into Go Garbage Collection (https://youtu.be/etRF1Cpx5Ok)
GoLab 2019 - Florin Pățan - Using Go Modules in everyday life (https://youtu.be/8NcHdaETMZw)

Links:
- https://yangx.top/oleg_log/2312
- https://yangx.top/count0_digest/3215

Note #49: CockroachDB и Cockroach University 🔭

Cockroach Labs, которые написали CockroachDB (кто не в курсе БД написана на гошечке), недавно выпустили интересный проект под названием: Cockroach University, и там уже есть первый пилотный курс “Getting Started With CockroachDB”. Очень похоже по смыслу на MongoDB University и Neo4J сертификацию :)

Для любителей сертификатов и других ачивок, если набрать 70% процентов и выше то выдадут сертификат бесплатно! Кстати, курс длится около 6 часов.

https://university.cockroachlabs.com/catalog

Note # 50 shhgit 😎

Очередной тул на Go - может искать пароли использую Github Events API в режиме приближенном к реальному времени.

https://github.com/eth0izzle/shhgit

Ну и дашбордик https://shhgit.darkport.co.uk/

😱 Это эпично наблюдать за тем как люди коммитят пароли прям вот сейчас :)

За ссылку спасибо setevoy!

Note #51: errwrap

Аслан Фатих в твиттере порадовал новым тулом, который анализирует вызовы fmt.Errorf() и заменяет дерективы %s, которые можно заменить на новые %w (начиная с go 1.13):

$ errwrap -fix main.go
main.go:14:9: call could wrap the error with error-wrapping directive %w

diff --git a/main.go b/main.go
index 41d1c42..6cb42b8 100644
--- a/main.go
+++ b/main.go
@@ -11,5 +11,5 @@ func main() {

 func foo() error {
        err := errors.New("bar!")
-       return fmt.Errorf("failed for %s with error: %s", "foo", err)
+       return fmt.Errorf("failed for %s with error: %w", "foo", err)
 }

Links:
- [1] https://github.com/fatih/errwrap

Note #52: Top 10 talks of Gopherpalooza 2019

Вчера появились видео докладов с последней Gopherpalooza 2019, возглавил список Robert Griesemer 💪:

1. Go is 10! Now What?" by Robert Griesemer – Gopherpalooza 2019 (https://youtu.be/i0zzChzk8KE)
2. Building Scalable Microservices with Go" by Natalie Serebryakova – Gopherpalooza 2019 (https://youtu.be/u5O-YdA27yE)
3. Demystifying Context Values" by Jason Wentworth – Gopherpalooza 2019 (https://youtu.be/NxNT1-S-tKg)
4. Go is a Graph" by Francesc Campoy – Gopherpalooza 2019 (https://youtu.be/66qpLGeXd4c)
5. Intro to AI for software engineers Using go-learn" by Miriah Peterson – Gopherpalooza 2019 (https://youtu.be/T0DVu1Ehl5Q)
6. Parsing Expression Grammars (PEG)" by Tim Raymond – Gopherpalooza 2019 (https://youtu.be/a37rQdV7LE4)
7. Write Once, Compile Lots, Run Anywhere" by James Bowes – Gopherpalooza 2019 (https://youtu.be/m_6quA_jYYY)
8. Discovery of Worst Case Go Sort Inputs" by Jack Lindamood – Gopherpalooza 2019 (https://youtu.be/VAsX3og5wPI)

Приятного просмотра! 📺

Note #53: TIL dockerexec

Daniel Martí порадовал утилитой для запуска тестов внутри докера [1] 👌

tl;dr

go get mvdan.cc/dockexec
go test -exec='dockexec postgres:12.1'

Под капотом это просто обертка над cmd := exec.Command("docker", allDockerArgs...) и установленный test бинарь как —entrypoint и —workdir в текущую директорию.

Также можно использовать и другие флаги докера:

go test -exec='dockexec [docker flags] image:tag' [test flags]

P.S. Ожидается, что у вас установлен docker ;)

Links:
[1] https://github.com/mvdan/dockexec

Note #54: Обфускация Go

И снова Daniel Martí за выходные выкатил проект, который создает бинарь, содержащий минимальное возможное кол-во информации об исходном коде из которого он был собран.

Что происходит внутри:
- удаляет дебаг информацию (DWARF);
- удаляет BuildInfo;
- заменяет полезные идентификаторы с помощью base64 кодировки
- и тд
Больше можно 👁 в исходном коде -> [1]

Links:
- [1] https://github.com/mvdan/garble

Note #55: Пазлы для настоящего Гофера от Dave Cheney

Дэйв выкатил обновленные слайды c блиц вопросами к 10 летию Go 🎉.

Итак есть несколько простых правил:
- нужно не более 2 гоферов одновременно;
- играем до первого правильного ответа;
- играем пока не закончатся Гоферы или вопросы :)

Поехали -> 🚘
[1] https://talks.godoc.org/github.com/davecheney/presentations/gopher-puzzlers.slide#1

Note #56: FOSDEM 2020

Если вы вдруг решили тоже поехать на FOSDEM 2020 и загляните в Go dev room, то сможете встретить там меня с докладом ;) Буду рад пообщаться лично!

А для тех кто решил остаться дома, постараюсь собрать как можно больше годноты и запостить в канал.

P.S. На всякий случай что такое FOSDEM и какие ещё есть аудитории, с докладами и расписание go dev room:
https://fosdem.org/2020/schedule/track/go/

Note #57: The state of Go on 02 02 2020

Сегодня Францеск и Maartje открыли Go Dev room на FOSDEM 2020, рассказали про то как обстоят дела в Go и какие изменения в языке/стандартной библиотеке были сделаны [1].

Slides: -> https://speakerdeck.com/campoy/the-state-of-go-2020

P.S. Кстати happy palindromic day! (02022020)

Note #58: The Zen of Go

По аналогии с Zen of Python, Dave Cheney представил The Zen of Go на GopherCon Israel 2020.

1. Each package fulfils a single purpose
2. Handle errors explicitly
3. Return early rather than nesting deeply
4. Leave concurrency to the caller
5. Before you launch a goroutine, know when it will stop
6. Avoid package level state
7. Simplicity matters
8. Write tests to lock in the behaviour of your package’s API
9. If you think it’s slow, first prove it with a benchmark
10. Moderation is a virtue
11. Maintainability counts

По ссылке есть описание каждого пункта -> https://the-zen-of-go.netlify.com/.

P.S. возможно добавить сюда https://github.com/andriisoldatenko/proverbs? или пусть живет отдельно.

Note #59: Релиз кандидат (RC1) для Go 1.14

Из наиболее значимого в go 1.14 внесли изменения в спецификацию языка, а именно, теперь разрешается встраивать интерфейсы с пересекающимися наборами методов.

Возвращаясь к реальной жизни давайте разберем пример типичного интерфейса:

package user

type Database interface {
    GetUser(userID uint64) (model.User, error)
}

И допустим у меня есть несколько других пакетов, из которые я тоже хочу доставать информацию о пользователе, поэтому нам необходимо встроить интерфейс user.Database в hardware.Database и тоже самое для wallet.Database:

package hardware

type Database interface {
    user.Database
    SaveDevice(usertID uint64, device model.Device) error
}

package wallet

type Database interface {
    user.Database
    ReadWallet(userID uint64) (model.Wallet, error)
}

Ну и классика жанра, прилетает задача где нужно создать интерфейс shopping.Database который должен в себе содержать методы hardware.Database и wallet.Database:

package shopping

type Database interface {
    wallet.Database
    hardware.Database
    Buy(userID uint64, deviceID uint64) error
}

И в go версии меньше чем go 1.14 мы получим ошибку:
Duplicate method GetUser(userID uint64) (model.User, error)
Если запустить go1.14rc1 run main.go то все будет ок 🎉

P.S. эта проблема была еще озвучена Алоном Донованом в 2013 году!!! [1]

Links:
[1] spec: allow embedding overlapping interfaces https://github.com/golang/go/issues/6977
[2] Proposal https://github.com/golang/proposal/blob/master/design/6977-overlapping-interfaces.md