Разгадка тайн соединения NULL-значений в SQL

Продолжим серию статей про особенности работы с #null 🙂 да, они ещё не закончились.

Одна из часто встречающихся проблем — непонимание как происходит JOIN таблиц с NULL-значениями. Давайте посмотрим на примерах.

Допустим у нас есть две таблицы:

user_names

us_id  name
1      Илья
2      Ольга
3      Null
Null   Null

user_roles

us_id  role
1      admin
2      user
3      user
Null   guest
Null   Null

INNER JOIN
Строки, для которых нет совпадения в обеих таблицах, исключаются из результирующего набора. В том числе, если в столбце, по которому происходит соединение, встречаются значения с NULL, эти строки будут исключены из результата, так как два NULL нельзя сравнить между собой.

SELECT u.us_id, r.us_id, name, role
FROM user_names u
INNER JOIN user_roles r ON u.us_id = r.us_id;

Результат:

u.us_id   r.ud_id  name   role
1         1        Илья   admin
2         2        Ольга  user
3         3        Null   user

LEFT JOIN
Возвращает все записи из левой таблицы (users_name) и соответствующие записи из правой таблицы (users_role).

SELECT u.us_id, r.us_id, name, role
FROM user_names u
LEFT JOIN user_roles r ON u.us_id = r.us_id;

Результат:

u.us_id   r.ud_id  name   role
1         1        Илья   admin
2         2        Ольга  user
3         3        Null   user
Null      Null     Null   Null

Здесь стоит отметить, что появившиеся Null в полях r.ud_id — не являются Null-значениями из таблицы users_role.

FULL JOIN
Возвращает все записи, включая совпадения в левой или правой таблице. Строки в любой из таблиц будут содержать NULL значения в столбцах из другой таблицы, в случае отсутствия совпадения по ключу.

SELECT u.us_id, r.us_id, name, role
FROM user_names u
FULL JOIN user_roles r ON u.us_id = r.us_id;

Результат:

u.us_id   r.ud_id  name   role
1         1        Илья   admin
2         2        Ольга  user
3         3        Null   user
Null      Null     Null   Null
Null      Null     Null   guest
Null      Null     Null   Null

Обратим внимание, что строки с NULL NULL повторяются дважды, так как они не равны друг другу и их нельзя объединить.

#sql #null

Не потеряйте себя, попав в вихрь IT-технологий

Практически всем нам в детстве внушали деструктивные и тревожные идеи "Без труда не вытащишь и рыбку из пруда", "Терпение и труд все перетрут", "Кто не работает, тот не ест" и другие. А современные реалии приправили это всё повальным трендом на "успешный успех". И вот мы попадаем в бесконечную гонку к новым вершинам, где страшно остановиться, ибо "сразу выпадешь на обочину". Особенно это актуально для молодых и амбициозных специалистов (под молодыми я имею ввиду отнюдь не возраст, а давность входа в специальность). Кажется что, если ты остановишься на минуту — мир рухнет.

Однако, реальность немного другая. Да, в мире IT важно держать руку на пульсе и быть в курсе последних технологий, и это отлично. Но не стоит забывать и о ментальном здоровье, о режиме работы и отдыха, то есть о набившем оскомину work-life balance. Баланс — ключ к сохранению физического и эмоционального здоровья без которых просто не имеет смысла всё остальное.

Опасность в том, что в стремлении удержаться на волне новых технологий мы упускаем из виду заботу о себе. И рано или поздно это может привести к хронической усталости, стрессу, а может и к серьезным заболеваниям.

Как себе помочь?
— Всегда выделяйте время "на себя" и то, что вас наполняет. Хобби, спорт, время с друзьями — не забывайте об этом, даже когда кажется, что вы ничего не успеваете на работе и дома. На вас не держится мир. Отдыхая, вы инвестируете в свою будущую продуктивность.
— Используйте различные техники тайм-менеджмента (pomodoro, таймблокинг и другие), и обязательно отдыхайте в перерывах, а не просто переключайтесь с задачи на задачу.
— Не превращайте свое свободное время в непрерывное обучение на проф.темы. Мир прекрасен и огромен, и ваш широкий кругозор тоже принесёт пользу.
— Изучайте новое из интереса, а не из обязанности. Даже в тех случаях, когда нужно изучить что-то скучное, выбирайте наиболее удобный способ обучения и не забывайте о перерывах.
— Не ругайте себя за периоды низкой проф. активности и время, проведенное "без явной пользы".
— Движение — жизнь. Как бы это ни звучало банально, много движения — прогулки, спорт, танцы или просто разминка — помогут вашему телу и мозгу.
— Уделяйте внимание здоровью и не игнорируйте "звоночки". Всегда проще и дешевле вылечить болезнь на ранней стадии. И нет, тело не подождёт.
— Сон — верный союзник. Ещё одна банальность, но как часто в погоне за продуктивностью, мы в первую очередь урезаем именно его. При этом сон — фундамент здоровья и хорошего самочувствия.
— Учитесь говорит "нет". Не бойтесь отказываться от лишних обязательств, чтобы избежать перегрузки.

Конечно же, не стоит впадать в крайности и полностью забивать на свои обязанности. Но если становится совсем невмоготу — будьте честны с собой и работодателем. Берите отпуск. Меняйте работу. Слушайте себя. Для "крайних" случаев можно послушать лекцию Ильи Якямсева "Эффективность не работает".

Берегите себя. С наступающим 2024 годом! 🎄

А блог тем временем уходит на зимние каникулы ☃️

#soft_skills

Путешествия во времени вместе со Snowflake

Одна из крутых функций Snowflake — это Time Travel, позволяющая "путешествовать во времени" для восстановления данных, которые были изменены или удалены в прошлом. Теперь уничтожить данные безвозвратно будет не так просто 😅

Основные возможности Time Travel
— Запрос данных из прошлого.
Можно выполнять запросы к данным, которые были обновлены или удалены. Это уникальная возможность анализа и восстановления информации на разных исторических этапах БД.

Пример запроса, вытягивающего исторические данные по состоянию на 10 минут назад:

SELECT * 
FROM table_name AT(OFFSET => -60*10);

— Создание клонов таблиц, схем и БД. Time Travel позволяет создавать клонированные копии на определенный момент в прошлом. Это полезно для анализа и восстановления состояния данных за конкретный временной отрезок.

Пример создания клона таблицы с указанной меткой времени:

CREATE TABLE restored_table CLONE table_name
  AT(TIMESTAMP => 'Fri, 29 Dec 2023 00:00:00 +0500'::timestamp_tz);

— Восстановление удаленных объектов. Теперь можно восстанавливать случайно удаленные таблицы, схемы и базы данных.

Пример просмотра удалённых таблиц:

SHOW TABLES HISTORY LIKE 'old%' IN db_name.schema_name;

Восстановление удалённой таблицы:

UNDROP TABLE table_name;

! Если объект с таким же именем уже есть в базе, то восстановление невозможно, необходимо переименовать новый объект до восстановления.

Как это работает?
Snowflake сохраняет состояние данных перед выполнением операций над ними.

Сколько хранятся данные?
Всё зависит от версии подписки на Snowflake. Для Standard срок хранения составляет всего 1 день. А для Enterprise-версии — от 1 до 90 дней для стандартных таблиц. Snowflake позволяет настроить срок хранения на уровне объекта.

Time Travel — это инструмент для обеспечения целостности и восстановления данных, который предоставляет уникальные возможности работы с исторической информацией.

Дополнительную информацию о функции Time Travel можно прочитать в доке.

#snowflake

NULL и агрегатные функции

И вновь разговоры про NULL. Особое внимание заслуживает работа с агрегатными функциями в выражениях, включающих NULL-значения.

NULL представляет собой отсутствие значения или неизвестное состояние, и поэтому добавляет сложности при взаимодействии с агрегатными функциями. Распространенной ошибкой является предположение, что NULL ведет себя как обычное значение. Но это не так!

Вернёмся к основам. Одним из фундаментальных аспектов SQL является трехзначная логика (3VL), различающая TRUE, FALSE и UNKNOWN. И при применении агрегатных функций к выражениям с NULL-значениями важно учитывать состояние UNKNOWN, которое вносит NULL. Ничего не понятно? 😁 Рассмотрим на конкретных примерах.

Предположим у нас есть таблица table_for_count:

column_1
49
60
NULL
12
50
11
NULL
5

select * from table_for_count

Результат: 8

select count(column_1) from table_for_count

Результат: 6 ☹️

В то время как COUNT(*) посчитает все строки, независимо от наличия значений NULL, COUNT(column_1) исключит в подсчёте строки, где указанный столбец равен NULL.

Аналогично, работают функции SUM, AVG, MAX и MIN. Я отдельно выделила AVG, чтобы вы обратили на него внимание.

table_for_avg:

column_2
1
NULL
2

select avg(column_2) from table_for_avg

Результат: 1.5 (в некоторых расчётах — это будет верным, но может быть и нет — учитывайте контекст запроса!)


Что делать?
Хорошая практика — использование функций COALESCE или NVL для замены NULL-значений на значения по умолчанию или определенные пользователем до применения агрегатной функции. Важно устанавливать значения осмысленно, иначе это внесёт ещё больше хаоса в результаты запроса.
Ещё один вариант — использование оператора CASE для создания условной логики и обработки NULL значений.
Выбор метода зависит от конкретной бизнес-задачи и, конечно же, СУБД (и не забывайте проверять план выполнения запроса для лучшего решения).

select count(coalesce(column_1, 0)) from table_for_count;

Результат: 8 😍

Отсутствие понимания взаимодействия агрегатных функций с выражениями, включающими NULL значения, может привести к появлению некачественной отчетности и интерпретации данных, что впоследствии подорвёт доверие ко всей аналитике. Поэтому будьте на чеку и учитывайте NULL-значения там, где это необходимо.

Другие заметки про работу с NULL-значениями можно найти по хэштегу 👇

#null

Pomodoro: когда время — наш союзник

Кто из нас не искал волшебный ключик к продуктивности? Часто кажется, что время начинает бежать быстрее, когда до дедлайна остается чуть меньше, чем ничего. И при этом отвлекающих факторов вокруг разом становится всё больше и мессенджеры разрываются от новых сообщений. Внимание расфокусируется, мы начинаем торопиться и совершать ошибки.

Что может повысить эффективность? Один из моих помощников — метод Pomodoro.

Идея проста — сосредоточенно работать по 25 минут, закрыв все отвлекающие чаты и поставив телефон в режим "Не беспокоить", затем делать короткий перерыв на 5-10 минут, а через несколько рабочих 25-минуток сделать большой перерыв в 15-20 минут. Эти интервалы названы «помидорами», по кухонному таймеру в форме помидора, который использовал создатель метода, Франческо Чирилло, когда был студентом.

Как это работает? Во-первых, 25 минут — идеальное время для сосредоточенной работы без отвлекающих факторов. Больше нашему мозгу уже сложновато. Во-вторых, короткие перерывы помогают отдохнуть и перезагрузиться, чтобы затем с новыми силами взяться за следующий «помидор». Не обязательно подчинять этому методу все 8 часов каждого своего рабочего дня — будьте гибкими.

Интересно, что метод Помодоро не просто учит нас работать с таймером. Он учит ценить каждую минуту, планировать и отдыхать с умом. Мы начинаем осознаннее подходить к своему времени и задачам, учимся разделять большие проекты на маленькие, более управляемые части. И это уже настоящее искусство.

А ещё, как и в случае с методом Утёнка о котором я писала ранее, Помодоро добавляет элемент игры в наш рабочий процесс. Как будто мы не просто выполняем задачу, а участвуем в каком-то захватывающем челлендже.

Если вы, как и я, иногда ощущаете спады эффективности, попробуйте метод Помодоро. Может оказаться, что именно эти 25-минутные интервалы — то, что нужно для буста вашей продуктивности 🚀

#soft_skills