Всем привет! Сегодня будет небольшой материал по Archero от Game refinery. Как-то раз я уже публиковал материал по archero ( https://yangx.top/product_gamedev/289 ), но сегодняшний выделяется тем, что разбирает механики игры, унаследованные от игр казино и слотов.
Почему этот момент так важен, на мой взгляд? Я на себе ощущал влияние данных механик и в итоге продержался около месяца в игре, несмотря на то что к core геймплею такого типа достаточно равнодушен. Данный подход использует проверенные наработки азартных игр для усиления удержания и в то же время вносит разнообразие в гринд, повышая реиграбельность.
Каждый раз начиная подземелье или получая новый уровень игрок получает на выбор одну из 3х способностей, ощутимо влияющих на проходжения. Способности накапливаются и создают синергию. После поражения они сбрасываются. Получение способности представляет собой однократный спин слотов и пока они крутятся игрок находится в предвкушении, надеясь что выпадет именно та способность, которая ему нужна.
Помимо этого есть возможность получать дополнительные награды находя местные аналоги колеса фортуны, где вращая рулетку игрок может получить дополнительные способности и ресурсы.
Находясь в мете игрок может прокачивать характеристики (таланты), но это опять же содержит фактор случайности. Нажав кнопку прокачать игрок наблюдает как таланты начинают подсвечиваться один за другим, делая это всё медленнее до тех пор, пока выделение не остановится на каком-то одном.
Источник(англ.): https://www.gamerefinery.com/archero-excels-in-engagement-by-creating-an-anticipation-for-rewards/
Почему этот момент так важен, на мой взгляд? Я на себе ощущал влияние данных механик и в итоге продержался около месяца в игре, несмотря на то что к core геймплею такого типа достаточно равнодушен. Данный подход использует проверенные наработки азартных игр для усиления удержания и в то же время вносит разнообразие в гринд, повышая реиграбельность.
Каждый раз начиная подземелье или получая новый уровень игрок получает на выбор одну из 3х способностей, ощутимо влияющих на проходжения. Способности накапливаются и создают синергию. После поражения они сбрасываются. Получение способности представляет собой однократный спин слотов и пока они крутятся игрок находится в предвкушении, надеясь что выпадет именно та способность, которая ему нужна.
Помимо этого есть возможность получать дополнительные награды находя местные аналоги колеса фортуны, где вращая рулетку игрок может получить дополнительные способности и ресурсы.
Находясь в мете игрок может прокачивать характеристики (таланты), но это опять же содержит фактор случайности. Нажав кнопку прокачать игрок наблюдает как таланты начинают подсвечиваться один за другим, делая это всё медленнее до тех пор, пока выделение не остановится на каком-то одном.
Источник(англ.): https://www.gamerefinery.com/archero-excels-in-engagement-by-creating-an-anticipation-for-rewards/
Последнее время не подворачивалось достойных материалов, но неожиданно помогли ребята из apple, решив что самый подходящий момент усложнить жизнь разработчикам. Изменения коснутся всех, кто зарабатывает на показе рекламы или привлекает пользователей в том или ином виде используя IDFA. За основу возьму материал от Deconstructor of Fun.
Начиная iOS 14 разработчики обязаны будут спрашивать пользователя о том согласен ли он на трекинг рекламного идентификатора. Согласно данному исследованию в лучшем случае стоит рассчитывать, что треть пользователей согласится на это и как следствие трекинг пользователя по IDFA утратит эффективность, что нанесет удар по маркетинговым кампаниям.
Расчет ROAS (возврат инвестиций в рекламу) также становится достаточно ненадежным, поскольку нет точных методов оценить стоимость показа каждого ролика.
В Apple подготовили специльный sdk для работы с рекламой - SKAadNetwork. Пока всё выглядит довольно сыро и непроработанно. Разработчики получат самый минимум информации и должны будут всё больше полагаться на алгоритмы сеток, к которым и раньше были вопросы. Из своей практики могу сказать, что вопросы далеко не беспочвенные.
Facebook’s Value Optimization потеряет эффективность, для оценки траффика будет 24 часа, за которые нужно сконвертить пользователя (в активацию или платеж), что скажется на кампаниях, ориентированных на позднюю монетизацию.
Разделить органику и закупленных пользователей будет практически невозможно.
Ретаргетинг значительно усложнится, подталкивая разработчиков к тому, чтобы вводить собственную авторизацию между своими проектами и собирая email пользователей.
Что делать?
- подготовить окно запроса разрешения для IDFA так, чтобы конверсия была максимальна (можно использовать все те практики, которые применялись для поднятия окна оценки)
- быть готовыми регулярно выпускать апдейты с новыми версиями SDK ( SKAadNetwork )
- собирать контактные данные пользователей для возможности связаться с ними
- держать руку на пульсе и следить за изменениями
- продолжать работать с google play, где пока не произошли подобные изменения
Еще материалы по теме: https://mobiledevmemo.com/mobile-advertising-without-the-idfa-a-comprehensive-overview/
Источник(англ.): https://www.deconstructoroffun.com/blog/2020/8/25/idfa-what-your-company-needs-to-do-yesterday
Начиная iOS 14 разработчики обязаны будут спрашивать пользователя о том согласен ли он на трекинг рекламного идентификатора. Согласно данному исследованию в лучшем случае стоит рассчитывать, что треть пользователей согласится на это и как следствие трекинг пользователя по IDFA утратит эффективность, что нанесет удар по маркетинговым кампаниям.
Расчет ROAS (возврат инвестиций в рекламу) также становится достаточно ненадежным, поскольку нет точных методов оценить стоимость показа каждого ролика.
В Apple подготовили специльный sdk для работы с рекламой - SKAadNetwork. Пока всё выглядит довольно сыро и непроработанно. Разработчики получат самый минимум информации и должны будут всё больше полагаться на алгоритмы сеток, к которым и раньше были вопросы. Из своей практики могу сказать, что вопросы далеко не беспочвенные.
Facebook’s Value Optimization потеряет эффективность, для оценки траффика будет 24 часа, за которые нужно сконвертить пользователя (в активацию или платеж), что скажется на кампаниях, ориентированных на позднюю монетизацию.
Разделить органику и закупленных пользователей будет практически невозможно.
Ретаргетинг значительно усложнится, подталкивая разработчиков к тому, чтобы вводить собственную авторизацию между своими проектами и собирая email пользователей.
Что делать?
- подготовить окно запроса разрешения для IDFA так, чтобы конверсия была максимальна (можно использовать все те практики, которые применялись для поднятия окна оценки)
- быть готовыми регулярно выпускать апдейты с новыми версиями SDK ( SKAadNetwork )
- собирать контактные данные пользователей для возможности связаться с ними
- держать руку на пульсе и следить за изменениями
- продолжать работать с google play, где пока не произошли подобные изменения
Еще материалы по теме: https://mobiledevmemo.com/mobile-advertising-without-the-idfa-a-comprehensive-overview/
Источник(англ.): https://www.deconstructoroffun.com/blog/2020/8/25/idfa-what-your-company-needs-to-do-yesterday
Всем привет! Давно не было постов чисто продуктовой тематики, поэтому внесу немного разнообразия. Недавно прослушал доклад Юрия Дрогана о фреймворке Jobs to Be Done и нашел несколько моментов, которые, на мой взгляд, могут быть полезны. Несмотря на то, что фреймворк не новый, многие применяют его неправильно.
Одна из самых частых ошибок — плохо определенные задачи пользователя. Задачи клиента не должны включать в себя готовые решения. Например, задача «покупать продукты рядом» включает в себя решение — рядом. Также задачи клиента не должны включать слова «быстро», «дешево», «качественно», «надежно». Нет таких клиентов, которые сказали бы: «А можно мне похуже, помедленнее и т.д.».
Формат задачи должен быть: глагол+объект/предмет+контекст. Например: управлять расходами семьи.
Первое, с чего нужно начинать любое JTBD исследование — разобраться, какую задачу решает ваш продукт. Важно уметь думать не на уровне продукта, а на уровне задачи пользователя. Если пользователь говорит «я хочу поменять кнопку», просто спросите: а какую глобальную задачу вы хотите решить?
Еще один важный инсайт: ценность — это когда вы забираете задачу пользователя, предлагая более простую работу. Например, найдя проблему «запутанные провода наушников», не изобретайте распутыватель наушников — предложите людям AirPods :)
Если любопытна данная тема рекомендую посмотреть полностью.
Если лень смотреть весь доклад, подпишитесь на канал @epicgrowth — один из каналов, которые читаю сам. Суть из докладов ребята сокращают до размера поста, что очень круто.
Источник: https://bit.ly/3jqRebD
Одна из самых частых ошибок — плохо определенные задачи пользователя. Задачи клиента не должны включать в себя готовые решения. Например, задача «покупать продукты рядом» включает в себя решение — рядом. Также задачи клиента не должны включать слова «быстро», «дешево», «качественно», «надежно». Нет таких клиентов, которые сказали бы: «А можно мне похуже, помедленнее и т.д.».
Формат задачи должен быть: глагол+объект/предмет+контекст. Например: управлять расходами семьи.
Первое, с чего нужно начинать любое JTBD исследование — разобраться, какую задачу решает ваш продукт. Важно уметь думать не на уровне продукта, а на уровне задачи пользователя. Если пользователь говорит «я хочу поменять кнопку», просто спросите: а какую глобальную задачу вы хотите решить?
Еще один важный инсайт: ценность — это когда вы забираете задачу пользователя, предлагая более простую работу. Например, найдя проблему «запутанные провода наушников», не изобретайте распутыватель наушников — предложите людям AirPods :)
Если любопытна данная тема рекомендую посмотреть полностью.
Если лень смотреть весь доклад, подпишитесь на канал @epicgrowth — один из каналов, которые читаю сам. Суть из докладов ребята сокращают до размера поста, что очень круто.
Источник: https://bit.ly/3jqRebD
Всем привет! Сегодняшний пост, посвященный подпискам, подготовил для вас мой коллега - Юрий Чумаченко.
Подписка внутри бесплатных игр не нова, но в мобильных играх стала популярной относительно недавно. Ребята из gamerefinery решили разобрать возможные способы реализации данного инструмента на разных этапах игры, начиная со стадии знакомства с игрой и заканчивая суперюзерами.
Для новичков - моментальные награды, которые помогут повысить конверсию за счет выгоды здесь и сейчас. Например, пробный период подписки, где предлагают получать награды сразу без просмотра рекламы или открывают доступ к расширенной коллекции внутриигровых предметов, уровней на ограниченное время (пример: Paint.ly). Все это позволяет вызвать позитивные эмоции у игрока и выработать привычку использовать подписку для комфортной игры.
Для регулярных игроков - повторяющиеся награды, которые тесно связаны с базовым игровым циклом. Увеличенный опыт, валюта, расходники и любые другие ресурсы в конце каждого игрового цикла, а также дополнительные квесты, испытания, дейлики для подписчиков. Для не подписчиков, конечно же, стоит показывать сколько они могли бы получить в конце каждого игрового цикла, если бы подписка была активна. Отличный пример - match3 паззл Tootsie POP.
Для возвращающихся игроков - долгосрочные награды, которые помогут быстрее прогрессировать внутри игры и вызовут желание возвращаться, чтобы обновить доступные бонусы. Например, получение дивидендов с накопленной валюты (механика свиней копилок), упрощение гринда для игрока (дополнительное место в инвентаре, автоматизация сбора ресурсов и их пополнения). Все эти элементы отлично реализованы и работают в мобильной ферме ZooCraft.
Для ветеранов- награды, которые повышают социальный статус игроков внутри игры. Прогрессивные скидки в магазине для подписчиков, которые часто тратят деньги, позволят им чувствовать свою особенность даже внутри игрового банка. Эксклюзивные соревнования и клановые войны, доступные только для подписчиков. Расширенные возможности кастомизации и косметики, которые помогут отразить VIP статус игрока. Можно рассмотреть даже ранний доступ к новым внутриигровым механикам или фичам и эксклюзивные бета-тесты среди подписчиков. Хороший пример реализации эксклюзивных соревнований для подписчиков - Heroes of Warland.
Можно с уверенностью сказать, что при грамотной реализации данной модели, возможно как удовлетворить большинство игроков на разных этапах игры, так и положительно повлиять на монетизацию проекта.
Источник(англ.): https://www.gamerefinery.com/how-to-design-a-world-class-subscription-offer-for-mobile-f2p-games/
Подписка внутри бесплатных игр не нова, но в мобильных играх стала популярной относительно недавно. Ребята из gamerefinery решили разобрать возможные способы реализации данного инструмента на разных этапах игры, начиная со стадии знакомства с игрой и заканчивая суперюзерами.
Для новичков - моментальные награды, которые помогут повысить конверсию за счет выгоды здесь и сейчас. Например, пробный период подписки, где предлагают получать награды сразу без просмотра рекламы или открывают доступ к расширенной коллекции внутриигровых предметов, уровней на ограниченное время (пример: Paint.ly). Все это позволяет вызвать позитивные эмоции у игрока и выработать привычку использовать подписку для комфортной игры.
Для регулярных игроков - повторяющиеся награды, которые тесно связаны с базовым игровым циклом. Увеличенный опыт, валюта, расходники и любые другие ресурсы в конце каждого игрового цикла, а также дополнительные квесты, испытания, дейлики для подписчиков. Для не подписчиков, конечно же, стоит показывать сколько они могли бы получить в конце каждого игрового цикла, если бы подписка была активна. Отличный пример - match3 паззл Tootsie POP.
Для возвращающихся игроков - долгосрочные награды, которые помогут быстрее прогрессировать внутри игры и вызовут желание возвращаться, чтобы обновить доступные бонусы. Например, получение дивидендов с накопленной валюты (механика свиней копилок), упрощение гринда для игрока (дополнительное место в инвентаре, автоматизация сбора ресурсов и их пополнения). Все эти элементы отлично реализованы и работают в мобильной ферме ZooCraft.
Для ветеранов- награды, которые повышают социальный статус игроков внутри игры. Прогрессивные скидки в магазине для подписчиков, которые часто тратят деньги, позволят им чувствовать свою особенность даже внутри игрового банка. Эксклюзивные соревнования и клановые войны, доступные только для подписчиков. Расширенные возможности кастомизации и косметики, которые помогут отразить VIP статус игрока. Можно рассмотреть даже ранний доступ к новым внутриигровым механикам или фичам и эксклюзивные бета-тесты среди подписчиков. Хороший пример реализации эксклюзивных соревнований для подписчиков - Heroes of Warland.
Можно с уверенностью сказать, что при грамотной реализации данной модели, возможно как удовлетворить большинство игроков на разных этапах игры, так и положительно повлиять на монетизацию проекта.
Источник(англ.): https://www.gamerefinery.com/how-to-design-a-world-class-subscription-offer-for-mobile-f2p-games/
Не часто попадаются материалы по успешному применению UX-исследований в геймдеве, так что этот будет скорее исключением.
История началась с того, что один из создателей игры HAWK продемонстрировал её на собеседовании одному из кандидатов и получил негативный фидбек. Парень сказал, что пробовал, но игра показалась ему скучной, в отличие от игры конкурентов. Стоит заметить что HAWK в тот момент демонстрировала лучший ретеншн и ltv, чем игра конкурента.
Ребята оказались в неоднозначной ситуации, с одной стороны никаких предпосылок со стороны цифр не было, для того, чтобы утверждать, что проблема существует, с другой этот отзыв не давал им покоя.
Решили провести UX исследование, суть заключалась в том, что группе игроков давали в случайном порядке сыграть в HAWK и в 2 игры конкурентов (Sky Force Reloaded и Fastlane: Road to Revenge) по 15 минут, а после этого пройти опросники - Game Experience Questionnaire и Microsoft Desirability Toolkit.
Результат подтвердил гипотезу - их игру признавали скучной чаще, чем игры конкурентов. Распределение негативных к позитивным отзывам:
HAWK 3.13/5.63
Sky Force 4.78/7.3
Fastlane 5.83/6.45
И хотя соотношение у HAWK было хуже, чем у остальных конкурентов, значение негативных отзывов было минимальным. То есть игра вызывала меньше всех сильных эмоций.
Другие показатели, которые для себя ребята вынесли из исследования Flow, Tension и Challenge. Из них Flow (способность захватить внимание игрока и удерживать) был максимальным, а остальные 2 уступали конкурентам.
Всё это выглядело как потенциальная точка роста, но было проблематично формализовать ее и донести до команды. Особенно команду смущало то, что они пытаются чинить то, что по факту не сломано, все видели показатели и не понимали зачем нужно что-то менять.
В итоге в результате долгих обсуждений пришли к тому, что решили обрезать тутор и сделать его частью первого реального боя в игре, а также минимизировать взаимодействие игрока с интерфейсами вне боя. И это дало результат - при повторном UX исследовании не было комментариев на тему того, что игра скучная, более того количество положительных отзывов сильно возросло по сравнению с конкурентами.
Но самый главный эффект это рост ретеншна: первый день вырос с 41 до 46%, седьмой с 16 до 17%, независимо от платформы и гео.
Источник(англ.): https://www.gamesindustry.biz/articles/2018-06-04-hawks-retention-case-study
История началась с того, что один из создателей игры HAWK продемонстрировал её на собеседовании одному из кандидатов и получил негативный фидбек. Парень сказал, что пробовал, но игра показалась ему скучной, в отличие от игры конкурентов. Стоит заметить что HAWK в тот момент демонстрировала лучший ретеншн и ltv, чем игра конкурента.
Ребята оказались в неоднозначной ситуации, с одной стороны никаких предпосылок со стороны цифр не было, для того, чтобы утверждать, что проблема существует, с другой этот отзыв не давал им покоя.
Решили провести UX исследование, суть заключалась в том, что группе игроков давали в случайном порядке сыграть в HAWK и в 2 игры конкурентов (Sky Force Reloaded и Fastlane: Road to Revenge) по 15 минут, а после этого пройти опросники - Game Experience Questionnaire и Microsoft Desirability Toolkit.
Результат подтвердил гипотезу - их игру признавали скучной чаще, чем игры конкурентов. Распределение негативных к позитивным отзывам:
HAWK 3.13/5.63
Sky Force 4.78/7.3
Fastlane 5.83/6.45
И хотя соотношение у HAWK было хуже, чем у остальных конкурентов, значение негативных отзывов было минимальным. То есть игра вызывала меньше всех сильных эмоций.
Другие показатели, которые для себя ребята вынесли из исследования Flow, Tension и Challenge. Из них Flow (способность захватить внимание игрока и удерживать) был максимальным, а остальные 2 уступали конкурентам.
Всё это выглядело как потенциальная точка роста, но было проблематично формализовать ее и донести до команды. Особенно команду смущало то, что они пытаются чинить то, что по факту не сломано, все видели показатели и не понимали зачем нужно что-то менять.
В итоге в результате долгих обсуждений пришли к тому, что решили обрезать тутор и сделать его частью первого реального боя в игре, а также минимизировать взаимодействие игрока с интерфейсами вне боя. И это дало результат - при повторном UX исследовании не было комментариев на тему того, что игра скучная, более того количество положительных отзывов сильно возросло по сравнению с конкурентами.
Но самый главный эффект это рост ретеншна: первый день вырос с 41 до 46%, седьмой с 16 до 17%, независимо от платформы и гео.
Источник(англ.): https://www.gamesindustry.biz/articles/2018-06-04-hawks-retention-case-study
Всем привет! Сегодня еще один любопытный перевод статьи от моего коллеги Юрия Чумаченко, на тему трендов в казуальных играх.
Ни для кого не секрет, что жанр матч3 головоломок сейчас занимает не маленькую часть от всего рынка казуальных игр ($3.5 млрд из $8.1 млрд за 2019 год).
И тем не менее, жанр постепенно эволюционирует и заметно видоизменяется. Началось все с того, что части аудитории с момента первого успеха Candy Crash Saga успели приесться механики игры и огромное количество однотипных подражателей.
Чтобы привлечь новичков и расшевелить старую аудиторию, некоторые разработчики успешно интегрировали в свои игры проработанный сюжет, ярких персонажей, декорирование или даже гача механики (Homescapes, Empires&Puzzles).
Это уже стало новым стандартом для казуальных паззлов новой волны, но что дальше? Игроки достаточно быстро привыкают ко всему хорошему и продолжают требовать новых и интересных решений от разработчиков. В первую очередь, об этом нам говорит исследование от GameRefinery, в котором виден значительный рост популярности бласт игр (рост популярности в два раза за период 2018-2020г с 11% до 22%) и постепенного снижения популярности матч3 игр (с 63% до 59% за тот же период).
В качестве объяснения можно предложить гипотезы, связанные с их очевидными отличиями:
1) Бласт механика более интуитивна и проще играется. Физически легче тапать по экрану и визуально намного легче отличить паттерны на бласт поле, чем в матч3.
2) Бласт механика более предсказуема, поскольку в игре нет авто-матчей и игроку легче планировать ходы и контролировать поле.
3) Ожидание следующего хода меньше по сравнению с матч3 играми, опять же из-за отсутствия авто-матчей, которые забирают у игрока время.
В целом, игровой цикл в матч3 играх второй волны увеличился за счет моря катсцен, анимаций персонажей, декорирования и т.д. Из-за этого, казуалки, которые ценились за короткие сессии и низкий порог вхождения, перестают быть такими удобными. Более того, мета игра постепенно начала конкурировать с самой матч3 за первое место в игровом цикле. Люди больше уделяют внимание декорированию или прогрессу в ивенте, а мини-игры воспринимают просто как способ фарма софт валюты для дальнейшей прогрессии. И чем проще эти мини-игры, тем больше радуются игроки.
В итоге, мы имеем несколько потенциальных трендов развития казуальных игр:
1) Матч3 постепенно уступает бласт механикам, поскольку бласт требует меньше психических и физических усилий от игрока
2) Мета игра обходит по важности главную механику головоломки, поскольку игрок чувствует прогресс и получает удовольствие от декорирования и прохождения ивентов больше, чем от решения головоломок.
3) Разработчики буду ускорять игровой цикл игрока не жертвуя метой, а упрощая геймплей самих головоломок
Источник(англ.): https://medium.com/ironsource-levelup/how-to-crack-the-match-3-code-part-1-f64e9886f266
Ни для кого не секрет, что жанр матч3 головоломок сейчас занимает не маленькую часть от всего рынка казуальных игр ($3.5 млрд из $8.1 млрд за 2019 год).
И тем не менее, жанр постепенно эволюционирует и заметно видоизменяется. Началось все с того, что части аудитории с момента первого успеха Candy Crash Saga успели приесться механики игры и огромное количество однотипных подражателей.
Чтобы привлечь новичков и расшевелить старую аудиторию, некоторые разработчики успешно интегрировали в свои игры проработанный сюжет, ярких персонажей, декорирование или даже гача механики (Homescapes, Empires&Puzzles).
Это уже стало новым стандартом для казуальных паззлов новой волны, но что дальше? Игроки достаточно быстро привыкают ко всему хорошему и продолжают требовать новых и интересных решений от разработчиков. В первую очередь, об этом нам говорит исследование от GameRefinery, в котором виден значительный рост популярности бласт игр (рост популярности в два раза за период 2018-2020г с 11% до 22%) и постепенного снижения популярности матч3 игр (с 63% до 59% за тот же период).
В качестве объяснения можно предложить гипотезы, связанные с их очевидными отличиями:
1) Бласт механика более интуитивна и проще играется. Физически легче тапать по экрану и визуально намного легче отличить паттерны на бласт поле, чем в матч3.
2) Бласт механика более предсказуема, поскольку в игре нет авто-матчей и игроку легче планировать ходы и контролировать поле.
3) Ожидание следующего хода меньше по сравнению с матч3 играми, опять же из-за отсутствия авто-матчей, которые забирают у игрока время.
В целом, игровой цикл в матч3 играх второй волны увеличился за счет моря катсцен, анимаций персонажей, декорирования и т.д. Из-за этого, казуалки, которые ценились за короткие сессии и низкий порог вхождения, перестают быть такими удобными. Более того, мета игра постепенно начала конкурировать с самой матч3 за первое место в игровом цикле. Люди больше уделяют внимание декорированию или прогрессу в ивенте, а мини-игры воспринимают просто как способ фарма софт валюты для дальнейшей прогрессии. И чем проще эти мини-игры, тем больше радуются игроки.
В итоге, мы имеем несколько потенциальных трендов развития казуальных игр:
1) Матч3 постепенно уступает бласт механикам, поскольку бласт требует меньше психических и физических усилий от игрока
2) Мета игра обходит по важности главную механику головоломки, поскольку игрок чувствует прогресс и получает удовольствие от декорирования и прохождения ивентов больше, чем от решения головоломок.
3) Разработчики буду ускорять игровой цикл игрока не жертвуя метой, а упрощая геймплей самих головоломок
Источник(англ.): https://medium.com/ironsource-levelup/how-to-crack-the-match-3-code-part-1-f64e9886f266
На днях дал небольшое интервью для ребят из @productstar о том, как пришел в геймдев, нюансах работы, выгорании и всяком таком
⚡️ Продакт-менеджмент: выгорание, вдохновение
⚡️ Продакт-менеджмент: выгорание, вдохновение
Яндекс Дзен
Продакт-менеджмент: выгорание, вдохновение и pet-проекты
Сегодня команда ProductStar подготовила для вас интервью с Андреем Дельцовым, Head of Product в PlayFlock, и автором тг-канала Product in Gamedev.
Последнее время много накопилось материалов по казуалкам, в особенности по матч3, так что начну с одного из них, посвященного live ops в homescapes. А в дальнейшем рассмотрим как в целом ребята решают проблему развития аналогичных продуктов в эпоху второй волны игр в жанре три в ряд.
За годы существования игры наиболее заметные изменения игры коснулись меты, а именно добавления ивентов. Основным источником доходов матч3 игры является продажа докупок ходов на уровнях (+5 ходов) при поражении, следовательно этот источник дохода является наиболее эффективной потенциальной точкой роста, поскольку любой положительный результат будет иметь прямое влияние на доход проекта. Собственно по этой причине многие ивенты, приведенные ниже автором материала служат одной цели - лучше провоцировать игрока на докупку ходов, увеличивая цену поражения.
Ивенты делятся на повторяющиеся (имеют четкое расписание, регулярно показываются игроку) и сезонные (привязаны к определенным датам).
Игроки оповещаются о предстоящих ивентов внутриигровыми письмами, постами на страницах игры в соц сетях и в описаниях обновлений.
Повторяющиеся ивенты (на примере расписания апреля 2020).
Приключения Флинта - ивент на прохождение уровней без поражений, за каждые несколько побед игрок получает бустеры на старте уровней. Штраф за поражение - откат к меньшему количеству бустеров. По этому и дальнейшим ивентам информацию всегда можно найти в первоисточнике ( https://playrix.helpshift.com/a/homescapes/?p=web&s=in-game-events&l=ru ) и посмотреть как играется в youtube, особенно если есть вопросы по реализации, а по временным рамкам нет возможности дождаться старта.
Время десерта - игрок проходит уровни, получает награды за N пройденных. Награды не зависят от количества затраченных попыток, но время ивента ограничено.
Генератор самолетиков - снова ивент винстрик типа, где нужно заряжать генератор бустеров взрывая бусты на поле. Штраф за поражение - генератор выключается до тех пор, пока игрок не победит на уровне.
Высший пилотаж - ивент-соревнование где игроки соревновуются в количестве запущенных бустеров-самолетиков. Время ограничено, топ10 получают особые награды и все получают награду за участие.
Сундук союза - командный ивент, где игроки соревнуются в количестве набранных корон с другими командами. Короны начисляются за победу на уровне. Награду получают все игроки команды.
Все эти ивенты расписаны по дням недели. Обычно начиная с понедельника вовлеченность игроков самая низкая и постепенно возрастает к выходным.
Поэтому чтобы простимулировать вовлеченность в начале недели простой ивент с наградой в виде бесокнечных уровней отлично подходит (Время десерта).
Когда приближаются выходные фокус смещается на соревновательные ивенты, как одиночный турнир, так командный, провоцируя игроков запрашивать и отправлять жизни.
В дополнение к регулярным еженедельным ивентам в игре используется батл пасс, ивент в котором игрок в течение сезона получает награды за прогресс по ивенту. Прогресс измеряется очками, которые игрок получает за прохождение уровней. И вновь количество очков зависит от того, с какой попытки игрок пройдет уровень. Награды за БП имеют бесплатную линейку и платную, которая является дополнительным источником монетизации и стимулирует ретеншн плательщиков.
В итоге мы получаем игрока, для которого поражение будет стоит не только потери жизни, но и потери заряда генератора, дополнительых стартовых бустов, накопленных самолетиков для персонального турнира, короны для команды, да еще и урезания количетства очков для БП, полученных за уровень.
Резюмируя могу сказать, это хоть и простой, но очень хороший пример для внедрения live ops в вашу игру, независимо от жанра.
Определите свой наиболее сильный источник дохода и создайте условия, чтобы игрок нуждался в нем еще больше.
Источник(англ.): https://medium.com/ironsource-levelup/homescapes-is-a-masterclass-in-creating-an-event-framework-8276fa95dd92
За годы существования игры наиболее заметные изменения игры коснулись меты, а именно добавления ивентов. Основным источником доходов матч3 игры является продажа докупок ходов на уровнях (+5 ходов) при поражении, следовательно этот источник дохода является наиболее эффективной потенциальной точкой роста, поскольку любой положительный результат будет иметь прямое влияние на доход проекта. Собственно по этой причине многие ивенты, приведенные ниже автором материала служат одной цели - лучше провоцировать игрока на докупку ходов, увеличивая цену поражения.
Ивенты делятся на повторяющиеся (имеют четкое расписание, регулярно показываются игроку) и сезонные (привязаны к определенным датам).
Игроки оповещаются о предстоящих ивентов внутриигровыми письмами, постами на страницах игры в соц сетях и в описаниях обновлений.
Повторяющиеся ивенты (на примере расписания апреля 2020).
Приключения Флинта - ивент на прохождение уровней без поражений, за каждые несколько побед игрок получает бустеры на старте уровней. Штраф за поражение - откат к меньшему количеству бустеров. По этому и дальнейшим ивентам информацию всегда можно найти в первоисточнике ( https://playrix.helpshift.com/a/homescapes/?p=web&s=in-game-events&l=ru ) и посмотреть как играется в youtube, особенно если есть вопросы по реализации, а по временным рамкам нет возможности дождаться старта.
Время десерта - игрок проходит уровни, получает награды за N пройденных. Награды не зависят от количества затраченных попыток, но время ивента ограничено.
Генератор самолетиков - снова ивент винстрик типа, где нужно заряжать генератор бустеров взрывая бусты на поле. Штраф за поражение - генератор выключается до тех пор, пока игрок не победит на уровне.
Высший пилотаж - ивент-соревнование где игроки соревновуются в количестве запущенных бустеров-самолетиков. Время ограничено, топ10 получают особые награды и все получают награду за участие.
Сундук союза - командный ивент, где игроки соревнуются в количестве набранных корон с другими командами. Короны начисляются за победу на уровне. Награду получают все игроки команды.
Все эти ивенты расписаны по дням недели. Обычно начиная с понедельника вовлеченность игроков самая низкая и постепенно возрастает к выходным.
Поэтому чтобы простимулировать вовлеченность в начале недели простой ивент с наградой в виде бесокнечных уровней отлично подходит (Время десерта).
Когда приближаются выходные фокус смещается на соревновательные ивенты, как одиночный турнир, так командный, провоцируя игроков запрашивать и отправлять жизни.
В дополнение к регулярным еженедельным ивентам в игре используется батл пасс, ивент в котором игрок в течение сезона получает награды за прогресс по ивенту. Прогресс измеряется очками, которые игрок получает за прохождение уровней. И вновь количество очков зависит от того, с какой попытки игрок пройдет уровень. Награды за БП имеют бесплатную линейку и платную, которая является дополнительным источником монетизации и стимулирует ретеншн плательщиков.
В итоге мы получаем игрока, для которого поражение будет стоит не только потери жизни, но и потери заряда генератора, дополнительых стартовых бустов, накопленных самолетиков для персонального турнира, короны для команды, да еще и урезания количетства очков для БП, полученных за уровень.
Резюмируя могу сказать, это хоть и простой, но очень хороший пример для внедрения live ops в вашу игру, независимо от жанра.
Определите свой наиболее сильный источник дохода и создайте условия, чтобы игрок нуждался в нем еще больше.
Источник(англ.): https://medium.com/ironsource-levelup/homescapes-is-a-masterclass-in-creating-an-event-framework-8276fa95dd92
Всем привет! Сегодня несколько любопытных моментов из материала с прошлогодней конференции Матемаркетинг, где выступал Владимир Агарев, геймдизайнер с сильным математическим и аналитическим бэкграундом, с которым мне довелось как-то поработать на заре своей карьеры. С теоретической частью можно ознакомиться в источнике, для поста оставил практические кейсы.
Тестирование по методу Сида Мейера.
Суть: если мы меняем какой-то параметр очень сильно, к примеру в 2 раза, то в сжатые сроки можем оценить его влияние на основные метрики продукта. Ребята использовали его на гипотезе, что источник soft валюты слишком выгодный. Попробовали порезать его на 25% и 50%. Запустили тест экономики, оценили ретеншн и LTV. 50% вариант показал себя хуже, чем 25% за счет удара по ретеншну(игрокам на старте просто не хватало валюты). Но те, кто попал в вариант с 25% возвращались также, но при это больше докупали, либо увеличили сессии, чтобы больше добывать. LTV вырос на 15-20%.
Основными противопоказаниями для подобных тестов является наличие старой платящей аудитории, которая может покинуть проект если игра изменится в сторону усложнения или сплоченное комьюнити, которое может также начать воспринимать изменения в штыки.
Ивент на удвоение очков в PvP соревнованиях. Чтобы подстегнуть игроков больше играть и тратить можно запускать временный ивент на удвоение очков, получаемых за какую-нибудь активность, в которой соревнуются игроки. К примеру сбор элементов одного цвета в матч3. Суть в том, чтобы удвоение сделать для всех участвующих, психологически они начинают ощущать выгоду, при этом баланс и экономика не страдают, поскольку удвоение происходит у всех. Revenue на время ивента возрастало в 1.5-2 раза.
Плюс данного ивента в том, что при его использовании практически не было похмелья - состояния когда игрок перестает платить или играть после ивента на некоторый промежуток времени.
Еще один ивент, который хорошо показал себя без сильного эффекта похмелья - аналог башни из энгри бердс 2, где игрок выбирает на каждом этаже одну из 4х карт, за 3мя находится награда, за одной поражение. Игрок может уйти в любой момент, но в случае если вытащил карту поражения - должен заплатить, чтобы забрать награды. Суть баланса ивента состоит в том, чтобы стоимость поражения по отношению к ресурсам по своей сути превращала его в продажу этих ресурсов со скидкой в 20%. Опять же ивент практически не имеет похмелья и заходил игрокам.
Ивент на продажу определенного количества хард валюты (общий банк). Берется сумма, к примеру миллион валюты, делается доступной для покупки игроками с большой выгодой относительно других предложений, но количество этой валюты строго ограничено. В итоге каждый игрок покупая видит, как убывает количество и уменьшается шанс купить со скидкой, что провоцирует покупать его больше за счет чувства упущенной выгоды. Очень хорошо стимулирует продажи, но характеризуется довольно сильным похмельем.
Эффект на LTV от внедрения live ops в игру в принципе усредненно Владимир оценивает в 30%. Баланс в оперировании сводится к тому, чтобы определить некую норму валют на руках у игрока, следить за отклонениями от неё, компенсировать нехватку предложениями со скидкой и вымывать избыток за счет ивентов и продажи ресурсов.
Источник(рус., 30 мин.): https://www.youtube.com/watch?v=jxTiIXnwsHg
Кстати пара слов насчет самой конференции. Очень любопытный ивент с большим количеством материалов по продутку и аналитике. Ребята очень скоро планируют Матемаркетинг-2020 в онлайне (9−13 ноября). Недавно общался с ними, для желающих поучаствовать предоставили промокод на скидку в 10% - gamedev
Зарегистрироваться можно тут - https://bit.ly/2HU3AM1
Тестирование по методу Сида Мейера.
Суть: если мы меняем какой-то параметр очень сильно, к примеру в 2 раза, то в сжатые сроки можем оценить его влияние на основные метрики продукта. Ребята использовали его на гипотезе, что источник soft валюты слишком выгодный. Попробовали порезать его на 25% и 50%. Запустили тест экономики, оценили ретеншн и LTV. 50% вариант показал себя хуже, чем 25% за счет удара по ретеншну(игрокам на старте просто не хватало валюты). Но те, кто попал в вариант с 25% возвращались также, но при это больше докупали, либо увеличили сессии, чтобы больше добывать. LTV вырос на 15-20%.
Основными противопоказаниями для подобных тестов является наличие старой платящей аудитории, которая может покинуть проект если игра изменится в сторону усложнения или сплоченное комьюнити, которое может также начать воспринимать изменения в штыки.
Ивент на удвоение очков в PvP соревнованиях. Чтобы подстегнуть игроков больше играть и тратить можно запускать временный ивент на удвоение очков, получаемых за какую-нибудь активность, в которой соревнуются игроки. К примеру сбор элементов одного цвета в матч3. Суть в том, чтобы удвоение сделать для всех участвующих, психологически они начинают ощущать выгоду, при этом баланс и экономика не страдают, поскольку удвоение происходит у всех. Revenue на время ивента возрастало в 1.5-2 раза.
Плюс данного ивента в том, что при его использовании практически не было похмелья - состояния когда игрок перестает платить или играть после ивента на некоторый промежуток времени.
Еще один ивент, который хорошо показал себя без сильного эффекта похмелья - аналог башни из энгри бердс 2, где игрок выбирает на каждом этаже одну из 4х карт, за 3мя находится награда, за одной поражение. Игрок может уйти в любой момент, но в случае если вытащил карту поражения - должен заплатить, чтобы забрать награды. Суть баланса ивента состоит в том, чтобы стоимость поражения по отношению к ресурсам по своей сути превращала его в продажу этих ресурсов со скидкой в 20%. Опять же ивент практически не имеет похмелья и заходил игрокам.
Ивент на продажу определенного количества хард валюты (общий банк). Берется сумма, к примеру миллион валюты, делается доступной для покупки игроками с большой выгодой относительно других предложений, но количество этой валюты строго ограничено. В итоге каждый игрок покупая видит, как убывает количество и уменьшается шанс купить со скидкой, что провоцирует покупать его больше за счет чувства упущенной выгоды. Очень хорошо стимулирует продажи, но характеризуется довольно сильным похмельем.
Эффект на LTV от внедрения live ops в игру в принципе усредненно Владимир оценивает в 30%. Баланс в оперировании сводится к тому, чтобы определить некую норму валют на руках у игрока, следить за отклонениями от неё, компенсировать нехватку предложениями со скидкой и вымывать избыток за счет ивентов и продажи ресурсов.
Источник(рус., 30 мин.): https://www.youtube.com/watch?v=jxTiIXnwsHg
Кстати пара слов насчет самой конференции. Очень любопытный ивент с большим количеством материалов по продутку и аналитике. Ребята очень скоро планируют Матемаркетинг-2020 в онлайне (9−13 ноября). Недавно общался с ними, для желающих поучаствовать предоставили промокод на скидку в 10% - gamedev
Зарегистрироваться можно тут - https://bit.ly/2HU3AM1
Вакансия: Продакт-менеджер
Кто мы:
Мы JustSchool — онлайн-школа английского языка для детей и взрослых. За последний год мы выросли с 450 студентов до 4600. Цель на ближайший год — удержать темпы роста и вырасти до 20 000 активных студентов. Сейчас у нас скопилось много задач, которые требуют фокуса, тестов и улучшения. Мы ищем специалиста, который сможет зародить и возглавить продуктовое направление в компании.
Что нужно иметь:
- Опыт работы менеджером по продукту в продуктовой компании;
- Опыт работы с операционкой: знаете, как изменять процессы, которые затрагивают большое количество людей;
- Опыт в маркетинге: разбираетесь в типах трафика и понимаете особенности каналов;
- Управление проектами: быстро определяете точку роста и фокусируетесь на ней, делегируя понятные задачи на остальных;
- Изобретательность: знаете, как быстро MVP продукта и проверить гипотезу за неделю, пока остальные ждут разработки по полгода;
- Умение считать метрики процессов и продуктов, знать как искать и находить корреляции, принимать решение на основе данных.
- Самоходность и проактивность: уметь принимать решения, доносить и отстаивать свою позицию, креативно подходить к решению задач.
Основные задачи
- Улучшать метрики продаж и метрики продукта. В настоящий момент мы сконцентрированы на метриках роста, но периодически будут появляться задачи по метрикам качества.
- Разрабатывать, тестировать и внедрять операционные изменения в продукте или воронке продаж.
- Анализировать большое количество данных, чтобы найти точки роста.
- Проектировать и проводить тесты (А/B, ухудшающих и др.);
- Совместно с другими отделами улучшать процессы продаж и привлечения учеников;
- Искать технические и бизнес решения, оценивать и внедрять их.
Если вакансия заинтересовала, скорее пиши нам в телеграмм @JustSchool_job о том, что ты хочешь работать и возможно уже завтра ты станешь продакт-менеджером лучшей школы английского языка JustSchool!
Кто мы:
Мы JustSchool — онлайн-школа английского языка для детей и взрослых. За последний год мы выросли с 450 студентов до 4600. Цель на ближайший год — удержать темпы роста и вырасти до 20 000 активных студентов. Сейчас у нас скопилось много задач, которые требуют фокуса, тестов и улучшения. Мы ищем специалиста, который сможет зародить и возглавить продуктовое направление в компании.
Что нужно иметь:
- Опыт работы менеджером по продукту в продуктовой компании;
- Опыт работы с операционкой: знаете, как изменять процессы, которые затрагивают большое количество людей;
- Опыт в маркетинге: разбираетесь в типах трафика и понимаете особенности каналов;
- Управление проектами: быстро определяете точку роста и фокусируетесь на ней, делегируя понятные задачи на остальных;
- Изобретательность: знаете, как быстро MVP продукта и проверить гипотезу за неделю, пока остальные ждут разработки по полгода;
- Умение считать метрики процессов и продуктов, знать как искать и находить корреляции, принимать решение на основе данных.
- Самоходность и проактивность: уметь принимать решения, доносить и отстаивать свою позицию, креативно подходить к решению задач.
Основные задачи
- Улучшать метрики продаж и метрики продукта. В настоящий момент мы сконцентрированы на метриках роста, но периодически будут появляться задачи по метрикам качества.
- Разрабатывать, тестировать и внедрять операционные изменения в продукте или воронке продаж.
- Анализировать большое количество данных, чтобы найти точки роста.
- Проектировать и проводить тесты (А/B, ухудшающих и др.);
- Совместно с другими отделами улучшать процессы продаж и привлечения учеников;
- Искать технические и бизнес решения, оценивать и внедрять их.
Если вакансия заинтересовала, скорее пиши нам в телеграмм @JustSchool_job о том, что ты хочешь работать и возможно уже завтра ты станешь продакт-менеджером лучшей школы английского языка JustSchool!
Что нужно для старта в профессии менеджера продуктов? А для перехода из middle специалиста в senior?
Канал Product Mindset рассказывает о менеджменте продуктов для тех, кто хочет войти в профессию и не знает, с чего начать. А также для опытных менеджеров, для которых важно профессиональное и личное развитие, обмен опытом и углубление знаний.
📌 Пара статей для начинающих:
• Три грейда в профессии менеджера продуктов: задачи, инструменты и скиллы
• Как junior менеджеру продуктов составить хорошее резюме и сопроводительное письмо — советы экспертов
👉 Авторы канала пишут об инструментах и навыках, необходимых каждому менеджеру продукта. Делятся подборками полезных материалов, советами и кейсами опытных специалистов Yandex, Skyeng, Atlassian, Headhunter, ManyChat и других компаний:
• Подборка RU материалов по Jobs-To-Be-Done
• Юнит-экономика: зачем и как считать
• Что такое North Star Metric
• Чек-лист: где брать информацию для анализа своего рынка
Канал Product Mindset рассказывает о менеджменте продуктов для тех, кто хочет войти в профессию и не знает, с чего начать. А также для опытных менеджеров, для которых важно профессиональное и личное развитие, обмен опытом и углубление знаний.
📌 Пара статей для начинающих:
• Три грейда в профессии менеджера продуктов: задачи, инструменты и скиллы
• Как junior менеджеру продуктов составить хорошее резюме и сопроводительное письмо — советы экспертов
👉 Авторы канала пишут об инструментах и навыках, необходимых каждому менеджеру продукта. Делятся подборками полезных материалов, советами и кейсами опытных специалистов Yandex, Skyeng, Atlassian, Headhunter, ManyChat и других компаний:
• Подборка RU материалов по Jobs-To-Be-Done
• Юнит-экономика: зачем и как считать
• Что такое North Star Metric
• Чек-лист: где брать информацию для анализа своего рынка
Всем привет! Последнее время приболел и погрузился в работу, но в дальнейшем постараюсь выйти на прежнюю периодичность в постах. А пока материал, который подготовил мой коллега Юрий по механикам, встречающимся в успешных казуалках на основе отчета от Game Refinery. Сам отчет содержит гораздо больше информации, чем вошло в статью(там больше 80 страниц), скачать можно по ссылке внизу.
1) Ивенты
Разнообразить игровой процесс в первую очередь пытаются различными ивентами, которые длятся несколько дней и предлагают игрокам дополнительные цели на уровнях, которые нужно достигать для получения награды. Иногда одновременно может проходить до 4х разных ивентов
2) Батл пасс
В принципе, не удивительно, поскольку одна из основных мотиваций игроков в данном жанре это достижение маленьких целей, а батл пассы пестрят ими - просто проходи уровни и зарабатывай небольшие награды. Впервые в матч3 игре эта механика появилась в Homescapes, а в дальнейшем распространилась и на остальные игры в жанре.
3) Кланы
Обычно их можно встретить в РПГ и стратегиях, но в паззл-играх они тоже прекрасно прижились. Игроки общаются друг с другом, обмениваются внутриигровыми жизнями, и совместно проходят ивенты, чтобы заработать больше наград. Отличная тема, чтобы создать активное сообщество вокруг игры.
4) Соревнования
Гильдейские соревнования стимулируют игроков больше времени проводить в игре, чтобы не подводить соклановцев или не лишиться статуса участника гильдии. Для большей эффективности механики обычно вводятся гильдейские чаты и общие награды на весь клан.
5) PvP режимы
Сюда входят не только клановые соревнования, но и командные синхронные сражения. Например, в Words With Friends 2 есть командные онлайн сражения по составлению слов.
6) Акции
Монетизация в популярных проектах строится, как правило, по одной и той же схеме - временные акционные предложения, которые предлагают уникальные награды или повышенную выгоду здесь и сейчас. Свинья-копилка тоже часто встречается в новых проектах. Акция предлагает копить деньги за прохождение уровней, а потом выкупить накопленную награду разом.
7) Реклама за награду
Во многих паззл играх разработчики награждают игроков за просмотр рекламы бустами, софт валютой или жизнями. Все это позитивно влияет на ретеншн и игровой опыт не платящих пользователей, при этом позволяя разработчикам попутно иметь дополнительный доход с рекламы.
Источник(англ.): https://ss-usa.s3.amazonaws.com/c/308477825/media/67615f311186cc9f671814704513763/FBG_Mobile%20Gaming%20Genre_EN.pdf
1) Ивенты
Разнообразить игровой процесс в первую очередь пытаются различными ивентами, которые длятся несколько дней и предлагают игрокам дополнительные цели на уровнях, которые нужно достигать для получения награды. Иногда одновременно может проходить до 4х разных ивентов
2) Батл пасс
В принципе, не удивительно, поскольку одна из основных мотиваций игроков в данном жанре это достижение маленьких целей, а батл пассы пестрят ими - просто проходи уровни и зарабатывай небольшие награды. Впервые в матч3 игре эта механика появилась в Homescapes, а в дальнейшем распространилась и на остальные игры в жанре.
3) Кланы
Обычно их можно встретить в РПГ и стратегиях, но в паззл-играх они тоже прекрасно прижились. Игроки общаются друг с другом, обмениваются внутриигровыми жизнями, и совместно проходят ивенты, чтобы заработать больше наград. Отличная тема, чтобы создать активное сообщество вокруг игры.
4) Соревнования
Гильдейские соревнования стимулируют игроков больше времени проводить в игре, чтобы не подводить соклановцев или не лишиться статуса участника гильдии. Для большей эффективности механики обычно вводятся гильдейские чаты и общие награды на весь клан.
5) PvP режимы
Сюда входят не только клановые соревнования, но и командные синхронные сражения. Например, в Words With Friends 2 есть командные онлайн сражения по составлению слов.
6) Акции
Монетизация в популярных проектах строится, как правило, по одной и той же схеме - временные акционные предложения, которые предлагают уникальные награды или повышенную выгоду здесь и сейчас. Свинья-копилка тоже часто встречается в новых проектах. Акция предлагает копить деньги за прохождение уровней, а потом выкупить накопленную награду разом.
7) Реклама за награду
Во многих паззл играх разработчики награждают игроков за просмотр рекламы бустами, софт валютой или жизнями. Все это позитивно влияет на ретеншн и игровой опыт не платящих пользователей, при этом позволяя разработчикам попутно иметь дополнительный доход с рекламы.
Источник(англ.): https://ss-usa.s3.amazonaws.com/c/308477825/media/67615f311186cc9f671814704513763/FBG_Mobile%20Gaming%20Genre_EN.pdf