Пакет NetworkX в Python
Ранее мы рассказывали о возможностях анализа сетей с использованием языка R. Сегодня давайте рассмотрим инструмент сетевого анализа, доступный в Python.
В Python реализовано огромное множество библиотек и пакетов. Мы рассмотрим наиболее функциональную библиотеку для сетевого анализа на Python, в которой реализован наиболее обширный инструментарий – NetworkX.
Сегодня с помощью NetworkX вы можете:
🔀Строить направленные и ненаправленные сети.
💻Визуализировать их в 2D и в 3D
📑 Быстро получить всю необходимую информацию о сети – например, количество узлов, связей между ними, объединений по типу диада/триада
📊Рассчитывать метрики сети – adjacency, centrality, betweenness, диаметр, радиус сети
🚻Проводить анализ community detection, выявляя в сети общности узлов.
Библиотека позволяет работать с сетями, размером до 10 миллионов узлов и 100 миллионов ребер.
Библиотека поддерживает импорт файлов в следующих форматах - GML, Graph6/Sparse6, GraphML, GraphViz (.dot), NetworkX (.yaml, adjacency lists, and edge lists), LEDA. Отдельно стоит отметить, что NetworkX поддерживает работу с файлами Pajek, что делает эту библиотеку удобным дополнением к классическому инструментарию сетевого анализа.
#что_есть_что_в_sna
Ранее мы рассказывали о возможностях анализа сетей с использованием языка R. Сегодня давайте рассмотрим инструмент сетевого анализа, доступный в Python.
В Python реализовано огромное множество библиотек и пакетов. Мы рассмотрим наиболее функциональную библиотеку для сетевого анализа на Python, в которой реализован наиболее обширный инструментарий – NetworkX.
Сегодня с помощью NetworkX вы можете:
🔀Строить направленные и ненаправленные сети.
💻Визуализировать их в 2D и в 3D
📑 Быстро получить всю необходимую информацию о сети – например, количество узлов, связей между ними, объединений по типу диада/триада
📊Рассчитывать метрики сети – adjacency, centrality, betweenness, диаметр, радиус сети
🚻Проводить анализ community detection, выявляя в сети общности узлов.
Библиотека позволяет работать с сетями, размером до 10 миллионов узлов и 100 миллионов ребер.
Библиотека поддерживает импорт файлов в следующих форматах - GML, Graph6/Sparse6, GraphML, GraphViz (.dot), NetworkX (.yaml, adjacency lists, and edge lists), LEDA. Отдельно стоит отметить, что NetworkX поддерживает работу с файлами Pajek, что делает эту библиотеку удобным дополнением к классическому инструментарию сетевого анализа.
#что_есть_что_в_sna
Конференция NODES 2022: 16 - 17 ноября
NODES 2022 - это бесплатная техническая конференция с более чем 100 сессиями для разработчиков и специалистов по обработке данных, которая длится 24 часа во всех часовых поясах. Будут секции для специалистов любого уровня - для начинающих, и для экспертов.
#события_в_sna
NODES 2022 - это бесплатная техническая конференция с более чем 100 сессиями для разработчиков и специалистов по обработке данных, которая длится 24 часа во всех часовых поясах. Будут секции для специалистов любого уровня - для начинающих, и для экспертов.
#события_в_sna
Hopin
NODES 2022
NODES 2022 - Neo4j Online Developer Education Summit - Nov 16-17
Метод социокартирования
Социокартирование - это метод, разработанный для обработки и визуализации реляционных данных (например, данных социальных сетей). Чаще всего он используется для отображения социальной структуры в небольших командах (10-25 человек). Социокартирование использует метафору ландшафта для отображения сложных многомерных данных на трехмерной карте, где отдельные объекты локализованы таким образом, что их расстояние на карте соответствует их расстоянию в базовых данных.
Преобразование данных заключается в том, чтобы 1) выбрать некоторую метрику, которая может быть разумно интерпретирована как расстояние, и 2) перевести многомерную матрицу расстояний в двумерную систему координат таким образом, чтобы корреляция между расстояниями на карте и расстояниями в данных была максимальной.
Социокартирование учитывает, что, реляционные данные могут быть асимметричными (например, Джон любит Мэри больше, чем она его), и сохраняет эту информацию, отображая объекты таким образом, что для каждого объекта ближайшим другим объектом является тот, который ближе всего к нему по метрике выбора в исходных данных, и так далее для других объектов, упорядоченных по расстоянию.
#что_есть_что_в_sna
Социокартирование - это метод, разработанный для обработки и визуализации реляционных данных (например, данных социальных сетей). Чаще всего он используется для отображения социальной структуры в небольших командах (10-25 человек). Социокартирование использует метафору ландшафта для отображения сложных многомерных данных на трехмерной карте, где отдельные объекты локализованы таким образом, что их расстояние на карте соответствует их расстоянию в базовых данных.
Преобразование данных заключается в том, чтобы 1) выбрать некоторую метрику, которая может быть разумно интерпретирована как расстояние, и 2) перевести многомерную матрицу расстояний в двумерную систему координат таким образом, чтобы корреляция между расстояниями на карте и расстояниями в данных была максимальной.
Социокартирование учитывает, что, реляционные данные могут быть асимметричными (например, Джон любит Мэри больше, чем она его), и сохраняет эту информацию, отображая объекты таким образом, что для каждого объекта ближайшим другим объектом является тот, который ближе всего к нему по метрике выбора в исходных данных, и так далее для других объектов, упорядоченных по расстоянию.
#что_есть_что_в_sna
Регистрация на XXIV Ясинскую международную научную конференцию
До 14.11.2022 открыта регистрация для индивидуальных и коллективных докладов на XXIV Ясинскую международную научную конференцию по проблемам развития экономики и общества. Приглашаем всех поучаствовать в качестве докладчиков и слушателей. С более подробной информацией вы можете ознакомиться по ссылке.
#события_в_sna
До 14.11.2022 открыта регистрация для индивидуальных и коллективных докладов на XXIV Ясинскую международную научную конференцию по проблемам развития экономики и общества. Приглашаем всех поучаствовать в качестве докладчиков и слушателей. С более подробной информацией вы можете ознакомиться по ссылке.
#события_в_sna
conf.hse.ru
Участникам с докладом
Поздравляем с Днем Социолога!
День социолога в России начали праздновать с 1994 году. Такая дата была выбрана, потому что именно в этот день в 1901 году в Париже открылась Русская Высшая Школа общественных наук, при которой был сформирован один из первых в мире социологических факультетов.
Поздравляем всех с профессиональным праздником и желаем успеха!
#события_в_sna
День социолога в России начали праздновать с 1994 году. Такая дата была выбрана, потому что именно в этот день в 1901 году в Париже открылась Русская Высшая Школа общественных наук, при которой был сформирован один из первых в мире социологических факультетов.
Поздравляем всех с профессиональным праздником и желаем успеха!
#события_в_sna
Конференция по сетевому анализу в рамках Ясинской конференции
В 2023 году вместо традиционной секции по сетевому анализу в рамках XXIII Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества ANR-lab проведет ассоциированное мероприятие — отдельную конференцию, посвященную современным разработкам в области анализа социальных сетей и их практическому применению. Подать заявку на наше мероприятие можно будет чуть позже — мы обязательно об этом сообщим. Следите за обновлениями!
#события_в_sna
В 2023 году вместо традиционной секции по сетевому анализу в рамках XXIII Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества ANR-lab проведет ассоциированное мероприятие — отдельную конференцию, посвященную современным разработкам в области анализа социальных сетей и их практическому применению. Подать заявку на наше мероприятие можно будет чуть позже — мы обязательно об этом сообщим. Следите за обновлениями!
#события_в_sna
Forwarded from iFORA_knows_how
Как машинное обучение помогает выявлять факторы, влияющие на развитие человеческого потенциала, расскажет ведущий эксперт Центра стратегической аналитики и больших данных Михаил Захаров на завершающем вебинаре серии, которую ИСИЭЗ проводит этой осенью в рамках деятельности НЦМУ «Центр междисциплинарных исследований человеческого потенциала».
Как вообще происходит машинное обучение? Михаил Захаров покажет на основе модели Transformer и примерах реальных проектов Центра стратегической аналитики и больших данных ИСИЭЗ, выполненных с использованием системы iFORA. Спикер ознакомит с подходами, которые можно применять для анализа больших массивов текстовых данных об инфляции, безработице, инвестициях в образование и других аспектах, значимых для изучения факторов, влияющих на развитие человеческого капитала.
Вебинар пройдет 18 ноября, начало в 16:30.
Ссылка на подключение (к MS Teams) придет на адрес, указанный при регистрации.
#анализ_больших_данных #вебинар #iFORA
Как вообще происходит машинное обучение? Михаил Захаров покажет на основе модели Transformer и примерах реальных проектов Центра стратегической аналитики и больших данных ИСИЭЗ, выполненных с использованием системы iFORA. Спикер ознакомит с подходами, которые можно применять для анализа больших массивов текстовых данных об инфляции, безработице, инвестициях в образование и других аспектах, значимых для изучения факторов, влияющих на развитие человеческого капитала.
Вебинар пройдет 18 ноября, начало в 16:30.
Ссылка на подключение (к MS Teams) придет на адрес, указанный при регистрации.
#анализ_больших_данных #вебинар #iFORA
Возможности дополнительного образования в ANR-lab
Высшей Школе Экономики для студентов, сотрудников и внешних слушателей есть целый ряд возможностей для расширения своих знаний и навыков в области сетевого анализа. К ним относятся:
Регулярные семинары лаборатории. Лаборатория прикладного сетевого анализа проводит регулярные семинары по понедельникам для сотрудников и внешних слушателей. На них обсуждаются актуальные темы сетевого анализа, проводятся мастер-классы по работе с данными с разными языками программирования и статистическими пакетами. Записи открытых семинаров вы найдете по ссылке.
Крупные образовательные мероприятия. Лаборатория также проводит летние школы по сетевому анализу, в которых принимают участие не только сотрудники, но и приглашенные зарубежные преподаватели с мировым именем в области сетевого анализа.
За анонсами лучше следить на странице группы “ВКонтакте” и на веб-странице Лаборатории.
#события_в_sna
Высшей Школе Экономики для студентов, сотрудников и внешних слушателей есть целый ряд возможностей для расширения своих знаний и навыков в области сетевого анализа. К ним относятся:
Регулярные семинары лаборатории. Лаборатория прикладного сетевого анализа проводит регулярные семинары по понедельникам для сотрудников и внешних слушателей. На них обсуждаются актуальные темы сетевого анализа, проводятся мастер-классы по работе с данными с разными языками программирования и статистическими пакетами. Записи открытых семинаров вы найдете по ссылке.
Крупные образовательные мероприятия. Лаборатория также проводит летние школы по сетевому анализу, в которых принимают участие не только сотрудники, но и приглашенные зарубежные преподаватели с мировым именем в области сетевого анализа.
За анонсами лучше следить на странице группы “ВКонтакте” и на веб-странице Лаборатории.
#события_в_sna
anr.hse.ru
Семинары
Семинар ANR-Lab «Возможности международной мобильности»
В понедельник, 28 ноября, в 17:00 состоится открытый семинар Международной лаборатории прикладного сетевого анализа, где Марья Воробьева, в прошлом младший научный сотрудник ANR-Lab, а сейчас - аспирант в Лувенском католическом университете (KU Leuven) в Бельгии, расскажет о возможностях международной мобильности и своем опыте поступления на программу PhD.
Если Вы хотите принять участие в семинаре, напишите стажеру-исследователю лаборатории Надежде Бузиной ([email protected]).
#события_в_sna
В понедельник, 28 ноября, в 17:00 состоится открытый семинар Международной лаборатории прикладного сетевого анализа, где Марья Воробьева, в прошлом младший научный сотрудник ANR-Lab, а сейчас - аспирант в Лувенском католическом университете (KU Leuven) в Бельгии, расскажет о возможностях международной мобильности и своем опыте поступления на программу PhD.
Если Вы хотите принять участие в семинаре, напишите стажеру-исследователю лаборатории Надежде Бузиной ([email protected]).
#события_в_sna
Сетевой анализ взаимодействия членов Конгресса США в Твиттере
Взаимодействия в социальных сетях представителей Конгресса США. Данная работа – пример использования сетевого анализа для анализа в изучении политической сферы. Авторы статьи проанализировали данные публикаций в социальной сети американских сенаторов за 12 лет. Основываясь на алгоритмах выделения отдельных групп в сетях интеракции, и игнорируя при этом содержание профилей и публикаций политиков авторы способны с высокой точностью определить политические взгляды отдельных людей в сети. В статье также предлагаются 2 метрики, по которым можно определить политическую идеологию членов конгресса. Более того, авторы глубже погружаются в структуру сети, разбивая анализ до уровня фракций внутри отдельных партий о обнаруживают, что некоторые фракции в социальных сетях действуют наиболее сплоченно. Это, по мнению авторов, может оказывать эффект «эхо-камеры» во время продвижения политических программ.
#рекомендуем_к_прочтению
Взаимодействия в социальных сетях представителей Конгресса США. Данная работа – пример использования сетевого анализа для анализа в изучении политической сферы. Авторы статьи проанализировали данные публикаций в социальной сети американских сенаторов за 12 лет. Основываясь на алгоритмах выделения отдельных групп в сетях интеракции, и игнорируя при этом содержание профилей и публикаций политиков авторы способны с высокой точностью определить политические взгляды отдельных людей в сети. В статье также предлагаются 2 метрики, по которым можно определить политическую идеологию членов конгресса. Более того, авторы глубже погружаются в структуру сети, разбивая анализ до уровня фракций внутри отдельных партий о обнаруживают, что некоторые фракции в социальных сетях действуют наиболее сплоченно. Это, по мнению авторов, может оказывать эффект «эхо-камеры» во время продвижения политических программ.
#рекомендуем_к_прочтению
ACM Transactions on Social Computing
A Network Analysis of Twitter Interactions by Members of the U.S. Congress | ACM Transactions on Social Computing
Usage of Twitter by politicians has become more prevalent in recent years, with a
goal of influencing the electorate and public perception. We collect, explore, and
analyze over 12 years of public Twitter interactions of U.S. senators and ...
goal of influencing the electorate and public perception. We collect, explore, and
analyze over 12 years of public Twitter interactions of U.S. senators and ...
Forwarded from Поступай как знаешь
Митап для поступающих в магистратуру
10–11 декабря НИУ ВШЭ проведет митап для тех, кто рассматривает обучение в магистратуре.
Подробнее о том, что ждет его участников, рассказывает Вышка.Главное.
Регистрация — по ссылке
10–11 декабря НИУ ВШЭ проведет митап для тех, кто рассматривает обучение в магистратуре.
Подробнее о том, что ждет его участников, рассказывает Вышка.Главное.
Регистрация — по ссылке
COVID-19 и теория заговора 5G: Анализ данных социальной сети
COVID-19 и теория заговоров вокруг 5G. Данная работа посвящена процессу распространения конспирологических теорий во время начала пандемии, а конкретно в исследовании используется данные 233 публикаций с хэштегами по тематике пользователей социальной сети с 27 марта по 4 апреля. Инфлюенсеры и были проанализированы с точки зрения их положения в сети. Исследование показало, что 65,2% публикаций с хештегом исходят не от сторонников теории заговора. Следовательно, хотя тема привлекла большое внимание, лишь небольшое количество пользователей реально верило в заговор. Также было обнаружено, что большинство источников, на которые ссылались авторы в публикациях – страницы с фейковыми новостями.
#рекомендуем_к_прочтению
COVID-19 и теория заговоров вокруг 5G. Данная работа посвящена процессу распространения конспирологических теорий во время начала пандемии, а конкретно в исследовании используется данные 233 публикаций с хэштегами по тематике пользователей социальной сети с 27 марта по 4 апреля. Инфлюенсеры и были проанализированы с точки зрения их положения в сети. Исследование показало, что 65,2% публикаций с хештегом исходят не от сторонников теории заговора. Следовательно, хотя тема привлекла большое внимание, лишь небольшое количество пользователей реально верило в заговор. Также было обнаружено, что большинство источников, на которые ссылались авторы в публикациях – страницы с фейковыми новостями.
#рекомендуем_к_прочтению
Journal of Medical Internet Research
COVID-19 and the 5G Conspiracy Theory: Social Network Analysis of Twitter Data
Background: Since the beginning of December 2019, the coronavirus disease (COVID-19) has spread rapidly around the world, which has led to increased discussions across online platforms. These conversations have also included various conspiracies shared by…
Пакет для анализа сетей в Python - graph-tool
Данный пакет находится в открытом доступе. Его технической особенностью является оптимизация для работы в компьютерах с многоядерными процессорами.
Пакет позволяет выполнять следующие задачи:
➿ Создавать и настраивать как направленные, так и ненаправленные сети.
🔖 Присваивать метки вершинам, ребрам и самой сети, что позволяет делать многоуровневые графики сетей.
📉 Визуализировать сети благодаря встроенному инструментарию pycairo и Graphviz
📊 Считать ключевые статистики по сетям, в том числе рассчитывать меры центральности и визуализировать расчеты в форме графиков.
Помимо этого, graph-tool позволяет производить кластерный анализ и поиск сообществ в сети.
Также пакет поддерживает алгоритмы: изоморфизм графов, изоморфизм подграфов, минимальное остовное дерево, компоненты связности, дерево доминаторов, максимальный поток.
В пакете реализованы сетевые модели: Прайс, Барабаши-Альберт, геометрические сети, многомерный решетчатый граф.
#что_есть_что_в_sna
Данный пакет находится в открытом доступе. Его технической особенностью является оптимизация для работы в компьютерах с многоядерными процессорами.
Пакет позволяет выполнять следующие задачи:
➿ Создавать и настраивать как направленные, так и ненаправленные сети.
🔖 Присваивать метки вершинам, ребрам и самой сети, что позволяет делать многоуровневые графики сетей.
📉 Визуализировать сети благодаря встроенному инструментарию pycairo и Graphviz
📊 Считать ключевые статистики по сетям, в том числе рассчитывать меры центральности и визуализировать расчеты в форме графиков.
Помимо этого, graph-tool позволяет производить кластерный анализ и поиск сообществ в сети.
Также пакет поддерживает алгоритмы: изоморфизм графов, изоморфизм подграфов, минимальное остовное дерево, компоненты связности, дерево доминаторов, максимальный поток.
В пакете реализованы сетевые модели: Прайс, Барабаши-Альберт, геометрические сети, многомерный решетчатый граф.
#что_есть_что_в_sna
Реляционная социология Пьерпаоло Донати
Пьерпаоло Донати – итальянский социолог, профессор Болонского университета, один из основоположников реляционного подхода изучения социума. Реляционная социология является автономным направлением, где культурные и структурные компоненты пересекаются и взаимно конструируют друг друга. Объектом исследования выступают транзакции - динамичные, непрерывные и случайные процессы, неотделимые от контекстов, в которых они создаются. Цель реляционной теории – понять и объяснить связь между социальным морфогенезом отношений и эмерджентными структурами, которые характеризуют конкретное общество с точки зрения его отличия от других обществ.
Век «больших данных» и больших возможностей их анализа есть опасность изучения характеристик сетей сугубо с математической стороны. Реляционая социология помогает задуматься о том, какие процессы производят и воспроизводят сети, на чем строятся отношения акторов внутри сети. Работу Пьерпаоло Донати "Реляционная теория общества: Социальная жизнь с точки зрения критического реализма" можно прочитать по ссылке.
#кто_есть_кто_в_sna
Пьерпаоло Донати – итальянский социолог, профессор Болонского университета, один из основоположников реляционного подхода изучения социума. Реляционная социология является автономным направлением, где культурные и структурные компоненты пересекаются и взаимно конструируют друг друга. Объектом исследования выступают транзакции - динамичные, непрерывные и случайные процессы, неотделимые от контекстов, в которых они создаются. Цель реляционной теории – понять и объяснить связь между социальным морфогенезом отношений и эмерджентными структурами, которые характеризуют конкретное общество с точки зрения его отличия от других обществ.
Век «больших данных» и больших возможностей их анализа есть опасность изучения характеристик сетей сугубо с математической стороны. Реляционая социология помогает задуматься о том, какие процессы производят и воспроизводят сети, на чем строятся отношения акторов внутри сети. Работу Пьерпаоло Донати "Реляционная теория общества: Социальная жизнь с точки зрения критического реализма" можно прочитать по ссылке.
#кто_есть_кто_в_sna
ResearchGate
(PDF) Пьерпаоло Донати. Реляционная теория общества: Социальная жизнь с точки зрения критического реализма. Москва: Москва Издательство…
PDF | Издание содержит переводы статей Пьерпаоло Донати, выдающегося современного итальянского социолога, который разрабатывает собственную версию так... | Find, read and cite all the research you need on ResearchGate
Социальный медиа майнинг
Майнинг в социальных сетях (Social media mining) - это процесс получения больших данных из пользовательского контента на сайтах социальных сетей и в мобильных приложениях с целью извлечения закономерностей, формирования выводов о пользователях и их действиях и интересах. Майнеры разрабатывают алгоритмы, подходящие для исследования больших массивов данных социальных сетей. Данный метод анализа основан на теориях и методологиях анализа социальных сетей, сетевых наук, социологии, этнографии, оптимизации и математики. Социальная аналитика также использует анализ настроений, поскольку пользователи социальных сетей часто передают положительные или отрицательные настроения в своих сообщениях.
#что_есть_что_в_sna
Майнинг в социальных сетях (Social media mining) - это процесс получения больших данных из пользовательского контента на сайтах социальных сетей и в мобильных приложениях с целью извлечения закономерностей, формирования выводов о пользователях и их действиях и интересах. Майнеры разрабатывают алгоритмы, подходящие для исследования больших массивов данных социальных сетей. Данный метод анализа основан на теориях и методологиях анализа социальных сетей, сетевых наук, социологии, этнографии, оптимизации и математики. Социальная аналитика также использует анализ настроений, поскольку пользователи социальных сетей часто передают положительные или отрицательные настроения в своих сообщениях.
#что_есть_что_в_sna