Python/ django
58.9K subscribers
2.07K photos
61 videos
47 files
2.79K links
по всем вопросам @haarrp

@itchannels_telegram - 🔥 все ит-каналы

@ai_machinelearning_big_data -ML

@ArtificialIntelligencedl -AI

@datascienceiot - 📚

@pythonlbooks

РКН: clck.ru/3FmxmM
加入频道
Webbots Пауки и экран скребки - Руководство по разработке интернет-агентов с PHP-CURL [2012]
═════════════════════
Описание:
═════════════════════
The Internet is bigger and better than what a mere browser allows. Webbots, Spiders, and Screen Scrapers is for programmers and businesspeople who want to take full advantage of the vast resources available on the Web. There's no reason to let browsers limit your online experience-especially when you can easily automate online tasks to suit your individual needs.
═════════════════════
Learn how to write webbots and spiders that do all this and more:
═════════════════════
Programmatically download entire websites Effectively parse data from web pages Manage cookies Decode encrypted files Automate form submissions Send and receive email Send SMS alerts to your cell phone Unlock password-protected websites Automatically bid in online auctions Exchange data with FTP and NNTP servers

Sample projects using standard code libraries reinforce these new skills. You'll learn how to create your own webbots and spiders that track online prices, aggregate different data sources into a single web page, and archive the online data you just can't live without. You'll learn inside information from an experienced webbot developer on how and when to write stealthy webbots that mimic human behavior, tips for developing fault-tolerant designs, and various methods for launching and scheduling webbots. You'll also get advice on how to write webbots and spiders that respect website owner property rights, plus techniques for shielding websites from unwanted robots.

As a bonus, visit the author's website to test your webbots on sample target pages, and to download the scripts and code libraries used in the book.

Some tasks are just too tedious-or too important!- to leave to humans. Once you've automated your online life, you'll never let a browser limit the way you use the Internet again.
═════════════════════
About the Author
═════════════════════
Michael Schrenk uses webbots and data-driven web applications to create competitive advantages for businesses. He has written for Computerworld and Web Techniques magazines and has taught courses on Web usability and Internet marketing. He has also given presentations on intelligent Web agents and online corporate intelligence at the DEFCON hacker's convention.

#программирование@physics_math
#php@physics_math
#curl@physics_math
#scrapers@physics_math
#алгоритмы@physics_math
#анализ@physics_math

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
[Перевод] Правдивая история роботизации, начинающаяся с одного простого графика

В начале этого года мне на глаза попался график, на котором отражена не только чрезвычайно важная история роботизации, но также история обсуждения самой роботизации. Заодно здесь показан прогноз развития в ближайшие годы как самой роботизации, так и ее обсуждения. Это график количества эксплуатируемых буровых вышек в Соединенных Штатах (зеленая линия) и количество рабочих, занятых в нефтяной промышленности (красная линия). Это важная часть мозаики, которую необходимо собрать воедино, пока не стало слишком поздно. Читать дальше → https://goo.gl/7f8afd

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Numerical Algorithms: Methods for Computer Vision, Machine Learning, and Graphics [2015]
═════════════════════
Описание:
═════════════════════
Numerical Algorithms: Methods for Computer Vision, Machine Learning, and Graphics presents a new approach to numerical analysis for modern computer scientists. Using examples from a broad base of computational tasks, including data processing, computational photography, and animation, the textbook introduces numerical modeling and algorithmic design from a practical standpoint and provides insight into the theoretical tools needed to support these skills.

The book covers a wide range of topics—from numerical linear algebra to optimization and differential equations—focusing on real-world motivation and unifying themes. It incorporates cases from computer science research and practice, accompanied by highlights from in-depth literature on each subtopic. Comprehensive end-of-chapter exercises encourage critical thinking and build students’ intuition while introducing extensions of the basic material.

The text is designed for advanced undergraduate and beginning graduate students in computer science and related fields with experience in calculus and linear algebra. For students with a background in discrete mathematics, the book includes some reminders of relevant continuous mathematical background.
═════════════════════
Features:
═════════════════════
Contains classroom-tested material for a one- to two-semester course in numerical algorithms, with a focus on modeling and applications
Introduces themes common to nearly all classes of numerical algorithms
Covers algorithms for solving linear and nonlinear problems, including popular techniques recently introduced in the research community
Includes comprehensive end-of-chapter exercises that push students at all levels to derive, extend, and analyze numerical algorithms

#ии@physics_math
#искусственный_интеллект@physics_math
#машинное_обучение@physics_math
#численные_методы@physics_math
#книги@physics_math
#алгоритмы@physics_math
#анализ@physics_math

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Теперь Уолл-стрит: как Amazon, Alibaba и Rakuten изменят сферу финансов (отчет McKinsey)

Изображение: Nate, CC BY-NC 2.0

Следующая большая сфера, которая значительно изменится под влиянием технологических компаний — это финансы. Такой вывод содержится в 52-страничном отчете аналитиков компании McKinsey. Мы представляем вашему вниманию главные тезисы этого документа. Читать дальше → https://goo.gl/tcpyqA

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Привет, товарищи джангисты!

Имею следующую структуру проекта:

app/app2/...
app/app3/...

Т.е. есть приложение Shop, в котором есть другие подприложения: basket, product и д.р.

В INSTALLED_APPS приложения зарегистрированы как shop.product и shop.basket

Вроде все хорошо, да вот только при миграциях Джанго ругается на то, что модель вида Shop.product.products не допустима, надо чтобы было app_name.model

Как деликатно решить проблему?:)

Или же отказаться от такой структуры, и вынести все приложения в корневую папку проекта...

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Собери свой Security Operation Center из 5 элементов

Привет, Хабр!
Мы тут часто пишем о том, что работа центра мониторинга и противодействия кибератакам невозможна без определенных процессов (мониторинг, реагирование, расследование инцидентов и т.д.) и, конечно, без систем защиты (AV, WAF, IPS и т.д.).
То же самое мы объясняем заказчикам, но они, быстро пересчитывая деньги в кармане, иногда в ответ спрашивают: "А можно нам SOC в базовой комплектации?"
Предлагаем вам представить себя на месте такого заказчика. Под катом 26 аббревиатур и терминов. Проверьте, насколько вы понимаете принципы мониторинга и противодействия кибератакам и выберите всего 5 буквосочетаний, которые смогут надежно защитить компанию.
Внимание! Среди вариантов возможны honeypots :)
Читать дальше → https://goo.gl/zNsfPZ

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Russian AI Cup 2017 — отчет о бета-тесте, старт чемпионата. Хотели StarCraft, получили странный Total War

Седьмого ноября официально стартовала неделя бета-теста Russian Ai Cup 2017. Чемпионат ежегодный, и в этом году мы решили предложить участникам проект под названием CodeWars — конкурс по программированию ботов для игры, которую сами участники сходу окрестили «симулятором игрока в RTS». Бета-тест подошел к концу, чемпионат официально стартовал, и под катом мы хотели бы отчитаться, поделиться новостями о том, что же мы теперь можем предложить. Ну и еще раз зазвать всех поучаствовать, не без этого конечно. Читать дальше → https://goo.gl/yYfo1G

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
#python #pynsk

Много раз спрашивали "А что, в ноябре не будет Python встреч?", а я так скромно говорил "Следите за новостями".
И вот, теперь можно - встреча будет!

Яндекс снова проводит Python Party.
Встреча состоится 22 ноября (среда), в 18-30 начало.

Будет три доклада: два посвящены uWSGI, а ещё один — достоинствам Питона.

Участие бесплатно, но нужно зарегистрироваться, потому что количество мест ограничено.
https://events.yandex.ru/events/meetings/22-nov-2017/

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
[Из песочницы] Atmega328p + ENC28J60 = мост между UART и Ethernet

Создавая различную электронику и программируя AVR, STM и т.п. всегда встает вопрос как ее подключить к другой периферии для управления и передачи информации, например, к компьютеру.

Есть много различных решений: COM, RS482, WiFi, Zigbee, ZWave, Ethernet и т.п. Из всех вариантов я пробовал WiFi, Zigbee, Ethernet, все остальное крайне неудобно или устарело.

Я хочу рассказать и поделиться, как можно использовать чип ENC28J60 от Microchip и Atmega328p для создания «моста» (далее по тексту) между UART и Ethernet.
Читать дальше → https://goo.gl/ruJwm3

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Друзья, ищем удаленного django+drf \ react+redux программиста (почасовая оплата, но надо быть доступным в рабочее время для координации) со средней ставкой.

Есть проект, основанный на https://github.com/Seedstars/django-react-redux-base . На фронтед добавлен antd.
Проект работает в тестовом режиме.

Что вы будуте делать:
1. Добавлять дополнительный функционал (связь с внешним сервером через requests, фронтенд - списки, кнопочки и т.д. - ничего сверхестественного, никакой бизнес логики или графики).
2. Запускать скрипт на ansible для деплоя.
3. Проверять, что все работает на боевом сервере.

Плюсы:
Вся подготовительная работа по проектированию структуры и системы проделана. Остается только спокойно программировать, заливать код на git сервер, запускать ansible скрипт.

От вас в личку:
1. Расскажите, что и как давно знаете.
2. Ссылку на любой ваш код гитхаб или битбакет.
3. Желаемую вилку часовой ставки.

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Подскажите, пожалуйста, пытаюсь создать большое количество объектов анимации ax.plot( ). Как сделать это, не задавая каждую анимацию отдельно, например ax1.plot(), ax2.plot(), ... , ax100.plot().

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
#python #pynsk #pythondaily #pydaily
Дневной дайджест: 15.11.2017

Статьи
------

- Механизм общения браузера и сервера на языке Python http://tatarnikovblog.tk/%d0%bc%d0%b5%d1%85%d0%b0%d0%bd%d0%b8%d0%b7%d0%bc-%d0%be%d0%b1%d1%89%d0%b5%d0%bd%d0%b8%d1%8f-%d0%b1%d1%80%d0%b0%d1%83%d0%b7%d0%b5%d1%80%d0%b0-%d0%b8-%d1%81%d0%b5%d1%80%d0%b2%d0%b5%d1%80%d0%b0-%d1%8f/

- Пишем x86-64 комплятор JIT с нуля в стоковом Python https://habrahabr.ru/post/342410/

Библиотеки
----------

- django-subadmin - организуем вложенную структуру моделей в админке http://github.com/inueni/django-subadmin

Добавляйте интересные Python-ссылки через форму: http://pythondigest.ru/add/

#daily@pynsk

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
[Перевод] Почему программисты не получают работу: четыре страшилки

tl;dr; В рекрутинге больше бардака, чем вы думаете. Расскажу четыре истории, где отличным инженерам отказали по причинам, абсолютно не связанным с их профессиональными знаниями или соответствием корпоративной культуре.

Когда люди не получают предложения о работе, то часто думают, что это их вина: «Меня отвергли три компании подряд, наверное, я никудышный инженер». Поработав некоторое время в ИТ-рекрутинге, могу вас заверить, что случайные факторы и шум (ложноотрицательные результаты) тоже играют важную роль. Часто отказы действительно вызваны случайными вещами и иррациональными причинами.

Страшилка № 1: кандидата отвергли из-за фреймворка
На позицию фронтенд-разработчика в агентстве я передал инженера, который участвовал в разработке ECMAScript и сделал значительный вклад в некоторые другие проекты open source. Мне понадобилось несколько недель, чтобы найти этого человека, и несколько часов для его правильной оценки, включая видеоинтервью (мы любим такое делать на https://goo.gl/U2BwFC). Его кандидатуру отверг программист из агентства после 10-минутного просмотра примеров кода. С ним даже не пообщались лично, а просто прислали «консерву» — шаблонное письмо по электронной почте:

«[…]Хотя ваше резюме и сопроводительное письмо очень конкурентоспособны, наши специалисты по найму рассмотрели вашу заявку и не выбрали её для дальнейшего рассмотрения. […]» Читать дальше → https://goo.gl/LesYJ9

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
[Перевод] Сервис-ориентированная архитектура (SOA)

Сервис-ориентированная архитектура (service-oriented architecture, SOA) придумана в конце 1980-х. Она берёт своё начало в идеях, изложенных в CORBA, DCOM, DCE и других документах. О SOA написано много, есть несколько её реализаций. Но, по сути, SOA можно свести к нескольким идеям, причём архитектура не диктует способы их реализации:

Сочетаемость приложений, ориентированных на пользователей.
Многократное использование бизнес-сервисов.
Независимость от набора технологий.
Автономность (независимые эволюция, масштабируемость и развёртываемость).

SOA — это набор архитектурных принципов, не зависящих от технологий и продуктов, совсем как полиморфизм или инкапсуляция. Читать дальше → https://goo.gl/apGwrG

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Ключевые анонсы Connect(); 2017

Привет, Хабр! В Нью-Йорке в эти дни проходит ежегодная конференция Microsoft Connect 2017. На ней уже анонсировали множество обновлений существующих продуктов и большое количество новых инструментов. Под катом читайте о самых интересных из них.

Читать дальше → https://goo.gl/ZMTKg3

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
В.И. Смирнов. Курс высшей математики в пяти томах.
Труд получил высшую премию бывшего СССР.
═════════════════════
Том 1. Содежание: 1. Функциональная зависимость и теория пределов. 2. Понятие о проиводной и его приложения. 3. Понятие об интеграле и его приложения. 4. Ряды и их приложения к приближенным вычислениям. 5. Функции нескольких переменных. 6. Комплексные числа, начала высшей алгебры и интегрирование функций.
═════════════════════
Том 2. Содежание: 1. Обыкновенные дифференциальные уравнения. 2. Линейные дифференциальные уравнения и дополнительные сведения по дифференциальным уравнениям. 3. Кратные и криволинейные интегралы, несобственные интегралы и интегралы, зависящие от параметра. 4. Векторный анализ и теория поля. 5. Основы дифференциальной геометрии. 6. Ряды Фурье. 7. Уравнения с частными производными математической физики.
═════════════════════
Том 3, часть1. Содежание: 1. Определители и решения систем уравнений. 2. Линейные преобразования и квадратичные формы. 3. Основы теориигрупп и линейные пркдставления групп.
Том 3, часть2. Содежание: 1. Основы тории функций комплексного переменного. 2. Конформное преобразование и плоское поле. 3. Применение теории вычетов, целые и дробные функции. 4. Аналитические функции многих переменных и функции матриц. 5. Линейные дифференциальные уравнений. 6. Специальные функции.
═════════════════════
Том 4, часть1. Содежание: 1. Интегральные уравнения. 2. Вариационное исчисление. 3. Дополнительные сведения по теории функциональных пространств, обобщенные производные, проблема минимума квадратичного функционала.
Том 4, часть2. Содежание: 1. Общая теория уравнения с частными производными. 2. Предельные задачи.
═════════════════════
Том 5. Содежание: 1. Интеграл Стилтьеса. 2. Функции множеств и интеграл Лебега. 3. Функции множеств, абсолютная непрерывность, обобщение понятия интеграла. 4. Метрические и нормированные пространства. 5. Пространство Гильберта.

#physics #math #code #физика #математика
#физика@physics_math
#математика@physics_math
#наука@physics_math

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
#python #pynsk #pythondaily #pydaily
Дневной дайджест: 16.11.2017

Учебные материалы
-----------------

- SQLAlchemy ORM Tutorial https://auth0.com/blog/sqlalchemy-orm-tutorial-for-python-developers/

- Asyncio Event Loops Tutorial https://tutorialedge.net/python/concurrency/asyncio-event-loops-tutorial/

Библиотеки
----------

- django-postgres-extra - поддержка extra возможностей в PostgreSQL https://github.com/SectorLabs/django-postgres-extra

- datasette - JSON API для SQLite базы https://github.com/simonw/datasette

- pyannotate - Auto-generate PEP-484 annotations http://github.com/dropbox/pyannotate

Главные новости
---------------

- Numpy прекращает поддержку Python 2.7 https://github.com/numpy/numpy/blob/master/doc/neps/dropping-python2.7-proposal.rst

Статьи
------

- Делаем REST API для TensorFlow моделей https://becominghuman.ai/creating-restful-api-to-tensorflow-models-c5c57b692c10

- GDB Python API https://developers.redhat.com/blog/2017/11/10/gdb-python-api/

- Scraping Russian Twitter Trolls With Python, Neo4j, and GraphQL http://www.lyonwj.com/2017/11/12/scraping-russian-twitter-trolls-python-neo4j/

- Синтаксический анализ в NLTK. Продолжение https://habrahabr.ru/post/342162/

- Устраняем зависимости между объектами в Python http://apirobot.me/posts/remove-dependencies-between-objects-in-python

Вопросы и обсуждения
--------------------

- Talk Python to Me: #138: о веб разработке https://talkpython.fm/episodes/show/138/anvil-all-web-all-python

Релизы
------

- Django 2.0 RC 1 https://www.djangoproject.com/weblog/2017/nov/15/django-20-release-candidate-1-released/

Добавляйте интересные Python-ссылки через форму: http://pythondigest.ru/add/

#daily@pynsk

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
[Перевод] Kali Linux: упражнения по модификации пакетов, сборке ядра и созданию ISO-образов

Сегодня публикуем перевод завершения девятой главы книги «Kali Linux Revealed». Здесь будут подведены итоги таких тем, как модификация пакетов, сборка ядра и создание собственных ISO-образов. Кроме того, тут вы найдёте упражнения к этой главе, на которых, надеемся, будет интересно попробовать свои силы как тем, кто уже знаком с Kali, так и тем, кто только начал осваивать этот дистрибутив.

Читать дальше → https://goo.gl/wmy9Ee

#python #код #django #питон #джанго #программирование #cod #coding #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python