• Перезапуск python скрипта с определенной строки?

    HemulGM
    @HemulGM Куратор тега Python
    Delphi Developer, сис. админ
    Можно. Сохраняй состояние в файл. Перезапускай скрипт. После запуска проверяй состояние и запускай с нужного места.
    Ответ написан
    6 комментариев
  • Создание прокси сервера для парсинга сайта?

    - но, если можно - в двух словах - не о том, КАК работают разные протоколы, а ЗАЧЕМ И КОГДА их применяют.


    Вот очень хорошая статья которая частично может ответить на ваши вопросы и похожие вопросы других людей.
    https://telegra.ph/Sravnenie-Proxy-SSH-i-VPN-09-06
    Ответ написан
    Комментировать
  • Общие вопросы по работе Интернета и сетей?

    @res2001
    Developer, ex-admin
    1. Вещи это разные, но взаимосвязанные. Домен сайта - это просто запись в DNSе и веб сервер настроенный на это имя. Домен AD - это целый комплекс решений, в которые в т.ч. входит и DNS и может быть веб сервер.
    Но сайты обычно используются внешними по отношению к организации пользователями, а домен предприятия - внутренними. Поэтому лучше их разделять и вообще делать так, чтоб инфраструктура обслуживающая обе сущности не пересекалась друг с другом. Делать это полезно в т.ч. и с точки зрения безопасности сети. При этом имя внутреннего и внешнего домена вполне может быть одно и то же, но это не обязательно.
    2. Маска нужна для того, что бы tcp/ip мог понять отправляется ли пакет в другую сеть, не доступную на прямую, или же он уходит соседу по своей сети. Если пакет отправляется в другую сеть, то включается маршрутизация, обычно это заключается в том, что реально пакет уходит на шлюз по умолчанию, а там уже разруливается по нужным направлениям. Делается это так:
    if ((remoteIP & mask) != (selfIP & mask)) {
      пакет предназначен для другой сети, идем на маршрутизацию
    } else {
      пакет для своей сети - можно отправлять сразу
    }

    Где:
    remoteIP - IP назначения,
    selfIP - свой IP,
    mask - маска своей сети.
    Используется операция побитового И.
    Для совершения подобной проверки маска и IP адреса преобразуются в 4-ёх байтовое беззнаковое целое (просто 4 октета IP адреса "склеиваются" вместе в двоичном представлении и составляют это 4-ёх байтовое целое) и уже над этими числами производятся операции.
    Из подобного применения маски видно, что она не обязательно должна быть 255 или 0. Возможны любые значения, которые может принимать 4 байтовое беззнаковое целое, где старшие биты единицы, а младшие нули. Например допустимы значения: 0, 128, 192, 224, 240, 248, 252, 254, 255 (тут я указываю значения для одного октета в маске). Чтоб было понятнее переведите все эти числа в двоичную систему.
    3. Классовой адресации уже в реальности нет (это "уже" длится уже долго, я не успел застать классовую адресацию :)). Про нее еще пишут в книгах, но в жизни ее нет. Везде где вы встретите маску в настройках IP - классовой адресации нет.
    В принципе, все задачи по разделению сетей и определению масок можно решить основываясь на том, как используется маска сети (см.п.2).
    4. Для виндовых машин фактический стандарт управления доменом - AD. По понятным причинам - предоставляется производителем винды.
    Но есть и аналоги. Из платных у Novell есть соответствующий продукт, которые то же умеет в виндовые GPO и т.п.
    Жаль, что сама Novell уже не существует и похоже "пошла по рукам", но ее продукты используются до сих пор. Некоторые продукты Novell опережали конкурентов на года.
    В основе AD лежит служба каталогов (посмотрите определение в вики). Есть открытый стандарт для подобных служб - LDAP. Есть открытые и проприетарные решения, реализующие службу каталогов. Как служба каталогов AD не единственная и далеко не лучшая. Кстати, на сколько я знаю, именно в Novell была разработана первая служба каталогов, когда еще AD даже в проекте не было.
    Но AD это не только служба каталогов, это еще и механизмы управления раб.станциями, пользователями и т.д. и т.п. И вот это все в совокупности делает AD не заменимой вещью для управления виндовой сетью.
    Ответ написан
    Комментировать
  • Общие вопросы по работе Интернета и сетей?

    paran0id
    @paran0id
    Умный, но ленивый
    4.1 - был такой Novell NetWare, это ближе всего, также можно использовать linux+samba в качестве контроллера домена, а ещё есть другие способы централизованного управления, авторизации и прочего.
    4.2 - вообще не понял
    4.3 - см. 4.1, можно
    Ответ написан
    Комментировать
  • Общие вопросы по работе Интернета и сетей?

    @Drno
    1)
    1.1 По приницпу - да. Только для сайта используется(покупается) общеизвесный домен, и доступ к нему могут получить по идее все (если допустим вы сайт сделаете), а для AD можно использовать любой придуманный домен, т.к. дальше вашей локальной сети он обычно не идёт.
    1.2 Впринципе да, при правильных сетевых настройках, но так никто не делает. Разве что внутри VPN
    1.3 Да, это запись в DNS. Сайту ненужно доменное имя для работы. Это сделано для удобства пользователей
    1.4 Это можно настроить по отдельности, нет не влияет. Это вообще разные вещи\сервисы
    1.5 Обычно нет(99%)

    2)
    Вот они и будут маршрутизироваться исходя из сети 192.168.х.х и для того чтобы они друг друга видели должна быть маска 255.255.0.0
    Логика тут такая - маска 255.255.255.0 ограничивает сеть 254 возможными(активными) адресами. При маске 255.255.0.0 активных адресов уже может быть 65534... При маске /24 у Вас активна только последняя "ячейка" При маске /16 последние две
    Для вашего примера, если я правильно смотрю, достаточно /18 маски 255.255.192.0
    spoiler
    Адрес : 192.168.90.10 11000000.10101000.01 011010.00001010
    Маска : 255.255.192.0 (18) 11111111.11111111.11 000000.00000000
    Wildcard: 0.0.63.255 00000000.00000000.00 111111.11111111
    Сеть : 192.168.64.0/18 11000000.10101000.01 000000.00000000
    Хост(min): 192.168.64.1 11000000.10101000.01 000000.00000001
    Хост(max): 192.168.127.254 11000000.10101000.01 111111.11111110
    Broadcast: 192.168.127.255 11000000.10101000.01 111111.11111111
    Хостов в сети: 16382 класс C, Интранет

    https://www.ispreview.ru/ipcalc.html

    3) Без понятия. Учился "находу"
    4) Да
    4.1 Да аналог по сути один - Samba (Linux)
    Судя по хабру список такой - FreeIPA, Samba4, UCS, OpenLDAP, 389 Directory Server
    4.2 Без понятия
    4.3 Можно, изучите вышеперечисленный софт, посмотрите что он умеет. Только зачем?
    Ответ написан
    3 комментария
  • Общие вопросы по работе Интернета и сетей?

    SignFinder
    @SignFinder
    Wintel\Unix Engineer\DevOps
    1. Нет, не одно и тоже. Но имена могут быть одинаковыми.
    1.1. Нет, не одно и тоже. Но имена могут быть одинаковыми.
    1.2. Да, если есть доступ к контроллеру домена - маршрутизация сетей или VPN.
    1.3. В общем и целом - да это DNS запись. Сайт может быть доступен и по ip адресу.
    1.4. При совпадении имен домена сайта и домена AD - да влияет и накладывает ограничения - например будет затруднительно сделать сайт, например domain.ru внутри организации при наличии домена AD domain.ru.
    1.5. Слово домен обозначает определенную область. Домен сайта - это имя домена сайта. Домен Active Directory - это имя домена AD.
    2. Маска подсети ограничивает количество ip адресов, которые могут использоваться в одной ФИЗИЧЕСКОЙ сети, например подключены к одному коммутатору\стеку коммутаторов.В вашем примере используются адреса из подсетей 192.168.100.x и 192.168.90.x - это значит что ваша подсеть должна накрывать все подсети начиная с 192.168.90 и заканчивая 192.168.100 - какая должна быть маска - посчитайте сами в онлайн калькуляторе.
    3. Да есть книги, описывающие TCP-IP v4 - там все описывается. Без теории и понимания - как все работает - никакие упражнения не помогут.
    4. Да.
    4.1 Аналоги чего? Directory сервисов или систем управления компьютерами?

    Тут я понял, что вопросы становятся совсем странными и решил остановиться. Гуглите - все ищется легко.
    Ответ написан
    1 комментарий
  • Нужно ли 40-летнему джуну уметь максимально много?

    php666
    @php666
    PHP-макака
    Короче, я боюсь, что, выучив слишком много всего, стану отпугивать работодателей своей продвинутостью.
    лол
    40 лет, а мыслит как 18-и летний юноша-максималист
    выучит он "слишком много всего"
    ты выучи сначала
    потом приходи сюда
    когда ты "слишком много всего" выучишь, тебе минимум будет 45 лет

    Но вот думаю: А не слишком ли "крутым" я стану?
    на первом же собеседовании тебя сотрет в порошок 25-30 летний чувак с опытом и покажет твое истинное место.
    это не оскорбления.
    это твое будущее.
    Ответ написан
    8 комментариев
  • Как работает данное определение приватного адреса в Python?

    phaggi
    @phaggi Куратор тега Python
    лужу, паяю, ЭВМы починяю
    Я так понял, не важно, какой там адрес - вся магия в getsockname, а адрес там может быть любой вменяемый вне компа. Хоть 8.8.8.8 - просто, чтобы сокет стукнулся вовне компа.
    Ответ написан
    1 комментарий
  • Определить что пришло на сервер - пакет или сегмент (udp/tcp)?

    vvpoloskin
    @vvpoloskin Куратор тега Компьютерные сети
    Инженер связи
    Не понятно, зачем сниффер. Программно и под tcp, и под udp открываются разные сокетов и переводятся в состояние LISTEN. Какой конкретно из них выбрать для нового соединения решает операционная система исходя из приходящих пакетов (сетевой стек сам анализирует пакеты). А если все-таки надо дать больше гибкости, есть iptables.
    Ответ написан
    Комментировать
  • Определить что пришло на сервер - пакет или сегмент (udp/tcp)?

    Если уж совсем в дебри сниффинга залазить, то scapy вам в руки
    Пример

    Но что-то мне подсказывает, что это перебор.
    Ответ написан
    Комментировать
  • Где можно хранить свои заметки из книг?

    @exclim
    Я пользуюсь ныне модным способом Zettelkasten, а именно программой Obsidian.
    Файлы храню на Google Drive, синхронизирую с Android-телефоном с помощью приложения FolderSyncPro.
    Ответ написан
    2 комментария
  • Что почитать про парсинг?

    datka
    @datka
    Основы HTML, CSS. Документацию по BeautifulSoup, Requests. Документацию по работам с List и Dict и циклами в питоне. Документацию по Selenium, Гайды по работе с консолью разработчиков Chrome/Firefox.Youtube ролики. Гугл. Как минимум надо знать как устроен сайт.
    Ответ написан
    3 комментария
  • Ошибка импорта класса из модуля?

    MinTnt
    @MinTnt
    Если relative import прям ни в какую не хочет работать, то остаётся два способа:
    1). Изменить название импортируемого файла, с исполнительного, на обычный.
    2). Использовать "подобие" импорта. Т.е. считать код из файла, далее запустить как исполняемый в объекте (чтоб уменьшить некоторую конфликтность), и далее из объекта достать нужный атрибут.
    file_to_import, module_to_import = 'parser.py', 'Web_parser'
    Web_parser = getattr(type('', (object,), [x() for x in [lambda: (exec([(code.read(), code.close()) for code in [open(file_to_import, 'r')]][0][0]), locals())[-1]]][0]), module_to_import)

    Хоть конечно, потом. Кому-то чтоб понять, что для чего вообще эта часть кода придётся ещё посидеть. Да и это такие действия имеют некоторые минусы. Так что лучше первый варянт.
    Ответ написан
    Комментировать
  • Использование socks5 в Selenium?

    @rPman
    Выходные ноды тора общеизвестная информация и многие веб-сервисы учитывают это при подсчете лимитов (или просто все ip адреса уже использованы другими и улетели в бан автоматом)
    Ответ написан
    Комментировать
  • Создание прокси сервера для парсинга сайта?

    CityCat4
    @CityCat4 Куратор тега Сетевое администрирование
    Внимание! Изменился адрес почты!
    Интересно. Чел, который понимает, что делает что-то "околозаконное" приходит и просит "дяденьки, научите меня плохому" :)
    Плохому, чувак, учатся сами :)
    Можно ли, имея динамический ип от провайдера - на mikrotik настроить прокси сервер, что бы, через него шли запросы от парсера?

    Можно, конечно. В том случае, если динамика - белая. Если она серая - не имеет смысла, потому что она "белеет" где-то там у провайдера.
    Впрочем финал у этой истории будет примерно одинаков, только если динамика серая, он наступит гораздо быстрее, если магазин, который парсят - толстый.
    В саппорт поступт заявка о непонятно откуда взявшейся капче на сайте магазина, куда "я сто лет хожу". Одна, вторая, сотая... Саппорт выяснит (либо у магазина, либо сам), откуда идет поток запросов и просто забанит Вас за нарушение договора. Если динамика белая и пул у прова большой, какое-то время так будет работать (в зависимости от скорости удаления банов на сайте магазина).
    (я вроде где-то читал, что как раз OpenVPN - для этого подходит?

    А я где-то читал, что в Австралии люди ходят на головах и зовутся "антиподы" :) VPN - это Virtual Private Network. Какое из этих слов можно применить к парсингу - я не знаю :) (в свете "а не арендовать на стороне", так-то конечно имеет отношение)
    а ЗАЧЕМ И КОГДА их применяют.

    Когда есть необходимость - тогда и применяют. Это тема на солидную книжку
    Ответ написан
    2 комментария
  • Как обновить версию php в Open Server до php 7.1.3?

    @uncletobe
    заходим в трей -> (рабочий стол - справа внизу, где часы) -> выбираем зеленый флажок опен сервера -> ПКМ -> настройки -> вкладка модули -> PHP -> в выпадающем списке выбираем нужную версию, если нужной нет в списке, то идем на ospanel.io и скачиваем с нужным модулем.
    Ответ написан
    3 комментария
  • Ошибка скачки через wget?

    @alex1478
    Сервер запрещает доступ к файлу. Если это не навороченная защита и для скачивания файла не нужно предварительно авторизовываться, то думаю будет достаточно поменять useragent wget'у
    --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0"
    Ответ написан
    6 комментариев
  • Литература про строение CPython?

    sergey-gornostaev
    @sergey-gornostaev Куратор тега Python
    Седой и строгий
    Комментировать
  • Отключение автозапуска приложений после включения - Debian 10?

    dyuriev
    @dyuriev
    A posteriori
    system settings -> startup & shutdown -> session management -> restore previous session

    в русском интерфейсе не уверен как точно написано будет, но перевести не сложно
    Ответ написан
    1 комментарий