• Как лучше парсить большой объём?

    xmoonlight
    @xmoonlight
    https://sitecoder.blogspot.com
    1. Зачем вы мучаете каждую минуту ресурс-донор?!!!!
    Если какие-то посты там мониторите, то достаточно мониторить RSS/Atom-ленту каждые 3-5 минут, а при появлении изменения - уже закачивать новый контент по линку из новости для дальнейшего парсинга к себе.
    2. Кравлер должен парсить Round-Robin'ом ("каруселью"): линк ресурса 1 -> линк ресурса 2 -> ... ->линк ресурса N->LOOP (начинаем сначала). А не проходить все линки ОДНОГО ресурса забивая ему канал!
    3. Качественный ресурс - необходимо кравлеру прикинуться обычным пользователем: не запрашивать часто, под одной сессией смотреть 5-6 слинкованных страниц.

    Тогда Вам спокойно хватит 2-3 прокси-адресов на долгое время.
    Ответ написан
    2 комментария
  • Можно ли в Raid вставлять диск большего объема?

    Jump
    @Jump
    Системный администратор со стажем.
    Можно ли в Raid вставлять диск большего объема?
    Да.

    Я правильно понимаю, что в втором массиве требуется заменить диск в 3 Тб.
    Да.

    Насколько принципиален вендор?
    Не имеет значения.

    Не развалится ли массив, если я воткну другой диск 3 Тб?
    Нет.

    В первом массиве возможно ли поставить диск другой модели и емкости например 500 Гб ?
    Да.

    Уточнение - диск может быть любой, емкостью не менее того что в массиве. Скоростные показатели массива будут определятся самым медленным диском массива. Диск должен поддерживаться компьютером и контроллером.

    И если вы не имеете опыта работы с этими массивами на этом контроллере - сделайте бэкап, или убедитесь что есть достаточно свежий бэкап.
    А если опыт есть - тогда просто сделайте бэкап, или убедитесь что есть достаточно свежий бэкап.
    Ответ написан
    Комментировать
  • Существуют ли в природе редакторы JavaScript с работающим автодополнением по типам?

    @sanex3339
    TypeScript + .d.ts дефинишены + IDE/редактор с поддержкой TypeScript (тот же webstorm), и будет счастье.
    Ответ написан
    3 комментария
  • Чем осуществить парсер/граббер защищенного сайта?

    xmoonlight
    @xmoonlight
    https://sitecoder.blogspot.com
    Есть система парсинга "Round-Robin".
    Допустим, есть 3 сайта и на них туча URL.
    Создаётся список урлов, чтобы временной интервал между парсингом URL с одного сайта был не менее 30 секунд.
    Т.е.: Сайт1->Сайт2->Сайт3->Сайт1->Сайт2->Сайт3 и т.д.
    Если быстрее происходит - ЖДЁТЕ!
    После парсинга каждых 5-6 урлов (сессию и user-агента - сохраняем на протяжении парсинга этого интервала) на одном сайте - меняем IP также по "Round-Robin".

    В итоге - Вы не создаёте нагрузки и не мешаете удалённому сайту нормально функционировать.
    Ответ написан
    Комментировать
  • Не работает метод POST в PHP, он что устарел? Как им теперь пользоваться?

    Sanasol
    @Sanasol Куратор тега PHP
    нельзя просто так взять и загуглить ошибку
    нельзя просто так взять и прочитать ошибку
    Ответ написан
    2 комментария
  • Почему фрилансеры готовы общаться только в чате?

    xmoonlight
    @xmoonlight
    https://sitecoder.blogspot.com
    Ответ прост: перепродажа услуг ничего непонимающим человеком в 99.99% случаев: режим "роутера" => ведение двусторонней переписки в двух чат-окнах.

    Задать протокол ведения диалога - можно всегда после первого созвона и вступительной беседы, чтобы понимать квалификационный уровень исполнителя.

    Если человек не хочет общаться голосом - он не компетентен в данном вопросе и просто этого избегает. (другие, еще хуже: только по почте общаются)

    Итог: отказались поговорить и ответить на Ваши вопросы голосом - сразу же ищите следующего исполнителя. (или ориентируйтесь на скорость ответа в чате + время суток, что не советую)
    Ответ написан
    6 комментариев
  • Сколько стоит IT-услуга на фрилансе? Как узнавать вилки цена\(качество=профессионализм)?

    DmitriyEntelis
    @DmitriyEntelis
    Думаю за деньги
    Цена, качество и скорость напрямую не связаны.
    Оценить что сколько может стоить достаточно просто:
    - либо быть грамотным специалистом самому (и соответственно крупными мазками понимать объем работы)
    - либо иметь проверенного специалиста который даст первую оценку за Вас
    Ответ написан
    Комментировать
  • Что нужно для анонимности в сети? Какие средства для этого имеются? Как скрыть своё местонахождение и действия с финансовыми операциями?

    @lakegull
    1. Скрывает IP, трафик не шифруется, соответственно провайдер всё про вас знает.
    2. Логи, мозги, наводки.
    3.Да, сведение фактов воедино, может способствовать разорению уютного гнёздышка.
    4. и 5. Воспользуйтесь услугами VPN-провайдеров, которые не ведут логи. Весь трафик будет зашифрован и со стороны провайдера невозможно будет определить что вы делали и куда заходили. Желательно, чтобы сервера VPN-провайдера находились в стране, где его законодательно невозможно обязать раскрыть логи ( при условии, что они всё таки ведутся).
    Становлению качественной анонимности предшествует процесс подготовки. Я очень надеюсь, что все ваши действия с финансовыми операциями легальны, поскольку мои советы предназначены для сохранения коммерческой тайны организации.

    Техническая сторона: если вы кому-то будете очень интересны, то успешность выхода на вас это в основном просто вопрос денег. К примеру заставить VPN-сервис раскрыть свои логи будешь стоить недёшево, а заставить сразу двух провайдеров в разных странах открыть свои карты будете стоить 10х недёшево, и не факт, что получится.
    Во этому поэтому есть смысл шифровать трафик последовательно, через 2 VPN-сервиса.

    "Социал-инженеринговая" сторона:
    На вас можно выйти по косвенным признакам: вдруг на пару часов шифранулись, чего обычно не делаете. Сообщение вроде безобидное отправили человеку, сразу образуется ненужная связь с вами, а те, кому надо, просто начинают копать дальше. А вы в курсе, что более половины аккаунтов в разных социальных сетях СНГ и почтовых ящиков взламывается за считанные часы и эти услуги стоят копейки - менее 15000 рублей?
    Советы следующие:
    Полностью прекращайте общение по бизнесу через социальные сети. Бизнес-партнёров в друзья не добавляете (даже в FB) и сообщения им не пишете, любые. Рабочую почту желательно завести у зарубежных сервисов, обычно они платные, но это всего то около 30$ в год. Покупаете VPN и шифрует весь свой трафик всегда, а не только когда проводите операции.

    UPD

    Твой Товарищ:
    Если мой айпи зашифрован, но трафик - нет. Местоположение пользователя вычисляется?
    IP не может быть зашифрован, он просто изменён на другой. Возможность вычисления местоположения зависит прежде всего от сервиса, который вы используете для смены IP-адреса. Доверять свою анонимность бесплатным прокси-серверам и всяким "анонимайзерам" - это себе дороже. Большинство платных прокси-серверов могут обеспечить вам смену IP-адреса и при этом, как я уже говорил, не ведут логов, поэтому технически вас найти будет либо очень сложно, либо вообще невозможно. Пара слов о работе прокси-сервера: он меняет ваш IP на свой. Этот "свой" он берёт у другого простого пользователя в интересующей вас стране, ПК которого заражён троянским ПО. То есть весь трафик от вас / к вам идёт через ПК этого пользователя.
    Помимо отсутствия шифрования, у прокси-серверов есть и другие минусы, это нестабильная скорость и обрыв соединения (когда пользователь с троянским ПО перезагружается или выключает ПК).
    Приоритет, чтоб локация моего устройства была недоступно для других глаз

    Если это смартфон с сим-картой внутри, то тут всё сложнее. Дело в том, что оператор связи может определить местонахождение любого абонента с точностью в несколько десятков метров (в городе). Но на смартфоне так-же можно настроить VPN (OpenVPN) и работать анонимно. GSM-анонимность - это отдельная тема, слишком большая, чтобы раскрывать её здесь. Многие прошаренные бизнесмены общаются по бизнесу только с отдельного аппарата, сим-карта которого зарегистрирована на кого-нибудь из своих охранников. В РФ пробивается любая информация, даже просушка телефонных разговоров, это лишь вопрос цены.
    И если я правильно понимаю, то трафик - это поток информации и деятельности в сети?
    Это те самые мегабайты и гигабайты информации, которую вы скачиваете с сети или наоборот отправляете в сеть. Информация разбивается на небольшие "пакеты", и они гуляют от сервера к серверу.
    И и очень важное что такое ЛОГИ?
    Это журнал протоколирования, который находится на каком-либо сервере, в нём ведётся учёт того, с какого сервера и во сколько пришёл пакет с данными и на какой сервер он был переадресован впоследствии. Это цепочка, следы на снегу, которые могут в итоге привести к вашему реальному местоположению. Эта цепочка обрывается на том месте, где сервер (в данном случае VPN-провайдер), не ведёт логи.
    Насчет по социал-инжиниринговой стороне мало понял, если есть время, то можете раскрыть?
    Социальная инженерия, это способ с помощью которого можно обойти технические средства защиты информации и получить желаемую информацию, опираясь на человеческий фактор и человеческие слабости. Если по простому - это развод кого-либо из ваших знакомых, с целью получить какую-либо информацию о вас. Если это делает профессионал, который предварительно собрал о вас информацию из открытых источников, то скорее всего вы даже не заметите, когда у вас из под носа уведут конфиденциальные данные. Эта тема ещё более огромная, чем GSM-анонимность.
    И насколько я знаю, то сторонние интерне-ресурсы обязаны по закону держать сервера с информацией на территории России. "Закон о персональных данных" который обязывает интернет-компании хранить личные данные российских пользователей внутри страны.
    VPN-провайдеры, у которых вы шифруете свой трафик, не хранят у себя на серверах скаченные вами данные. Они лишь обеспечивают транзитный трафик + его шифрование, ну и смену IP, конечно. Соответственно по действие закона о персональных данных не попадают.

    VPN работает, как показано на схеме:
    78d40072cea44952aa92a74e31288455.JPG

    По данной схеме ваш IP-адрес будет заменён на IP-адрес сервера в Нидерландах. То есть для владельца сайта, который вы посещаете, вы будите определяться как посетитель из Нидерландов.

    При VPN-соединении, провайдер, который предоставляет вам доступ в интернет может лишь посчитать объём скаченных вам данных, но не может определить их содержимое. Так-же не может определить происхождение этих данных.

    Напоследок.
    У любой анонимности есть две фазы:
    1) до того момента, как вашу личность начали ассоциировать с определённым событием
    2) после этого момента.

    В первом случае вам будет достаточно просто шифрования с последовательным соединением через двух VPN- провайдеров.
    Во втором случае риск утечки конфиденциальных данных многократно увеличивается. Если есть возможность не делиться конфиденциальной информацией с партнёрами по бизнесу, то не делитесь ею. Большинство людей взламывается на на раз-два.

    UPD2
    еще тут человек выше вашего комментария пишет, что провайдер и так знает, где пользователь находится, если пользоваться вашими советами, то можно этого же избежать.?То вроде всё понятно с ваших слов, но встречаются некоторые разноглася между комментаторами.


    Видимо человек подразумевает что для провайдера вы не являетесь анонимным пользователем. Это верно, поскольку он вам предоставляет доступ в интернет по договору, оформленному на паспортные данные реального человека. На ваш или нет - это не важно. Физический доступ к ПК может быть у нескольких людей, но спрашивать прежде всего будут с того, чья фамилия в договоре. Разумеется это случиться только при условии что логи приведут к вам. Если всё сделать грамотно, то это не произойдёт никогда. А пока нету прецедента - никто никого искать не будет. Я повторюсь - попытка найти хвосты из IP-адресов, выстроить всю цепочку и выйти на реального человека, это очень недешёвое занятие и не факт, что будет хоть какой-нибудь результат. Браться за это дело заинтересованные лица будут только в том случае, если есть хоть какие-то гарантии, что результат покроет потраченные ресурсы. А пока вы не долларовый миллионер - никто такой марш бросок ради вас делать не будет.

    Вопрос о провайдере, который о вас знает иллюстрируется следующей аналогией:
    Вот вы идете по улице и видите вокруг себя людей, верно? Вы видите лица людей, возможно некоторые из этих лиц вам встречались ранее, возможно некоторых вы знаете по имени и даже знаете их паспортные данные (допустим коллегу по прошлой работе встретили). Вы знаете где эти люди сейчас находятся (в поле вашего зрения!), вы видите с кем они сейчас общаются, при желании вы даже можете запомнить номера и марку машины, куда они сели. Вопрос: ДАЛЬШЕ ТО ЧТО!
    Вы же не можете утверждать, что человек проходящий мимо вас в чёрных очках надел их потому, что хочет скрыть глаза, поскольку вам кажется, что очки в пасмурную погоду могут одевать только те, кто совершил какое-то преступление. Это всего лишь ваша интерпретация.
    Тоже самое и с провайдером - он не может утверждать, что вы занимаетесь чем-то нелегальным просто на основании того, что начали шифровать весь трафик. В мире любая вменяемая организация шифрует весь свой трафик. Это коммерческая тайна! Так должно быть! В противном в голове у службы безопасности такой организации - СОВОК.

    Последуйте моим рекомендациям: шифруйте ваши конфиденциальные данные и ни пускайте за штурвал ваших ПК и мобильных устройств людей, кого недостаточно хорошо знаете. Высыпаться станете лучше.
    Ответ написан
    19 комментариев
  • Считается ли хорошим подходом создавать исключения в Java?

    @sirs

    if (box== null) throw new Exeption("Коробки нет на складе");
    if (box.ready) throw new Exeption("Коробка уже отсканирована");

    Куча if не есть хорошо. Почему бы вам просто не ввести понятие State, создать под него Enum со всеми возможными состояниями и применить шаблон, например, Strategy . Под каждое конкретное состояние объекта нужно будет написать отдельный обработчик и из метода кидать не Exception, а просто передавать управление в нужный обработчик.

    Как альтернативный вариант - посмотрите фреймворки, который позволяют организовать т.н. Route, может быть вам понравится такая реализация. Если коробка есть на складе - пройти по пути 1, если коробки нет на складе - пройти по пути 2, если с коробки уже считан код - пройти по роуту 3 и т.д. Такая реализация, например, поможет наладить транзакционность из коробки.
    Ответ написан
    2 комментария
  • Как подключить к Яндекс.Картам свой слой, сделанный в проекции EPSG:3785?

    forgotten
    @forgotten
    Руководитель разработки API Яндекс.Карт
    В API Яндекс.Карт можно подключать слои в любой проекции. И даже несколько слоёв в разных проекциях одновременно.
    https://tech.yandex.ru/maps/doc/jsapi/2.1/ref/refe...
    https://tech.yandex.ru/maps/doc/jsapi/2.1/ref/refe...
    Ответ написан
    1 комментарий
  • Как автоматизировать GIT?

    POS_troi
    @POS_troi
    СадоМазо Админ, флудер, троль.
    На моей памяти, тут вроде не было, более извращённого желания в сторону GIT-а :)
    Ответ написан
    Комментировать
  • Как сделать вывод изображения как у google images?

    aliencash
    @aliencash
    Партизан
    О боже, какие 2 картинки... ) Это прогрессивный jpeg - https://habrahabr.ru/post/165645/
    Ответ написан
    Комментировать
  • Почему заказчики на UpWork требуют использовать Bootstrap?

    iam_not_a_robot
    @iam_not_a_robot
    Я заказчик который просит использовать Bootstrap и использование только сетки меня не устроит. Потому что это полная стандартизация, в компании вашу вёрстку могут дорабатывать непрофессиональные верстальщики и если им надо добавить кнопку они делают так:
    <button type="button" class="btn btn-default">Левая</button>

    А если надо ошибку они делают так:
    <div class="alert alert-danger">...</div>

    copal правильно ответил - это залог будущей поддержки и в будущем я планирую внедрить BS в абсолютно все проекты которые я делаю.
    Ответ написан
    6 комментариев
  • Что мой провайдер знает обо мне?

    @nirvimel
    Когда я захожу на определенный сайт, провайдер видит URL?

    Да.

    А если я захожу на https?

    Известен IP сервера и имя домена. Больше ничего.

    Откуда провайдер узнает, что я скачиваю определенный фильм/программу через torrent?

    Торрент-клиент общается с трекером по HTTP. Все видно насквозь: конкретные торренты + вся статистика (когда начато скачивание, когда закончено, когда пошла раздача, сколько роздано). Возможно подключение к трекеру и по HTTPS, но rutracker.org такой возможности не дает (мне тоже интересно почему).

    Все пакеты которые я получаю и раздаю значит провайдер скачивает себе, чтобы узнать что это за фильм/программа?

    Провайдер не хранит у себя весь трафик. Это технически невозможно. Но трафик обрабатывается, классифицируется и ведутся логи о том какой тип трафика когда входил/уходил от абонента.

    Или он отслеживает факт скачивания .torrent файла, а затем делает вывод по идущим пакетам, что это скачивается?

    В основном отслеживаются коммуникации между торрент-клиентом и трекером (там все самое интересное). Коммуникации между пирами требуют значительных мощностей для расшифровки, поэтому логгируется только факт коммуникации с определенным пиром, но не содержимое.

    Когда я пользуюсь VPN, что видит провайдер?

    Видит шифрованный траффик на конкретный IP. По IP можно узнать, что этот диапазон продается под VPSы. Сам факт шифрованного трафика вешает абонента в списки тех, "кому есть что скрывать", а значит подозреваемых при любом розыске.

    Что я зашел на определенный IP и с него идут зашифрованные потоки?

    Дальнейшее направление трафика от VPN-сервера отследить невозможно (по крайней мере, на оборудовании провайдера в автоматическом режиме). Но при целенаправленной слежке за абонентом в принципе возможно по временным меткам сопоставить трафик абонента с трафиком любого сервера.

    OpenVPN будет работать через VPN IP и в браузере и при обновлении Windows, драйверов, ...?

    В зависимости от настройки. Но в общем случае, да, так.

    Читал, что в Windows есть такая особенность, что если провайдер как-то урезает пакет, то VPN отключается и сайту показывается мой реальный IP?

    Это не связанно с провайдером. Это особенность Windows. Когда VPN отваливается, весь трафик вылетает наружу в открытом виде. Опять же зависит от настроек. Но это еще одна цена "удобства" при использовании Windows.

    При этом провайдер видит на каком я сайте, что скачиваю?

    VPN отвалился - хацкер спалился.

    Таких фишек много?

    Смотря о чем речь. В сфере сетевой безопасности и анонимности различных нюансов вообще много.

    Как от них защитится?

    Учить мат.часть. Разбираться в сетевых протоколах и в устройстве ОС.

    Если пользуюсь каким-то расширением типа ZenMate, dotvpn, провайдер аналогично как и с VPN видит что что-то отправляется и приходит на определенный VPN IP?

    Расширения очень разные. Они могут базироваться на совершенно разных технологиях. Ни один специалист вам не скажет за все расширения. Не исключено, что многие из них, по сути - honeypot, то есть созданы с целью слежения за любителями анонимности, привлекают своим удобством и дают ложное чувство безопасности.

    При использовании Tor, кто-то пользуется моим IP, пока я пользуюсь чужим?

    Нет. Если у вас не сконфигурирован Exit Node.

    Что при этом видит провайдер, что я получаю потоки данных с определенных IP и каждый раз разный IP?

    У них есть система точного обнаружения использования Tor. Это факт остается в логах с теми же последствиями, что и для VPN.

    Провайдер видит URL?

    Через Tor и VPN - нет.

    Каким образом можно полностью управлять сетью на ПК, видеть что, куда и когда отправляется или приходит на ПК (Windows, Linux)?

    Видеть все: https://www.google.com/search?q=Wireshark
    Блокировать все лишнее: https://www.google.com/search?q=Comodo+Firewall
    Ответ написан
    22 комментария
  • Какую фантастику порекомендуете, где главный герой программист/инженер?

    @whiteBlackness
    Мне очень понравился фанфик "Гарри Поттер и рациональное мышление"
    hpmor.ru
    От спеца по ИИ (Элие́зер Шло́мо Юдко́вский )
    Ответ написан
    2 комментария
  • Что быстрее 10 запросов к файлам или 10 к базе?

    27cm
    @27cm
    TODO: Написать статус
    Что быстрее: спросить на тостере или проверить самому?
    Ответ написан
    1 комментарий
  • Как правильно форкать проект для основы своего?

    @FoxInSox
    Инструкция по единственно правильному методу:
    1. Нажмите кнопку Fork:63c3075b9f6d4bd7ada8406ea62cd9e5.png
    2. Вы успешно и правильно сделали форк проекта. Конец инструкции.
    Ответ написан
    Комментировать
  • Как убрать рамку (полосу) в phpstorm?

    DevMan
    @DevMan
    Settings -> Editor -> Appearance -> Show right margin
    или
    Settings -> Editor -> General -> Appearance -> Show right margin

    a проще в настройках вбить Show right margin в фильтр.
    Ответ написан
    2 комментария
  • Как поделиться с Яндекс.Картами панорамами с воздуха?

    freeExec
    @freeExec
    Участник OpenStreetMap
    А поделись ими так же с www.mapillary.com
    Ответ написан
    Комментировать