Задать вопрос
  • Чем пропарсить несколько миллионов доменов?

    Jump
    @Jump
    Системный администратор со стажем.
    Да чем угодно. уж не знаю что там может тормозить.
    Я обычно на питоне делаю, хотя такая элементарная задача решается на любом языке.
    Понятное дело что если хотите очень больших скоростей - желательно делать не в один поток и не с одной машины.

    Простая математика:
    По количеству-
    Допустим средняя страница будет отдаваться за 1секунду - какие-то значительно быстрее, какие-то дольше, но в среднем 1сек.
    В итоге за час 3600доменов, за сутки 86,4тыс доменов - все обойдете за 65дней.
    Надо быстрее? - Запускате в несколько потоков.
    Хотите за сутки - 65 потоков и будет вам за сутки.
    По объему -
    Средний вес веб страницы сейчас около 2мб.
    Если вы будете собирать по одной странице в секунду вам надо быть готовым прокачать 2мегабайта в секунду, т.е минимальная скорость подключения 16мегабит в секунду.
    Если вы будете работать в 65потоков, и собирать 65 страниц в секунду, надо быть готовым прокачивать 130мегабайт в секунду, т.е минимальная скорсоть подключения гигабит в секунду.

    Стабильный гигабит вам дадут только в ДЦ и то не факт, на домашнем тарифе маловероятно такое получить. Поэтому вести парсинг желательно с нескольких мест с хорошим линком, если есть требования по времени.
    Ну и общий объем сохраненных данных будет в среднем около 0,3террабайта.
    Это конечно если с картинками.
    Если тащить чисто текст - все гораздо веселее, раз этак в 50.


    А вообще все зависит от конкретных требований и возможностей - что тащить со страницы, нужна ли гарантия обхода каждой страницы, время за которое нужно делать обход, бюджет на расходы.
    Ответ написан
    Комментировать
  • Кто отвечает за мобильную версию сайта?

    Немного балуюсь дизайном и фронтендом, могу сказать так: никогда не понимал смысла полностью рисовать мобильную версию сайта, когда в общем-то и так понятно как сайт должен адаптироваться. Конечно бывают некоторые моменты, о которых дизайнер должен предупредить. Однако, я считаю, большая часть работы лежит на верстальщике.

    Возьмите и сверстайте сайт с использованием Bootstrap, при грамотной верстке, большая часть компонентов будет адаптирована и, в общем-то, никак по-другому вам делать и не захочется (4 блока в ряд на телефоне перевернутся в стобец из 4 блоков и по-другому никак не будет). Поэтому сидеть рисовать мобильную версию сайта - бесполезная трата времени.
    Ответ написан
    2 комментария
  • Есть ли у Хабра ограничение на длину поста?

    @AlikDex
    Полагаю, 64кб текста(включая теги, пробелы, спецсимволы). Склонен считать, что в качестве бд используют мускул, а поле для тела статьи имеет тип text.
    Ответ написан
    Комментировать
  • Внедрение 1с-коннект в свою сеть чужой организацией. Минусы?

    tsklab
    @tsklab
    Здесь отвечаю на вопросы.
    1с-коннект
    Тот, кто у вас занимается 1С, тот пусть и решает с директором по безопасности. Мой главный бухгалтер категорически против любого внешнего доступа с базам 1С.

    Я сам как сисадмин не юзаю, по ряду причин, удаленку в своих сетях.
    Тогда вы не системный администратор. Настройте свою сеть, так чтобы удалённый доступ не ломал безопасность. Не забывайте, что удалённый доступ может предоставляться учётной записи с весьма ограниченными правами — их установка и является обязанностью системного администратора. В моём случае удалённый 1С-программист имеет доступ только к одному компьютеру и изменению конфигурации 1С. Доступа к БД 1С у него нет, как и доступа к другим компьютерам.
    Ответ написан
    9 комментариев
  • Как сделать автоматическое скачивание файла через 10 секунд?

    snipeer777
    @snipeer777
    Middle E-Commerce
    <script type="text/javascript">
    setTimeout('document.location.href="путь к скачиваемому файлу";', 10000);
    </script>
    Ответ написан
    1 комментарий
  • Математика из 5-6 класса, как вычислить процент?

    DevMan
    @DevMan
    9000 - 100%
    6000 - х%
    х = 6000 * 100 / 9000 = 66.666666667
    то есть 6000 - это 66.666666667% от 9000
    то есть 9000 уменьшилось на (100 - 66.666666667) = 33.333333333%.
    Ответ написан
    Комментировать
  • Что значит U в обозначении оперативной памяти?

    @123459
    возможно U это оригинальный способ указания типа памяти - не буферизованная, для обычных компьютеров.
    погуглите Form Factor: UDIMM
    отличие от буферизованная - больше нагрузка на контроллер памяти процессора, потому если устанавливать такую память в сервер, то максимального объёма памяти для серверного процессора не добиться.
    https://ru.wikipedia.org/wiki/%D0%A0%D0%B5%D0%B3%D...

    и ещё, никогда не делайте так
    DDR4, 3333 MHz (PC4-26600U)
    - пишите полную модель памяти, тогда на сайте производителя можно узнать тип и характеристики
    Ответ написан
    2 комментария
  • Существуют ли сервисы просмотра php кода сайта?

    NikkyNick1
    @NikkyNick1
    Браузеру передаётся только чистый уже интерпретированный html-код без переменных и операторов php.
    Ответ написан
    Комментировать
  • Как запретить ссылки в PHP?

    snipeer777
    @snipeer777
    Middle E-Commerce
    Ответ написан
    Комментировать
  • Как заменить Wi-Fi в ноутбуке?

    Зависит от BIOS. В некоторых моделях разрешено использовать лишь модули из "белого списка". Зачастую проблема решается прошивкой.

    Аппаратно же это простой mini pci-e, и любой модуль подойдёт.

    В вашем случае нужно поискать информацию где-нибудь на www.techinferno.com

    goughlui.com/2014/08/02/laptop-wireless-card-white...
    At this time, it is known that some recent Lenovo, Toshiba, Dell, HP and Compaq follow this whitelisting practice. From my experience, it appears that Asus, Acer, and MSI don’t.

    Судя по всему Asus такой фигнёй не страдает.

    Я бы всё же посоветовал у друзей взять любую карту и проверить работоспособность не родного модуля, прежде чем что-то покупать.
    Ответ написан
    Комментировать
  • Почему русские слова не добавляются в cookie в safari, а в opera отображаются?

    IonDen
    @IonDen
    JavaScript developer. IonDen.com
    Перед сохранением в cookie, кодируйте свою строку с помощью encodeURIComponent

    При чтении, декодируйте обратно с помощью decodeURIComponent

    Несмотря на то что современные cookie поддерживают Unicode, не всегда можно его туда записать.
    Изучите эту статью: stackoverflow.com/questions/1969232/allowed-charac...

    Все зависит от браузера, Safari например UTF не сохраняет. Так что, кодируйте свои строки.

    Для работы с Cookie, лучше всего использовать специальную библиотеку, которая из коробки умеет все это делать и обладает удобным API: https://github.com/js-cookie/js-cookie
    Ответ написан
    1 комментарий
  • Ноутбук не включается после некорректной зарядки?

    Jump
    @Jump
    Системный администратор со стажем.
    Скажите, в чем может быть проблема и во сколько обойдется ремонт.
    Все просто ноутбук сломался, нужно отнести в сервисный центр,там посмотрят и оценят стоимость ремонта.

    Это все что можно сказать по приведенной вами информации.
    Если нужен более подробный ответ - предоставьте ноутбук, посмотрим.
    Ответ написан
    Комментировать
  • Абстракция "сокрытие информации"?

    manul
    @manul
    Забейте на эти определения. Вот вам private и protected, это сокрытие информации. Всё просто.
    Насчёт var - автор вашего видеокурса очень и очень заблуждается. Ведь есть ide которая подскажет тип, есть typeof, в кнце концов можно просто посмотреть код выше. Да и вообще - в сокрытии типов таким образом смысла никакого нет.
    Ответ написан
    Комментировать
  • Почему говорят, что ООП это зло?

    index0h
    @index0h
    PHP, Golang. https://github.com/index0h
    Глупости. ООП - очень мощная парадигма. Бывают кейсы, когда она слишком накладна, это правда, но заявлять, что она зло...
    Безусловно, если обмазываться всякими хаскелями, лиспами, эрлангами, скалами... где ООП парадигма может не давать профита, либо не применима вовсе - конкретно в тех языках ее использовать и не нужно.
    В языках же заточенных по ООП парадигму - ФП с большой вероятностью будет плохой идеей.

    Как то статья была, жаль не нашел (если кто найдет - отпишите в комментариях пожалуйста), со сравнением ООП и ФП, одним из тезисов было сравнение существующих принципов и паттернов, в ООП: наследование, полиморфизм, инкапсуляция, SOLID, IoC, ServiceLocator,... а у ФП: функции, функции, функции...

    ФП сейчас набирает популярность, однако много людей, в том числе из моих знакомых, ярых поклонников этого направления вернулись обратно к "классике", в основном причина была такая: слишком высокая цена поддержки.
    Ответ написан
    2 комментария
  • Почему MacOS не хватает 16 гиг памяти?

    xpert13
    @xpert13
    Full Stack Developer
    Установите себе что-то на подобии Monit и посмотрите кто является основным пожирателем оперативки
    f87c5c1a0b0a465fb7ea2657f344a52c.png
    Ответ написан
    5 комментариев
  • Как обезопасить свой хостинг от взломов?

    Sanes
    @Sanes
    Никак. Вас спасет грамотный администратор. И то не факт.
    Ответ написан
    Комментировать
  • Почему когда получяю значение через GET сравнение не работает?

    DmitriyEntelis
    @DmitriyEntelis
    Думаю за деньги
    Я что то не пойму - что Вы вообще пытаетесь сделать и зачем.
    При чем тут sql injection? Пытаетесь проверить что GET['id'] числовой?
    Для этого
    а) есть замечательная функция is_numeric
    b) любые параметры при передаче в sql нужно явно экранировать и/или приводить к integer.

    PS а не работает потому что у Вас написано user_passs в одном месте и user_pass в другом
    Ответ написан
    2 комментария
  • Что за странная ошибка Error:Error converting bytecode to dex: Cause: java.lang.RuntimeException: Exception parsing classes?

    sergey-gornostaev
    @sergey-gornostaev
    Седой и строгий
    Я начинаю подозревать, что большинство молодых разработчиков сторонники движения "Боко харам". Не знаю чем ещё объяснить нежелание читать документацию, статьи и книги.

    Описание параметра multiDexEnabled в официальной документации. И первая же ссылка в Google, для тех, кто не может в английский.
    Ответ написан
    Комментировать
  • Платное приложение предоставить пользователю бесплатно?

    @onepavel
    Консультация и разработка мобильных приложений
    Это называется промо коды
    https://support.google.com/googleplay/android-deve...
    Ответ написан
    Комментировать
  • Как организовать продажу внутриигровой валюты?

    webinar
    @webinar
    Учим yii: https://youtu.be/-WRMlGHLgRg
    У любой платежной системы есть api для этого. Любая платежная система имеет документацию. Поисковые системы отлично индексируют эти страницы и они есть в результатах поиска. В чем проблема?
    Ответ написан
    Комментировать