Задать вопрос
VoidVolker

VoidVolker

Dark side eye. А у нас печеньки! А у вас?
Лайки

  • Как можно оптимизировать этот код?

    Vindicar
    @Vindicar
    RTFM!
    Для начала определи, что у тебя занимает время - скачивание, или парсинг. Подходы будут разные.
    Если хочется в лоб решать задачу - то multiprocessing в руки, даёшь дочернему процессу URL, он тебе возвращает структуру данных. Главный процесс раздаёт URLы и собирает ответы в какое-то итоговое хранилище.
    Пример работы с пулом процессов.
    Ответ написан
    Комментировать
    Комментировать

  • Как нагрузить MacBook в шоуруме магазина?

    GavriKos
    @GavriKos
    Если запрещают - то очевидно что никак.

    И да, он греется. Все маки греются. Эиры - тем более, у них пассивное охлаждение
    Ответ написан
    1 комментарий
    1 комментарий

  • Почему винда создает неправильную запись в route table?

    @mvv-rus
    Настоящий админ AD и ненастоящий программист
    Неправильный шлюз по умолчанию прилетает вам по DHCP на следующий интерфейс: Ethernet adapter VMware Network Adapter VMnet8. Его создает VMware WorkStation, а используется он в настройках по умолчанию для выхода наружу через NAT виртуалок подсоединенных к соотвествующей сети.
    Т.к. я не знаю, для чего у вас на ПК используется VMWare (и используется ли вообще - у вас там вообще всё интересно: я вижу ещё следы VirtualBox и Hyper-V), то точно сказать, что вам надо сделать, я не могу. Но, как минимум, можно в Virtual Network Editor отключить DHCP на нем - а если у вас в этой виртуальной ести еесть виртуалки - настроить на них адрес IP вручную.
    Ответ написан
    Комментировать
    Комментировать

  • Архитектура кластера баз данных для географически распределенного проекта?

    Eugene-Usachev
    @Eugene-Usachev
    Если "чат/мессенджер/что-то подобное", будет лежать очень много данных. То есть профили можно сохранить хоть в Postgres + Redis (шардированный по регионам), и иметь вполне себе хорошую производительность. Проблема будет именно с сообщениями.

    Если решать проблему по логике "почему бы не стремиться к 8 млрд пользователей", для профилей можно взять Aerospike или Tarantool. Оба решения имеют возможность шардирования по вторичным ключам, так что их можно разнести по разным регионам. Причём надо именно шардироваться, а не только реплицироваться. Таким образом, можно избежать "узких горлышек". В этом случае оба решения будут выдавать более миллиона запросов в секунду на один кластер с маленькой задержкой (скорее всего двухзначной в медиане) и не иметь единой точки отказа.

    С сообщениями сложнее, так как их будут петабайты. Тут советую не "изобретать велосипед" и взять ScyllaDB, как это сделал Discord. ScyllaDB работает с огромными массивами данных довольно быстро и прекрасно масштабируется. Ради двухзначных чисел задержки в медиане достаточно шардироваться по регионам.

    Выводы очень простые. Если "стремиться к 8 млрд пользователей" надо
    1 - использовать нереляционные СУБД
    2 - шардировать БД по регионам (тогда можно отказаться от очередей)
    3 - использовать кэширование "горячих" данных
    4 - использовать Write-Optimized СУБД для больших массивов данных.

    Если у Вас "8 млрд пользователей" Вы можете позволить себе по датацентру в каждом регионе, поэтому основной задачей является правильное шардирование. И ещё один совет. Если гнаться за производительностью, надо использовать не очереди сообщений, а многопоточные асинхронные серверы, которые "кучкуют" сообщения пачками, чтобы как можно реже обращаться по сети.
    Ответ написан
    1 комментарий
    1 комментарий

  • Как правильно разбить csv файл?

    sergey-gornostaev
    @sergey-gornostaev Куратор тега Python
    Седой и строгий
    Прочитать файл построчно, разбить каждую строку по разделителю, условным оператором проверить, что первый элемент начинается с "example", в истинном блоке записать строку в один файл, в ложном в другой. Либо примерно то же, но с помощью спискового включения с группировкой.
    Ответ написан
    Комментировать
    Комментировать

  • Формируя Readme-файл, если это WPF-проект, то что минимум нужно конечному юзеру и программисту, чтобы его запустить?

    yarosroman
    @yarosroman
    C# the best
    https://learn.microsoft.com/ru-ru/dotnet/core/depl...

    Читаем "публикация автономных приложений"
    Ответ написан
    Комментировать
    Комментировать

  • Почему не получается спарсить названия учебных заведений?

    Vindicar
    @Vindicar
    RTFM!
    Ты хотя бы в браузере пробовал открыть исходный код страницы (обычно Ctrl-U)?
    Это динамический сайт, там по умолчанию в body два с половиной скрипта, которые уже подтягивают остальной контент. Конечно, ты его не получишь одним запросом.
    Выясняй, какой запрос скрипты делают для получения контента, и имитируй уже его. Консоль разработчика в помощь.
    Ответ написан
    Комментировать
    Комментировать

  • Как ограничить доступ к веб интерфейсу gitlab?

    @Wexter
    iptables в помощь
    Ответ написан
    1 комментарий
    1 комментарий

  • Можно ли использовать dll в Ubuntu?

    @rPman
    .dll это динамически подключаемая библиотека для windows.
    Создавать приложения для windows можно и в linux, например готовый тулчейн можно установить с пакетом mingw-64 (32-битная версия не поставляется в репозитариях но думаю можно найти) а по факту он использует gcc который умеет кросскомпиляцию, но вручную разбираться придется во многом.

    С некоторыми шансами можно установить windows компилятор в wine... в общем можно но не просто. Как минимум нужно будет собрать информацию об архитектуре, установить необходимые зависимости (vcredist например) и много чего, что в windows стоит по умолчанию, но по лицензионным ограничениям поставляться установленным сразу в linux не может.
    Ответ написан
    2 комментария
    2 комментария

  • Как писать запросы к API на стадии разработки, если backend еще нигде не хостится?

    @Asokr
    Бесплатно - поставьте openserver себе на виндовс, или настройте нужный стек сами на линукс

    А в обще тариф на хостинг/VDS/облако сейчас стоит как пообедать в маке.
    Ответ написан
    10 комментариев
    10 комментариев

  • Как писать запросы к API на стадии разработки, если backend еще нигде не хостится?

    fox_12
    @fox_12
    Расставляю биты, управляю заряженными частицами
    1) Запуск бэкенда локально через Docker для тестирования запросов и интеграции (это нормальная практика?)

    Вполне нормальная практика. А что смущает?
    Ответ написан
    Комментировать
    Комментировать

  • Как вставить код в PuTTY?

    yakovlev_13
    @yakovlev_13
    Шаманство, экзорцизм и некромантия.
    правой клавишей мыши
    Ответ написан
    2 комментария
    2 комментария

  • Как переменную string преобразовать в List в C#?

    vabka
    @vabka 
    var str = "a b c";
var list = str.Split(' ').ToList();

    А вот почему юнити зависает - надо смотреть на код целиком.
    То что написано в вопросе не является валидным C#-кодом в принципе.
    Ответ написан
    Комментировать
    Комментировать

  • Какой софт поставить на домашний файловый сервер из древнего железа?

    peering
    @peering
    it инженер
    nas4free , только там версси смотри , они чем выше тем треботвательней. 10 помоему ставил.
    Ответ написан
    1 комментарий
    1 комментарий

  • Как сделать такое приложение для пожарных, суть- пожарные водоисточники?

    vabka
    @vabka
    В качестве раннего прототипа - можно взять openstreetmap и создать в нём свою карту, где будут все эти гидранты расставлены.

    PS: всегда думал, что у пожарных такие карты уже есть
    Ответ написан
    6 комментариев
    6 комментариев

  • Почему сайт загружается быстрее без плагина для кэширования?

    Mausglov
    @Mausglov
    почему PageSpeed Insights показывает обратное?

    На эту часть ответить легко. PageSpeed Insights оценивает по формальным признакам, ожидая, что внедрением рекомендаций занимается человек, и человек делает это с умом.
    А плагин позволяет так же формально подгонять результат под оценку - переносить javascript в конец, склеивать css в один файл. Но, по факту, от этих автоматических действий ситуация лучше не становится.

    Замедление может быть от того, что регулярки ( я предполагаю, что там всё на регулярках), которыми оперирует плагин, тяжёлые.
    Ответ написан
    Комментировать
    Комментировать

  • Почему сайт загружается быстрее без плагина для кэширования?

    alexey-m-ukolov
    @alexey-m-ukolov
    Основных причин две:
    1. У вас сайт может работать быстрее, а у среднего пользователя с другим интернетом, в другой локации и с другим поведением — медленнее.
    2. PageSpeed учитывает множество других факторов, на которые простое серверное кэширование не влияет. У вас может быть хорошее time to first byte, но много тяжёлого js и неоптимальные картинки, например.
    Ответ написан
    Комментировать
    Комментировать

  • Как скопировать все файлы из ftp в сетевую папку в комадной строке?

    @rPman
    Использовать wget, ключ -l 1 -r или -m (осторожно, по умолчанию будет качать все каталоги, смотри опции ограничения в пути).

    Ещё лучше, уйти от ftp, как устаревшего протокола, с кучей проблем. И использовать штатный встроенный функционал ssh - scp/sftp , которым может пользоваться как стандартный scp так и rsync, у которых возможностей и удобства на порядок больше.

    Ssh сервер идёт с любым linux штатно, а также с windows устанавливается ее штатным инструментарием
    Ответ написан
    Комментировать
    Комментировать

  • Можно ли восстановить удалённое 10-й виндой при проверке диска?

    @rPman
    Настоятельно рекомендую нести диск на восстановление, но шансов у вас мало.
    Основной рабочий пока первый, с 7кой.
    ...
    После этого ребутнулся в 10ю винду и запустил проверку первого диска.

    Об этом моменте все забывают, что в windows 10 (начиная с win8) есть механизм ускорения загрузки, который при использовании последовательно нескольких ОС может угробить ваши данные (полагаю это сделано специально, как одна из миллиона мер борьбы с linux конкуренцией, иначе об этом бы везде писали большими буквами). Принцип следующий - windows 10 при выключении, закрывает рабочие приложения (делает быстрый logout) а затем вызывает гибернацию (hibernation), сброс оперативной памяти и состояния устройств (включая gpu) на диск в файл hiberfil.sys в корне диска, т.е. не завершая процессы, не закрывая файлы, не сбрасывая кеши записи на диски и кучу всего, что могло бы замедлить этот процесс... при включении, данные очень быстро и эффективно считываются с диска (линейная скорость даже медленных дисков hdd - сотня мбайт/с), включение занимает считанные десяток секунд, после чего идет login и запуск процессов пользователя.

    Если после гибернации вы загружаетесь в другую ОС, файловые системы на дисках находятся в не консистентном состоянии, и вероятность сбоя и потери данных на них очень сильно повышается, причем самым странным образом (например позже, после пары перезагрузок). Если постоянно туда сюда переключаться, ошибки накапливаются.

    Но вот винда ругнулась на этот диск и я решил его проверить. Забекапил что нужно и на 2й и на 3й диски.
    Что это была за ругань, сообщение в подробностях скорее всего раскроет подробно, что случилось.

    p.s.
    эту фичу зовут Fast Startup (включена в win10 и 11 по умолчанию) можно не выключать всю гибернацию, а вручную выключать компьютер в правильном режиме:
    shutdown -s -t 0

    отключается в Панели управления, электропитание, действия кнопок питания, изменение параметров которые сейчас недоступны, выключить быстрый запуск.
    либо отключить гибернацию полностью, выполнив в командной строке:
    powercfg /h off
    Ответ написан
    17 комментариев
    17 комментариев

  • Как понять какой жесткий диск проблемный?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Как понять какой жесткий диск проблемный?

    В формальном понимании этого слова пока ни один из дисков не выглядит проблемным.

    Единственное, у HDD Seagate повышены значения ECC On-the-Fly Error Count (C3) и Seek Error Rate (07).
    Это может быть если вы разогнали CPU, диск как-то неудачно закреплён, либо подвержен внешней вибрации, излишне нагревается, или присутствуют какие-то "неидеальности" в плане SATA-кабеля.

    Как определить какой именно из дисков так циклично перезапускается?

    Отключением одного из дисков.

    Периодически, один из дисков, слышно как включается периодически, словно только что компьютер включил.

    Я полагаю, что вы слышите рекалибровку. Вероятнее всего, связанную с температурой.
    Соответственно, она будет происходить чаще, когда температура диска меняется: включили после прохлады, работали от жаркого дня до прохладного вечера, компьютер долго стоял, а потом вы начали активно работать с данными, и всё то же наоборот.

    Скорее всего, щёлкает жёсткий диск Тошиба.
    Думаю так потому, что по факту это диск Хитачи (ХГСТ), просто маркировка на стикере это не отражает. Они любят калибровку.

    Ситуация с ним аналогична, например
    HDD Toshiba DT01 [DT01ACA200], который Hitachi HDS723020BLE640 (HGST 9F14311)
    toshiba-dt01aca200-hitachi-hds723020ble640-hgst-9f14311.jpg

    Обычно это хорошие надёжные HDD от производителя с историей, и из времён, когда ещё не было многих нынешних ухищрений.

    Буду рад любым советам!

    Если потребность успокоить себя всё равно сильна, можно сделать полный скан диска, но это уже отдельный ответ.
    Ответ написан
    3 комментария
    3 комментария