Как ускорить парсинг данных с Python/Selenium?

Артем Кисленко: PhantomJS не панацея вовсе. Парсил раз форум на phpBB, там таблица меньше, чем на 100 строк. Так данные в приложении приходилось ждать почти минуту.

Открывать ИП или нет?

Станислав Романов: Вот лично хотя бы одно такое дело удалось выиграть? Сколько времени прошло с момента "мы вам платить не будет" до момента когда деньги были получены? Юрист... приставы... это конечно круто, только сначала это нужно оплатить СВОИМ баблом. + к тому, что не заплатили.

Открывать ИП или нет?

Станислав Романов: "возможно" можно сказать не только про неустойку, но и вообще про деньги. Что бы получить деньги по кинутому договору придется ох как побегать... А наших реалиях для ИП договор в контексте судебных разбирательств о неоплате полное фуфло. Потому что суммы договора обычно не покрывают связанную с взысканиями канители. Ведь выиграть дело в суде не значит получить деньги. Дело в твою пользу, а денег как небыло, так и нет.

SSD, какой файловой ситеме отдать предпочтение?

slo_nik: А там есть еще такие плюшки как xattr и дисковые квоты на юзера/директорию. Это больше конечно актуально для сервера, но мало ли и на десктопе что-то пригодится.

Аналоги selenium для python?

Bjornie: Под свои задачи я пускал 10 инстансов PhantomJs. Каждый "протекал" до 5Гб ОЗУ. Сервер был на 32 ГБ ОЗУ. Запуск нескольких копий скрипта (обеспечивает изоляцию, плюс у меня PHP). Контроль количества через семафоры. Очередь в Redis исключает дублирование задач.

Есть ли движок доски объявлений на фреймворке phalcon?

bricha: HL и кастомизация? Тогда пилить своё. Причём даже если бы было готовое.

Как организовать работу с GIT для одного человека (подробности внутри)?

gubin_niko: phpStorm строит индекс и качает постоянно файлы. Поэтому при такой схеме работы нужен тупо редактор. А для поиска ssh консоль. Работаю так уже года четыре. Ни какой привязки к рабочему месту и системному окружению.

Две версии PHP на одном сервере. Как установить модули для одной из них?

Glazzzzz: Ни чего про данную ошибку сказать не могу. Не сталкивался. Судя из описания это проблема с sudo, а не php. Так что копать в сторону починки sudo или же сразу запускать от root.

Две версии PHP на одном сервере. Как установить модули для одной из них?

Glazzzzz: Буквы слева ii означают, что пакет установлен. Т.е. mbstring уже установлен для обеих версий. Т.е. исходный вопрос "как установить модуль" по сути закрыт. Потому что модуль должен уже быть. Но он скорее всего просто не подключен через конфиг. Из консоли php -v отображает "версию по умолчанию" и реализуется не более чем симлинками (а подхватывается в зависимости от $PATH). У меня так:

alex@SUNDUKOV:~$ echo $PATH
/usr/lib/lightdm/lightdm:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games
alex@SUNDUKOV:~$ ls -l /usr/bin/php
lrwxrwxrwx 1 root root 21 Oct 29  2014 /usr/bin/php -> /etc/alternatives/php*
alex@SUNDUKOV:~$ ls -l /etc/alternatives/php
lrwxrwxrwx 1 root root 15 Sep  9 11:09 /etc/alternatives/php -> /usr/bin/php7.0*
alex@SUNDUKOV:~$ ls -l /usr/bin/php7.0
-rwxr-xr-x 1 root root 4357248 Nov 14 08:12 /usr/bin/php7.0*

Поэтому нужно искать конкретный бинарник и вызвать конкретно его с флагом -m.

Две версии PHP на одном сервере. Как установить модули для одной из них?

Зависит от дистрибутива и списка подлюченных репозиториев.

Почему отсутствует сокет PHP-FPM?

verdex: Значит нужно в apache настроить обращение на данный сокет.

Как авторизоваться в gmail через SeleniumWebDriver?

Сергей Пермяков: Шлите посимвольно. Хотя я сейчас смотрел вход в почту фаербагом, пароль вставлял копипастой, и ни какой посимвольной оправки данных в не вижу. Значит все это можно точно так же повторить и через селениум.

Как использовать контроль версий для сайта на обычном хостинге?

Сергей: С гитом работаем на локальной машине. Когда изменения внесены, через FileZill копируем файлы назад на хостинг. Если на сайте что-то изменилось, то нужно через FileZill файлы сайта скопировать себе и снова работать через гит. Т.е. постоянное копирование файлов туда-сюда придется делать постоянно. Это имеет смысл только если это сайт клиента у которого в принципе нет ssh доступа на хостинг (шаред хостинг) и приходится работать с тем, что есть. Но при малейшей возможности нужно с таких хостеров уходить. Сейчас вдс стоит на уровне шареда и в наши дни нет ни какого смысла использовать шаред если есть хоть какие-то технические знания.

Почему твит загружает оперативную память?

v7resspect: CGI? Тогда по идее он на каждый запрос поднимается с нуля. И утечек нет по определению. Даже если это модуль апача... используемая библиотека как я понимаю довольно популярная и такой проблемы там явно не наблюдается. Значит проблема скорее всего в системном окружении (в настройках ОС, PHP). Каких, большой вопрос... Рекомендую этот же код попробывать запустить в совершенно другом системном окружении. Под ubuntu через php-fpm к примеру.

Почему твит загружает оперативную память?

v7resspect: А на сайте как работает? Как модуль apache?

Почему твит загружает оперативную память?

v7resspect: Если через cron, то значит cli. Это означает, что после выполнения script.php скрипт дохнет и ни о каком расходе речи быть не может.
Прибавка расходуемой ОЗУ в случае невыгружаемого режима работы интерпретатора (php-fpm к примеру) тоже ситуация нормальная. Память фрагментируется, часть не нужной памяти не освобождается... тут помогает сборщик мусора. Но обычно нет смысла его запускать руками. В общем я предлагаю на это дело забить если в простое потребляемая ОЗУ не превышает 50Мб.

Как работают VPS хостеры?

Андрей: На сколько? На сколько совесть позволяет. И пока клиенты от вас не побегут.
Конкретных цифр не кто не даст. Все зависит от конкретной конфигурации и характере клиентов. Но если сделать мониторинг, то станет понятен характер нагрузки от каждого конкретного клиента (что ему больше нужно, диск, ЦПУ, ОЗУ, сеть, регион) на конкретном физическом сервере. Исходя из статистики можно прикинуть периоды простоя и как она накладываются в суммарно. Мониторинг нужен в любом случае, т.к. всегда находится клиент который активно использует ресурсы мешая соседям. Таких сразу с сервера выпиливают (и обычно это оказывается бот или спамер) или временно блочатся до выяснения (зараженного зомби-виртуалка).

В каком виде хранить данные о посещаемости товаров?

maximka787: От атаки такие методы не спасают. Совершенно. Атака это вообще из другой области и методы решения там совершенно другие. И обычно они не связаны с кодовой базой сайта. А статистика все равно будет искаженной. Потому что под одним IP может быть очень много реальных пользователей. У нас в одном из проектов примерно 2 тыс. пользователей сидящих на одном IP адресе (судя по всему какая-то подмосковная локальная сеть из тех, которые еще не сожрали большие операторы). А точно известно, что это реальные люди, потому что у них есть заказы и точные адреса доставок. С вашей схемой это будет один просмотр, хотя реально их может быть сильно больше.

В каком виде хранить данные о посещаемости товаров?

maximka787: Так такая в итоге цель-то? Хранить просмотры или не давать накручивать счетчик? И главное, что есть просмотр? Исходя из описания это ip+product_id один раз в течении часа. Но и тут много тонкостей. К примеру, через час и одну минуту снова просмотр товара Х с адреса Y. А еще через час опять смотрят товар Х с адреса Y. Сколько просмотров? Один? Три? В общем перед проектирование схемы базы данных нужно для начала записать алгоритм подсчета. Лучше в виде блок-схемы.
Касательно ключа да, именно это.

PhantomJS - плохой выбор?

dhat: Да, можно сразу с него.