>Криво парсит страницу
но так же еще более проблемно, потому что куча джаваскрипта не заведется, если парсить каким-нибудь php + это может быть не безопасно, можно так спарсить веб шелл какой-нибудь или бэкдор, я не думаю, что яндекс делает именно так.
Если сам скрипт на питоне, почему бы и проект не сделать на нем же? Есть же jango.
Не знаю что еще посоветовать и чем помочь, я бы делал через очереди скорее всего или через свой restfull api интерфейс
> А если попробовать от рута?
не безопасно.
В примере кода какой-то веб шелл, вы запускаете скрипт удаленно на ином сервере по ssh?
тогда лучше, я думаю, использовать restfull API:
Т.е. python script "слушает" запрос, а php передает его через curl какой-нибудь, либо запрос передается вовсе без php через js\ajax, смотря что за проект и как работает.
>Если всё работает, разве может быть дело в правах?
может работает не верно или с ошибками (которые вылетают только по таймауту, к примеру, - отсюда и время), но это маловероятно, конечно, просто может быть все, что угодно, я думаю, стоит попробовать очереди и\или nginx + php-fpm. Также стоит учесть, что я не очень умный.
web5talker1, apache тормознутая скотина, я гарантирую это.
процесс выполняется дольше, потому что, как я думаю, все это висит на http - отдельный процесс, который запускает еще другой процесс, все это работает в связке с php и вот взаимодействие между ними всеми идет долго, дольше, чем просто запустить python из терминала. Если взять какой-нибудь nginx + php-fpm, я думаю, будет быстрее. Т.е. это серверная проблема, надо как-то конфигурировать apache или php или использовать другие решения, может использовать очереди (queue), т.е. запускать скрипт и не ждать пока он выполнится. Может www-data ограничен в правах? Много всего может быть, сложно сказать сразу.
user_tm, найдите путь, в котором лежит исполняемый бинарник node.
npm ищет его в /usr/bin/node, но там его нет. Возможно он есть по адресу /usr/bin/nodejs
Прописать symlink можно так:
sudo ln -s /usr/bin/nodejs /usr/bin/node
symlink - это ссылка на иной путь, что-то вроде ярлыков в винде
Я скопировал Ваш пример, но на моем сервере он не работает.
Аналогичная реализация для iframe в моем коде - также через contents и она не работает. При этом security headers точно отключены
Я дал некоторые пруфы в комментариях к моему посту-вопросу. Это все, что у меня есть, не вникал, поверил на слова. Ссылка на закон есть там же, но я его не читал.
что хранить весь трафик не сможет ни один провайдер, это просто невозможно.
скачал ты сериал, взяли его md5 хэш, записали.
Другой скачал сериал - записали id записи от хэша.
поэтому никто гигабайты и не будет хранить. Конечно, личная переписка - уникальна, но не думаю .что она весит гигабайты. Поэтому логирование всего, в теории, возможно, на мой взгляд.
