Это не холивар а конкретная задача. Есть база на постгрес. И ей что-то плоховато стало в последнее время. Имеем на данном этапе - cron запускает python скрипт, который выгребает данные для графиков за последние сутки раз в 5 минут. итого имеем в текстовом файле на сервере 250к записей (ид графика, значение, время). на php с помощью ajax выгребаю данные и парсю в зависимости от графика какие данные отображать. вроде бы лепота. фф грузит данные за 1сек. но ослик обрабатывает данные 10сек. так что прирост производительности невысокий.
внимание, знатоки, вопрос - как это дело оптимизировать. мне кажется что питон должен быть быстрее в парсинге значений по айдишнику. но вот вопрос - сможет ли пхп страница запустить скрипт и как передать значения тэгов?
а если сделать это с помощью пхп то передать значения тэгов и время с помощью гета или поста дело плевое. но это опять же будет парситься сервером и вроде как из пустого в порожнее? кто как бы делал\сделал?
----------
для простоты - хочу реализовать схему ( запрос к базе из python -> создание файла ВСЕХ значений -> парсинг данных php\python -> конечный пользователь из php страницы обращается к данным только для своих графиков )
заглох на интрументарии парсинга текстового файла. php - вроде легко, но как с производительностью? python - вродь крутой ЯП а как передать ид тэгов и вообще возможно ли?
Если я правильно понял речь идет примерно о такой схеме (пардон за повтор, лишь хочу написать более понятно для себя):
1) БД с сырыми данными для визуализации
2) Скрипты обработки этих данных
3) Страница, которая генерируется динамически с js библиотекой для визуализации данных ввиде графиков (типа того же d3js)
Если так, то я задал себе такие вопросы для начала:
1) Нужно ли нам вообще получать единоразово все данные - если нет, то получать сразу только то, что нужно
2) Ответ от БД обрабатываем к тому виду, который нужен js библиотеке (json например)
3) Если данных много, то каким-то образом кэшируем результат - в дальнейшем пользователю отдается либо кэш (если время его актуальности не истекло) либо повторяем с первого шага
3.1) Как вариант можно всегда отдавать пользователю только кэш - как его получать и где держать - по усмотрению
4) Собственно передаем данные в js для визуализации
Выбор между php и python тут неактуален - 250000 строк ответа БД перекинуть в нужный формат и у того и другого без каких-то очень хитрых замут займет одинаковое количество времени.
Если проблема именно в скорости работы этого дела в браузере - проблема явно на стороне клиентского js (возможно библиотека для ослика реализует что-то, что по умолчанию есть в других браузерах и на это тратится дополнительное время).
PS: Возвращаясь к первому абзацу - а плохо ли базе данных? Просто сначала речь о ней, а потом уже о желании оптимизировать парсинг. Просто выгрузить каждые 5 минут 250к записей - проблема для psql быть не должно.
я правильно понимаю что у вас проблема с производительностью ослика в плане обработки данных? То есть у вас проблема с JS... тут ни PHP и Python не помогут - искать в чем проблема (например у вас слишком много данных) и думать как это дело разделить.
Тут больше подойдут бэкграунд воркеры какие и подгрузка данных по частям.
Короче перечитайте свой вопрос и выразите мысль более точно. Пока тут можно только гадать.
des1roer: я ничего не понял из вашего предложения. Может вам стоит поспать?
Дефолтная реализация Python медленнее пыха, но есть еще Pypy который чуть быстрее, но есть еще HHVM который вроде тоже пока быстрее... А вообще у вас там не может быть столько данных что это вообще хоть сколько нибудь проблема.
1) стандартная web схема: юзер открывает страницу php\python подключается к базе и рисует нужные графики ему в браузер, рисовать может и JS, дабы не грузить сервер.
не думаю что у вас там сто графиков и каждый график в многомерном пространстве...
2) скрипт(php\python) запускается по cron`у читает базу и РИСУЕТ графики в png формате.
юзер подключается к web серверу и видит готовые картинки статикой.
Если вы парсите данные на стороне сервера, то для клиента (библиотеки, которая рисует графики) нет никакой разницы будет ли там php или python - он получает уже подготовленные данные. Так или иначе на 250к записях без каких-то лютых хитростей разницы в скорости от перехода на python вы не заметите.
Если проблема на стороне клиента - то проблема в js, например библиотека во время работы в IE создает какие-то объекты, которые есть в Fx, но нету в ослике.
Средний