JQuery счетчик при php-парсинге в базу данных?

Question

[ree4i]

Посоветуйте. Пишу парсер сайта с большим кол-вом страниц, парсер работает ровно.
Хочу сделать какой-то визуальный счетчик, т.е. что бы он отображал кол-во пройденных страниц.
Вот думаю сделать через цикл - т.е. в цикле посылаю ажакс-запросы и получая ответ - обновляю некий div с циферкой.
Когда страницы кончаются (пхп-парсер может это понять) - отдаю ответ для выполнения условия.

Покритикуйте мысль плиз. С JS работал мало, может ни туда думаю.

Answer 1

[65536]

можно в каждой итерации парсера сохранять в какой-то файл текущий прогресс. аяксом стучаться на отдельный скрипт который будет считывать этот файл и возвращать значение в браузер. главное в этом отдельном скрипте не использовать пхпшный механизм сессий, если он используется в парсере. иначе он встанет в очередь до окончания работы парсера

Answer 2

[AlikDex]

Для себя выработал такую схему:
1 проход, парсим все пагинашки на предмет постов, урлы в базу, мускула с названием и статусом. Обычно формат урла постов статичный и не меняется. Поэтому так. Что дает: ну во первых знаешь сколько парсить нужно страниц, а во вторых можно использовать счетчики.
Далее, делаем крон, который независимо работает в 1 поток или в несколько (курл) дергая с базы урл поста и выставляя статусы по ходу обработки. И второй скрипт, который отображает статистику (сколько осталось, сколько в очереди, сколько в работе и какие, со ссылками. Ошибки и прочее в процентах и просто числах)
По началу делал прогресс бар на жквери, аяксом делал выборку количества страниц для парсинга и уже спаршенных. Но сейчас убрал это, ибо пофиг ) раз в день посмотришь как идет процесс и все. Если 10 подряд ошибок - оповещение на почту и стоп скрипт.
Вот.

Comments

[Grigruss]

оффтоп, пардоньте. Писанина та еще... :-D Не, всё правильно и чётко по сути, но капец... Люди же разные здесь читают, есть те кто вообще ничего не поймёт...

[ree4i]

Я видимо преувеличил кол-во страниц )
Суммарно спарсить надо будет что-то около 5000 страниц. Спасибо за идею с базой, но не понял - скрипт со счетчиком тоже на пхп пишите?
Меня собсна интересует как раз прогрес-бар, как его выводите? В цикле запрос к базе?

[AlikDex]

ree4i: сейчас прогресс бар не рисую. Раньше был, работал на аяксе+жквери, запрашивал у специального скрипта общее количество страниц для парсига и количество уже обработанных. На основе этих данных высчитывал %.
Сейчас все делается тоже самое, но на динамически генерируемой странице. Т.е. без аякса. Просто цифра в % выводится.

Может сумбурно и не понятно, но мысль основная такая: этот прогресс нахрен не нужен ))) В качестве обучения можно конечно, но сидеть медитировать на него смысла особо нет.

[AlikDex]

ree4i:
Нашел бекап старый )) Может пригодится.
ЖС:

<script type="text/javascript" class="init">
	var maxvalue;
	var progress;
	$(document).ready(function() {
			// получаем инфо от скрипта о состоянии граббера
		function getInfo() { 
				var data = {
					"controller": "index",
					"show_info": "1"
				};
				data = $(this).serialize() + "&" + $.param(data);
				$.ajax({
					type: "POST",
					dataType: "json",
					url: "index.php",
					type: "GET",
					data: data,
					success: function(data) {						
						$("#statustxt").html(data["status"]);
						$("#current").html(data["processed"]);
						$("#total").html(data["total"]);
						setProgress(data["progress"]);
					}
				});
		}
							
		setInterval(function() { getInfo() }, 2500); // проверяем прогресс каждые 2.5 секунды
		
		$( "#start" ).click(function() {
			var data = {
				"controller": "index",
				"enable_script": "start"
			};
			data = $(this).serialize() + "&" + $.param(data);
			$.ajax({
				type: "POST",
				dataType: "json",
				url: "index.php",
				type: "GET",
				data: data,
				success: function(data) {  
					$("#statustxt").html(data["status"]);
				}
			});
		});
					
	});
	
	function setProgress(progress)
	{			
		var progressBarWidth=progress*$(".container").width()/ 100;  
		$(".progressbar").width(progressBarWidth).html(progress + "%");
	}
</script>

HTML\CSS

<style>
.container {
    width: 400px;
    height: 25px;
    border: 1px solid #ddd;
    border-radius: 5px;
    overflow: hidden;
    display: inline-block;
    margin: 0px 10px 5px 5px;
    vertical-align: top;
}
.progressbar {
    color: #fff;
    text-align: right;
    height: 25px;
    line-height: 24px;
    width: 0;
    background-color: #0ba1b5;
    border-radius: 3px;
}
</style>

<div class="container">
	<div class="progressbar"></div>
</div>

ПХП:
Тут наверное отдельные пояснения нужны.
Оформленно было как класс. Возвращало жсон данные.
методы getTotalPosts() и getProcessedPosts() как можнодогадаться отдавали общее количество постов и количество уже обработанных.

if (isset($_POST["show_info"])) {
	$totalPosts = (int) $this->getTotalPosts();
	$processedPosts = (int) $this->getProcessedPosts();
	
	$info["progress"] = round( ($processedPosts * 100) / $totalPosts, 2);
	$info["total"] = $totalPosts;
	$info["status"] = $this->getStatus();
	$info["processed"] = $processedPosts;
	
	echo json_encode($info,true);
	
	die();
}

Answer 3

[Александр Кубинцев]

Я экспериментировал в свое время с websockets для такого дела https://github.com/kryoz/homer