Как скачивать изображения с сайта по мере их поступления?

Question

[Павел Чуев]

Есть одна доска с изображениями, которые формируются на ней в таком формате: 2016-02-08-808706.jpeg(png или jpg) (к примеру). и каждое добавленное изображение меняет ссылку на +1 к текущему: 2016-02-08-808706(+1).jpeg(png или jpg). Следующий код только скачивает изображения, номера которых указаны в переменной files.

var http = require('http');
var fs = require('fs');
function nowDate(date) {
    var date = new Date();

    var dd = date.getDate();
    if (dd < 10) dd = '0' + dd;

    var mm = date.getMonth() + 1;
    if (mm < 10) mm = '0' + mm;

    var yy = date.getFullYear();

    return yy + '-' + mm + '-' + dd;
}

var uploadDir = "C:\/Node\/";

var files = [
    808707+1
];

files.forEach( function (fileName) {
    var file = fs.createWriteStream(uploadDir + fileName+'.jpeg');
    var request = http.get("http://example/images/"+nowDate()+'-'+fileName+'.jpeg', function (response) {
        response.pipe(file);
    });
})

Суть вопроса: как сделать, чтобы номера изображений формировались циклично и скачивались по мере их поступления на доску (т.е пустые изображения не создавались). И еще, т.к изображения на доске имеют форматы jpeg, jpg, png, как их тоже скачивать по такому же алгоритму?

Answer 1

[OVK2015]

После обработки напильником

var path = require('path');
var request = require('request');
var http = require('http');
var fs = require('fs');

var uploadDir = 'C:\/Node\/';
var urlPrefix = 'http://e-shuushuu.net/images/';
var regExpImageURLWrapper = new RegExp('(?:<img src="\/images\/thumbs\/)(.*?)"', 'gim');
var pageAmount = 2;

function getCurrentImage(imageUrl)
{
	var fileName = path.join(uploadDir, imageUrl);

	var newRequest = request(urlPrefix + imageUrl);
	newRequest.pause();
	newRequest.on('response', function(resp) 
	{
		if((resp.statusCode === 200) && (resp.headers['content-type'].match('image')))
		{			
			newRequest.pipe(fs.createWriteStream(fileName));
			newRequest.resume();
			console.log(`Загружаем: ${imageUrl}`);			
		}
		else
		{
			var message =  
				'\n********************************************************\n' +
				'Ошибка загрузки файла ' + urlPrefix + imageUrl + '\n' +
				'Код ошибки: ' + resp.statusCode + ' ' + resp.statusMessage + '; ' +
				'Mime-type: ' + resp.headers['content-type'] + '\n' +
				'********************************************************\n';
			console.log(`${message}`);
			newRequest.end();			
		}				
	});	
	newRequest.on('end', function()
	{		
		console.log(`Загрузка завершена: ${imageUrl}`);			
	});
}

for(var page_counter = 1; page_counter < pageAmount; page_counter++)
{
    var newRequest = request
	(
	    'http://e-shuushuu.net/?page=' + page_counter,
	    function (error, response, body)
	    {
	        if (!error && response.statusCode == 200)
	        {
	            while(match = regExpImageURLWrapper.exec(body))
	            {	             
	                getCurrentImage(match[1]);
	                // break;
	            }
	        }
    	}
	);
}

Comments

[Павел Чуев]

смотри что сделал
https://jsfiddle.net/gv0cwL5y/

[Павел Чуев]

теперь осталось завернуть в цикл и парсить все ссылки со страницы, но что-то не выходит у меня

[OVK2015]

Т.е. получили url картинки из последнего поста.
Начало положено. Только теперь осталось с циклом выборки определиться, чтоб лишнего javascript кода-спагетти вызовов не городить

[OVK2015]

Кста, cheerio конечно штука хорошая. Но мне кажется, что в данной задаче возиться с DOM страницы и по ресурсам и по времени выполнения затратно получается. Лучше regExp url сграбить

[Павел Чуев]

OVK2015: https://jsfiddle.net/0nmw7dhj/ вот тут все ссылки сграбил. с regExp не работал, покажешь как собирать с нужного мне сайта?

[OVK2015]

Подправил ответ

[Павел Чуев]

OVK2015: https://jsfiddle.net/rLf96L1u/ вот я до чего дошел. скачивает с нескольких страниц, потом соединение обрывается

[Павел Чуев]

OVK2015: подправив немного Ваш код собрал ссылки на 100 страниц вперед за 15сек

[OVK2015]

Как я понимаю,- это практически то, что изначально и задумывалось?
Можно еще вместо e-shuushuu.net/?page=XXXX там использовать от e-shuushuu.net/image/XXXXXXX до e-shuushuu.net/image/XXXXXXX + N/, чтобы диапазоном варьировать. Ну, это уже такое дело...

[Павел Чуев]

OVK2015: https://jsfiddle.net/035wqy9r/
page_counter и регулирует количество страниц с которых собирать ссылки

[OVK2015]

AllDecay: ну что ж, с почином! дальше чего с этим уже только от фантазии зависит

[Павел Чуев]

AllDecay: Спасибо за код и regExp. Вот Вам финальная версия: https://jsfiddle.net/a7wLjpq7/
не проверял правда на скольких максимальных соединениях сервер обрывает связь, но, может пригодится)

[OVK2015]

Спасибо это много. А вот ответ чекнуть,- в самый раз будет.
1. Насчет финального кода: а зачем там цикл дважды крутить? тащи картинку прямо из while.
P.S. напрягает крепко эта js вложенность. Если честно: я б все это дело на php минут за 15-20 сделал.

[Павел Чуев]

OVK2015: пробовал из while тащить, но там было геморойно с файлами и ссылками

[Павел Чуев]

OVK2015: Нехило напильноком поработал) Но подумываю написать все это дело на php. Там и vps/vds для ноды не обязательно будет нужен, достаточно хостинга за 50р с кроном)

[OVK2015]

Заметили вчера, что на этом хосте сначала выкладывают пост, а уже потом (через какое-то время) выкладывают саму картинку, к нему привязанную. Т.е. прежний скрипт тянул все подряд: и картинки, и html страницы с сообщением об ошибке. Вот и решил, так сказать, код до ума довести, чтобы тянул только png/jpg. Да и для себя хотелось универсальный шаблон для request сделать.
А с php там все проще будет. Разве что, появится дополнительный curl c head запросом, чтобы эту проверку делал

[Павел Чуев]

OVK2015: последний раз с php 5 лет назад работал (мне тогда 12 было) :D

[Павел Чуев]

OVK2015: https://jsfiddle.net/329L9spm/ не подскажешь, что не так ищу?

[Павел Чуев]

OVK2015: уже разобрался, скобки не поставил()

Answer 2

[Dark Hole]

Ничего не понял. И Jpeg = jpg

Comments

[Павел Чуев]

Изображения на сайте формируются в таком формате: yyyy-mm-dd-xyzqwe.jpg/png
Где yyyy-mm-dd - текущая дата
xyzqwe - специальный номер.
Например, за сегодняшний день было добавлено 25 изображений, где их диапазон номеров 808700-808725.
Мой код скачивает просто по номерам, указанным мною. А нужно, чтобы каждый день в 23:00 он скачивал все изображения с текущей датой и диапазоном номеров, который им присвоен. Кажется, что проще реализовать скачивание по дате: 2016-02-08-******.jpg/png, но не знаю как.

[Dark Hole]

AllDecay: ни-че-го не понял(последний абзац разъясните

[Dark Hole]

AllDecay: кроме того, зачем function(date){var date = new Date}??? Вы объявили параметром уже. var - не нужен

[Павел Чуев]

Dark Hole: как скачать все изображения из example.com/images/ в названии которых будет текущая дата в формате yyyy-mm-dd
Например такие:
2016-02-08-тут какие-либо цифры.jpg
2016-02-08-тут совсем другие цифры.png

[Dark Hole]

AllDecay: с помощью нода? или как?

[Павел Чуев]

Dark Hole: да, нода

[Dark Hole]

AllDecay: увы. Нода не может вроде с других сайтов качать

[Павел Чуев]

Dark Hole: https://pp.vk.me/c629512/v629512325/32dc7/1YWfBrZ_...
только сейчас скачал картинку

Answer 3

[Павел Чуев]

Все еще нуждаюсь в ответе

Comments

[OVK2015]

1. Внутри yyyy-mm-dd-xyzqwe.jpg/png значения "xyzqwe" увеличивается строго на 1, разрывы могут быть?

[Павел Чуев]

OVK2015: строго на 1. Вот список сегодняшних картинок:
example/images/2016-02-09-808837.jpeg
example/images/2016-02-09-808838.jpeg
example/images/2016-02-09-808839.png

[OVK2015]

Посмотрел я его вчера. Там хитрая структур сайта.
Может есть смысл отталкиваться от номера поста
e-shuushuu.net/image/808851, чтобы не мучиться потом с перебором расширения картинки(jpeg, png),- перебирая каждый тип отдельным запросом. Как вы вообще парсить планируете?

[Павел Чуев]

OVK2015: парсинг будет заключаться в скачивании рандомных изображений с данной доски и постинга в группу ВК. Но как парсить отталкиваясь от номера поста не могу придумать, что посоветуете?

[OVK2015]

Не совсем понятно, что понимать под рандомностью. Забыл
еще упомянуть такую ихнюю фишку. Там дата публикации поста на странице не всегда совпадает с датой в пути к картинке. Т.е. на дата публикации странице e-shuushuu.net/image/XXXXXX не всегда совпадает с датой в e-shuushuu.net/images/2016-02-09-XXXXXX.jpeg
А посоветовать... Если хотите выбирать произвольные картинки за какую-то дату, то тут надо надо отслеживать зависимость между датой и номером поста.
Скрипт для скачивания набора картинок есть,- недавно себе писал. Могу поделиться

[Павел Чуев]

OVK2015: сейчас пробую грабить через исходный код. на Ваш скрипт я бы поглядел, может что и поможет https://vk.com/id157744325