Как спарсить pdf файлы с сайта?

Question

[hitachi]

Все доброго, есть вопрос. Как спарсить pdf в моём случии книги с сайта - https://codernet.ru/media/
Желательно по шагово (новичок)
пробую на питоне, кто знает как
помогите плиз
зарание спасибо =)

Answer 1

[Надим]

Это делается элементарно, через консоль браузера. Зайдите на эту страницу:
https://codernet.ru/media

Нажмите, комбинацию CTRL + SHIFT + J и в открывшейся консоли введите:

// Получаем список всех ссылок со страницы:

links = document.querySelectorAll('a[href]');

// Перебираем найденные ссылки в цикле:

for (var n = 0; n < links.length; n++) {
	
	// Если ссылка ведет на текущий сайт (внутренняя):
	
	if (new URL(links[n].href)['host'] == location.host) {
		
		// Скачиваем html-код по этой ссылке:
		
		html = await (await fetch(links[n].href)).text();
		
		// Парсим этот html-код:
		
		doc = new DOMParser().parseFromString(html, 'text/html');
		
		// Ищем в спарсеном коде все pdf-ки:
		
		pdfs = doc.querySelectorAll('a[href$=".pdf"]');
		
		// Перебираем найденные pdf-ки в цикле:
		
		for (var i = 0; i < pdfs.length; i++) {
			
			// Выводим ссылку в консоли:
			console.log(pdfs[i].href);
			
		}
		
	}
	
}

Comments

[alexbprofit]

ему через питон нужно

[hitachi]

получилось спасибо.
1. а как мне их теперь скачать на пк?
2. при переходе по одной из них выходит 404, так и должно быть ?
3. это с помощью js был парсинг ? (я просто пока в этом только 0 )

[Надим]

hitachi, да, это JavaScript. Для того, чтобы скачать все файлы разом и одним архивом надо будет добавить пару абзацев кода ещё. Чуть позже приведу пример.

[Надим]

hitachi, держи:

Развернуть код

// Подключаем библиотеку для создания zip-архивов:

script = document.createElement('script');
script.src = 'https://cdn.jsdelivr.net/npm/jszip/dist/jszip.min.js';
document.head.appendChild(script);

// Выжидаем 3 сек, чтобы библиотека успела загрузится:
await new Promise(function(s) { setTimeout(s, 3000); });

zip = new JSZip(); // Создаем пустой zip-архив

// Получаем список всех ссылок со страницы:

links = document.querySelectorAll('a[href]');

// Перебираем найденные ссылки в цикле:

for (n = 0; n < links.length; n++) {
	
	// Если ссылка ведет на текущий сайт (внутренняя):
	
	if (new URL(links[n].href)['host'] == location.host) {
		
		try {
			
			// Скачиваем html-код по этой ссылке:
			
			html = await (await fetch(links[n].href)).text();
			
			// Парсим этот html-код:
			
			doc = new DOMParser().parseFromString(html, 'text/html');
			
			// Ищем в спарсеном коде все pdf-ки:
			
			pdfs = doc.querySelectorAll('a[href$=".pdf"]');
			
			console.log(' ' + links[n].innerText);
			
			// Перебираем найденные pdf-ки в цикле:
			
			for (i = 0; i < pdfs.length; i++) {
				
				try {
					
					console.log('⭳ ' + pdfs[i].innerText);
					
					// Скачиваем pdf-файл:
					blob = await (await fetch(pdfs[i].href.replace(location.href, links[n].href))).blob();
					
					// Если это pdf:
					
					if (/pdf$/i.test(blob.type)) {
						
						// Добавляем pdf в архив:
						zip.file(pdfs[i].innerText, blob);
						
						console.log('✔ ' + pdfs[i].innerText);
						
					}
					
				} catch(err) {
					
					console.error(err);
					
				}
				
			}
			
		} catch(err) {
			
			console.error(err);
			
		}
		
	}
	
}

// Генерируем архив:

console.log('Идет генерации архива...');
file = await zip.generateAsync({ type: 'blob' }, function(metadata) {
    console.log('Генерация архива: ' + metadata.percent.toFixed(2) + ' %');
});

// Скачиваем архив:

link = document.createElement('a');
link.download = 'Архив.zip';
link.href = URL.createObjectURL(file);

link.click();

После скачивания всех файлов под конец начнется генерация zip-архива, этот процесс может длится очень долго, особенно если слабый комп, нужно набраться терпения, не закрывать вкладку - дождаться, когда вылезет окошко скачивания файла (zip-архива).

[hitachi]

Спасибо большое, идет загрузка, позже напишу результат.
Может знаешь или есть сылки на курсы или книги что бы js изучить
посоветуйте как лучше учить и откуда, зараниее спасибо

дополняю: все получилось работает

[Надим]

hitachi, самый популярный учебник:
https://learn.javascript.ru

Answer 2

[shurshur]

Вообще говоря, в данном случае скачать совсем не проблема безо всяких скриптов, достаточно wget:

wget -r -np https://codernet.ru/media/

Comments

[hitachi]

Спасибо, получилось. Блогодоря вам узнал что такое wget.
Правда скачался пдф в папки с ненунжными индаксами и фотками.
может знаете как можно из всех папок в которых лежит пдф перекинуть в одну папку используя cmd, я просто думаю что это возможно но пока не знаю как. еще раз спасибо

[shurshur]

hitachi, не знаю как лучше в cmd, в Linux сработает просто:

mv codernet.ru/media/*/*.pdf another/new/directory/

Но это при условии, что там не будет повторяющихся имён файлов (в принципе, mv -i будет спрашивать перед перезаписью), ну и отдельные pdf лежат чуть глубже уровнем вложенности, их отдельно можно вытащить. Но в целом мне кажется совсем не страшным, если будет по каталогам раскидано.

[shurshur]

hitachi, до кучи, можно

find -name 'index.html*' -delete
find -name '*.jpg' -delete

(но find настоящий, из UNIX, в DOS/Win есть find, который делает совсем другое)

Answer 3

[alexbprofit]

используй селениум для этой цели.
подсказка: искать нужные элементы можно через xpath

Comments

[alexbprofit]

и еще нужно вытянуть их href атрибут, и скормить его значение wget

Answer 4

[PavelMos]

Если просто скачать файлы из директорий, то проще wget
Если именно спарсить и именно на питоне, то нужны модули requests и bs4 ( beautifulsoup, bs ) см инструкции к ним.

link='https://codernet.ru/media/'
r1=requests.get(link) #создаётся объект request с содержимым, полученным в ответ от сервера. Сам по себе он не текст странички 
r2=r1.content.decode('utf-8') #декодируется содержимое,  r2 это уже текст
soup1=bs.find_all ('a') #парсер beautifulsoup ищет все теги <a> где стоят ссылки

после этого посмотреть, какие ссылки - абсолютные или относительные, если относительные, добавить к ним вышестояющую часть пути и снова сделать реквест и уже по ссылкам получить имена файлов (относительные) и скачать те из них, что pdf

f1= open ('путь", 'wb')
r1 = requests.get('link1') 
f1.write(r1.content)  
f1.close()