Почему bash скрипт не работает?

Question

[haqz]

Пытаюсь сделать скрипт, чтобы он скачал все страницы с сайта, а скачивается только первая и последняя страниц.

for i in {1 .. 24758800785707605}
do 

wget "https://hashkeys.club/92/?page=$i"
done

Comments

[Дмитрий]

код следует оформлять соответствующим тегом.
по вопросу - уберите лишние пробелы между 1, точками и 247...

dmitryg@dg-linux:~$ for i in {1..5}; do echo $i ; done
1
2
3
4
5
dmitryg@dg-linux:~$ for i in {1 .. 5}; do echo $i ; done
{1
..
5}

[сергей кузьмин]

вы обязательно хотите баш расширения использовать ?

в таком простом пример можно и без них

например вот так

for i in $(seq 1 1 24 );   do echo "wget \"https://hashkeys.club/92/?page=$i\"";done

если помогло - я положу в ответы вы отметите решением

[haqz]

сергей кузьмин, ничего не скачивает :(

только в консоль команды принтит и все:

wget "https://hashkeys.club/92/?page=9"
wget "https://hashkeys.club/92/?page=10"
wget "https://hashkeys.club/92/?page=11"
wget "https://hashkeys.club/92/?page=12"
wget "https://hashkeys.club/92/?page=13"
wget "https://hashkeys.club/92/?page=14"
wget "https://hashkeys.club/92/?page=15"
wget "https://hashkeys.club/92/?page=16"
wget "https://hashkeys.club/92/?page=17"
wget "https://hashkeys.club/92/?page=18"
wget "https://hashkeys.club/92/?page=19"
wget "https://hashkeys.club/92/?page=20"
wget "https://hashkeys.club/92/?page=21"
wget "https://hashkeys.club/92/?page=22"
wget "https://hashkeys.club/92/?page=23"
wget "https://hashkeys.club/92/?page=24"

????

Help please кто нибубь ??

[сергей кузьмин]

haqz, это потому что я заменил в своем примере вашу команду на echo

рассчитывал что надо наверное не прямо копи пастить а прочитать пример

так что верните свою команду и будет загружать

[haqz]

сергей кузьмин, любезные, ничего не работает. Скоррее всего мой терминал тупит.

Просьба помочь и загрузить баш файл на transfer.sh и поменять диаазон на от 1 до 2475880078570760549798249

тут в комментария буы пример который включился и пошло нормально, но потом я менял в нем диапазон и все либо пустые файлы, либо no sach file ot directory....

((((

пожалуйста ?

валится иакое:

Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=63: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=64: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=65: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=66: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=67: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=68: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=69: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=70: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=71: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=72: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=73: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=74: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=75: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=76: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=77: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=78: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=79: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
1.sh: line 4: https://hashkeys.club/92/?page=80: No such file or directory
wget: missing URL
Usage: wget [OPTION]... [URL]...

[haqz]

#!/bin/bash
for((i = 1; i <= 100; ++i)); do
wget -O `printf '%03i' $i`.html "https://hashkeys.club/92/?page=$i"
done

это скрипт у меня не работвет после измения конца диапазона на 2475880078570760549798249

опять какие пробелы чертовы от копипаста...(((<(

[сергей кузьмин]

комнда
wget https://hashkeys.club/92/?page=$i
должна быть в одну строку а у вас похоже это не так
поэтому баш ругается на урл который одни и wget просит дать урл

[haqz]

сергей кузьмин, спасибо за ваш ответ. это в каком именно коде вы имеете ваиду ?

и ваша стрка почемуто без ковычек ??

[сергей кузьмин]

этот пример печатает команду

for i in $(seq 1 1 24 ); do echo "wget \"https://hashkeys.club/92/?page=$i\"";done

этот пример выполняет команду

for i in $(seq 1 1 24 ); do wget "https://hashkeys.club/92/?page=$i"; done

[haqz]

сергей кузьмин,

все замирает И НИЧЕГО НЕ СКАЧИВАЕТСЯ когда диапазон большой
:

for i in $(seq 1 1 618970019642690137449562 ); do wget "https://hashkeys.club/92/?page=$i"; done

(((

[сергей кузьмин]

скачивайте постепенно

618970019642690137449562 секунд это 19627410567056384 лет
так что не стоит выполнять циклы от одного до 618970019642690137449562

[AVKor]

сергей кузьмин,

если помогло - я положу в ответы вы отметите решением

Традиционное выклянчивание решения.

Answer 1

[xotkot]

во первых, судя по заголовку в https://hashkeys.club/92/

total pages = 2475880078570760549798249 (1000 keys per page)

у вас предыдущие 8 порядков куда-то делись
24758800785707605
2475880078570760549798249
возможно так и задуманно, но мне кажется что всё же это не так

во вторых, без параллельной закачки ловить здесь нечего, поэтому:

rm -rf urls.txt
for i in $(seq 1 1 1000000); do echo "url=https://hashkeys.club/92/page=$i" >> urls.txt;done
curl --remote-name-all --parallel -K urls.txt

здесь указан миллион, поставьте свой диапазон, но лучше разбить по миллиону или 10 миллионов

seq 1 1 1000000
seq 1000001 1 2000000
...

но надеюсь вы осознаёте какое время и объёмы вы хотите скачать ?
у меня для 100 страниц показало:

$ curl --remote-name-all --parallel -K urls.txt
DL% UL%  Dled  Uled  Xfers  Live   Qd Total     Current  Left    Speed
--  --  10.2M     0   100     0     0 --:--:--  0:00:29 --:--:--  406k

скорость походу режет сам сервер
то есть, даже если взять ваш урезанный объём страниц в 24758800785707605 то выйдет

по времени:
24758800785707605 / (100 страниц /30 секунд) = 8252933595235868 секунд
это порядка 261698807 лет

по объёму:
24758800785707605 / (100 страниц /10 мегабайт) = 2475880078570760 мегабайт
а это порядка 2 зеттабайт !!!!!

Answer 2

[xibir]

#!/bin/bash
for((i = 1; i <= 100; ++i)); do
   wget -O `printf '%03i' $i`.html "https://hashkeys.club/92/?page=$i"
done

Comments

[Виктор Таран]

Бро wget и без этой лабуды умеет выкачивать все страницы
Ман хоть почитай