Как избавится от 301 Moved Permanently при работе с cURL?

TANK_IST: Рад помочь.

Как избавится от 301 Moved Permanently при работе с cURL?

TANK_IST: Вы спросили как избавиться от 301 редиректа, я дал ответ и вы от него избавились. То, что контент пожат gzip - это уже другой вопрос. Но тем не менее пробуйте:
curl_setopt($ci, CURLOPT_ENCODING , "gzip");

Авторизация на instagram через curl, как?

у вас код во втором кусе обрезался, поправьте.

Что установить на голый сервер?

MadGustave: И вот пусть и не самый свежий, но довольно хороший мануал по Debian 7 www.pontikis.net/blog/debian-wheezy-web-server-setup
и вот немного тюнинга важного simonholywell.com/post/2013/04/three-things-i-set-...
Еще чуток про Mysql
www.pentarh.com/wp/2011/03/02/mysql-innodb-highloa...
www.mysqlperformanceblog.com/2006/09/29/what-to-tu...

И про анализ логов на на наличие следов взлома
resources.infosecinstitute.com/log-analysis-web-at...

Что установить на голый сервер?

MadGustave: есть немного
что касается mysql
www.day32.com/MySQL
https://raw.github.com/major/MySQLTuner-perl/maste...
www.speedemy.com/17-key-mysql-config-file-settings...
https://onlinuxweb.wordpress.com/2013/05/11/mysql-...
www.tecmint.com/mysql-mariadb-performance-tuning-a...

Apachebuddy
https://github.com/gusmaskowitz/apachebuddy.pl (у меня перестал работать, но все же пусть будет)

По nginx
https://gist.github.com/plentz/6737338
https://habrahabr.ru/post/272381/
https://bjornjohansen.no/optimizing-https-nginx

Fail2ban, lynis и clamav ставятся простейшим apt-get install, да и в гугле какой-нибудь свежий мануал всегда найдется. Я ссылки на них даже не сохраняю.

Как скачать страницу без обновления с помощью curl?

NibiruanChild: curl_setopt($ch, CURLOPT_HTTPGET, true); заменить на curl_setopt($ch, CURLOPT_POST, 1);
Вы же POST должны отправить, а не GET.
И убрать curl_setopt($ch, CURLOPT_NOBODY, true);

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov:
$doc->loadHTMLFile("$specoffer"); заменить на $doc->loadHTMLFile($specoffer);
$doc->saveHTML(); - не нужно

$result = array();
$i = 0;
foreach ($queryItem as $goodsItem) {
$result['goodsItem'][$i]['name'] = $xpath->query('//a[@class="goods__title"]', $goodsItem);
$result['goodsItem'][$i]['price'] = $xpath->query('//span[@class="price_block__cur-price"]', $goodsItem);
/// и т.д.

$i++;
}
var_dump($result);

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: честно? это полный бред. переписать с нуля.

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: для начала переделайте конструкцию с foreach в такой вид:

foreach ($queryList as $key => $value) {
     $keyItem = $queryItem;
     foreach ($keyItem as $key_i => $value_i) {
    }
}

потому что $key и $value перезаписываются. В остальном, извините, помочь не могу, потому как надо видеть весь код, иначе это просто на гуще гадание. Да и со временем напряженно.

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: Честно сказать, я не совсем понял, в чем именно проблема. Получаете в массив $items список товаров со страницы списка, ключом для каждого элемента массива берете какое-то уникальное значение, например артикул товара. Потом при заходе в каждую карточку товара, где обычно тоже есть значение артикула, в $items по ключу-артикулу записываете нужные данные.
$items['code2045'] = array('name' => 'Супер-товар', 'weight' => '2.5 кг');

Нет артикула, берите id из url товара или любое другое уникальное значение.

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: Рад помочь

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: Там используется шаблонизатор Mustache, который на клиенте уже преобразовывает данные в DOM-дерево. Выхода у вас 2:
1. Брать массив myTovarList.items из страницы (смотрите исходники) и просто вытащить оттуда данные.
2. Рендерить страницу как браузер, то есть использовать CasperJS например. Это сложнее немного.

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: по поводу xpath-выражений - сокращайте до более простых и универсальных, используя обращения по классу, id или другим атрибутам тегов, даже используя данные из соседних тегов. То есть, к примеру, чтобы получить список тегов на любой странице вопроса на Тостере, вам надо лишь сделать такого рода запрос
$query = $xpath->query('//ul[@class="tags-list"/li);
И вот вы уже получаете список всех тегов.

В случае копирования из дев-тулзы Хрома мы получим вот такой ужас
$query = $xpath->query('//*[@id="question_show"]/div[1]/nav/ul/li[1]'); // к первому тегу

А в случае с Firebug и того хуже
$query = $xpath->query('/html/body/div[2]/div/div[1]/section/div/main/div[3]/div[1]/nav/ul/li[1]'); // к первому тегу

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: Прекрасно.

Как правильно прописать функцию при выводе в ассоциативном массиве xpath запроса?

ayapergenov: Рад помочь. По поводу url - легко, есть 2 пути. Первый - использовать метод getAttribute() для выбранного элемента, то есть

$query = $xpath->query('//img');
$img = $query->item(0);
echo  $img->getAttribute('src');

Второй вариант: внутри xpath-запроса обращаться к атрибуту, то есть
$query = $xpath->query('//img/@src');

Первый вариант считаю более грамотным.

Как решить проблему с cURL при установке Opencart на open server?

А можно подробнее - в чем суть проблемы-то ?

Как правильно вывести подписчиков instagam с помощью curl?

atHome: CURLOPT_COOKIEJAR - Имя файла, в котором будут сохранены все внутренние cookies текущей передачи после закрытия дескриптора, CURLOPT_COOKIEFILE - Имя файла, содержащего cookies. А если вы хотите передать COOKIE строкой, то вам надо CURLOPT_COOKIE использовать. Если передадите данные верно, но все равно не получите верный json с данными, то, значит, вам надо полноценно авторизоваться с помощью curl. Уверен, в документации по API инстаграмма есть вся информация по этому поводу.

Почему сайт загружает стили не сразу?

Если есть возможность - укажите ссылку на сайт, буде проще посмотреть своими глазами.

CURL, как сайт донор может еще узнать обо мне?

Vmedmen: На самом деле надо, конечно, смотреть детальней на поведение этого сайта и его реакцию на ваши действия. Плюс неизвестно какие прокси вы используете. Некоторые могут передавать ваш реальный IP, так что сайт фактически забанить мог именно по IP, вот код:

if ( !empty( $_SERVER['HTTP_CLIENT_IP'] ) )
    {
      $ip = $_SERVER['HTTP_CLIENT_IP'];
    }
    elseif( !empty( $_SERVER['HTTP_X_FORWARDED_FOR'] ) )
    //to check ip passed from proxy
    {
      $ip=$_SERVER['HTTP_X_FORWARDED_FOR'];
    }
    else
    {
      $ip = $_SERVER['REMOTE_ADDR'];
    }

Поэтому попробовать на друго сервере не такая уж плохая идея. Ну и тщательней отбирать прокси, чтобы они были полностью анонимными.

Как в php задавать несколько значений для функции glob?

HackOwnB: Я когда-то читал, что есть вариант использовать диапазоны в стиле [Сс][Тт][Рр][Ее][Кк][Оо][Зз][Аа]. Попробуйте.