Как сохранить результат парсинга в MySQL.?

Alex Gutter, вот тут можете понять. А еще написать в гугл 2 слова php mysql и получить сотни подробных инструкций с кодами, примерами и может быть даже с картиночками.

Как сохранить результат парсинга в MySQL.?

Alex Gutter, видимо читал неймоверно посредственно. Откуда-то выдрал кусок кода, но даже так по аналогии с $document->find('.post'); не смог хотя бы тайтлы и урлы собрать. В вебе - работа с БД входит в самую базу и освещается в любой книге/доке уже спустя несколько глав.
Как ты вообще собирался работать на php если ты даже базы не знаешь?

Как сохранить результат парсинга в MySQL.?

А дальше что? Будете бегать на тостер с каждым микро-заданием, которые вам только будут давать?
Уверен, вы даже ни 1 книги по программированию не прочитали, ни 1 пет-проекта хоть какого не сделали, но побежали искать работу. Что с вами не так?

CURL как переждать редирект?

В интернете больше 1,5 миллиарда сайтов, давайте-ка дружно будем угадывать что там у вас за сайт, на котором отображается сначала 1 страница, а потом буквально сразу другая, но информация собирается с первой страницы.
Или отметьте вангование DevMan решением, у него 99% верных ответов, 1% можно отбросить на статистическую погрешность, так что его чутью можете доверять.

Получить полный список пользователей, лайкнувших пост в instagram?

lewbor, значит в приложении тоже ограничение по лайкам, исходя из этого ответ на ваш вопрос - никак.
Как вариант - можно собрать лайки с N последних постов, удалить дубликаты и получить более менее релевантный список.

Получить полный список пользователей, лайкнувших пост в instagram?

lewbor, они это делаю через эмуляторы, как раз таки. Сейчас другого вариант нет.

Как сделать правильную проверку на палиндром?

Andrey Dugin, покажите как это сделать так, что-бы был не огород и значение возвращалось, или принтилось, как в условии.

Как реализовать подобную пагинацию на php?

Lander, паранойя действует чаще всего во вред. Чего люди только не выдумывают, что-бы сохранить свою "драгоценную" информацию.

Как сделать правильную проверку на палиндром?

У вас вариант не соответствует описанию:

чтобы не учитывались регистр, знаки препинания и пробелы

Как реализовать подобную пагинацию на php?

Lander, чаще всего это примитивный вариант борьбы с парсерами.

Стоит ли создавать сайт-портфолио на GitHub Pages?

это как? гитхаб давно хостингом стал?

github pages
Нет, не очень давно.

Существуют ли психотерапевты для программистов?

А че, программисты уже не люди?

Как сделать правильную проверку на палиндром?

Иван Мельников, это два разных слова. Вы значения слова "слово" знаете?
Если нужно всю строку мешать в одно слово, то тогда вместо for использовать строку:

word = "".join([''.join(filter(str.isalpha, w)) for w in text])

Как сделать правильную проверку на палиндром?

LevG0r, обновил.

Как загрузить 10.000.000 товаров в интернет-магазин (со ссылкой на внешний сайт)?

Рустам Байназаров, не перебарщивайте =)
Евгений, ядра-ядрам рознь. Плюс очень сильно зависит от того, какое кол-во людей планируете обслуживать. Может чисто под БД этих 6 ядер и 12гб ОЗУ хватит, но правда очень сомневаюсь что это все нормально будет работать при тысячах обращений.
Вообще такие вопросы нужно задавать вам как инвестору (нанимателю), а не вам как "хочу в вордпресс впихнуть 10 лямов записей".
Единственное, что скажу наверняка - 10 лямов записей, вордпресс и впс за косарь - это настолько несовместимые вещи, насколько это только возможно.

Как загрузить 10.000.000 товаров в интернет-магазин (со ссылкой на внешний сайт)?

10.000.000

wordpress

при минимальных затратах на сервер

Какие-то 3 несовместимые вещи у вас.

Парсинг сайта. Как бы вы сделали?

Никита Полевой, основные:
1. Медленный. Выкачивал 1000 разных страниц с одного сайта, сохранил локально, дальше - вытаскивал всю информацию с каждой страницы с bs4 и lxml по 50 раз в один поток. lxml справился за ~10 минут, bs4 за ~15 - ощутимая разница, если регулярно парсишь в больших объёмах.
2. Жрет много ОЗУ. К сожалению часто приходится использовать много процессов парсера, сам по себе bs4 спокойно может занимает ~5 мб ОЗУ, lxml - ~2 мб. У bs4 очень много утечек и и в целом проблемы с расходованием. 1 процесс bs4 во время работы спокойно может потреблять 30-40 мб ОЗУ, за lxml не наблюдал потребление больше 15 мб. Если поискать можно найти много обсуждений потребления bs4 большого кол-ва ОЗУ.
3. Для меня очень критично - bs4 не умеет в xpath. Шок. Очень часто приходится пользоваться Selenium и раньше, каждый раз когда возвращался к bs4 аж трясло от всех этих уродских селекторов, названий, кучей проблем когда нужно достучаться до элемента, селектор/название которого много раз дублируются на странице - здравствуйте извращения с сиблингами, дочерними/родительскими элементами. lxml спокойно работает с xpath.

Можно наскрести еще парочку субъективных причин, но и этих 3 более чем достаточно, что-бы отказаться от использования bs4.

Парсинг сайта. Как бы вы сделали?

по моему личному мнению BeautifulSoup

Я тоже так считал, пока огромное кол-во людей не открыли глаза на то, что bs - это кусок говна неюзабельный.

Банит при парсинге ( слишком много запросов). Как исправить?

DanKud,

но я говорил о реальных приватных прокси с авторизацией

Это те, которые стоят овер дохрена и выдаются поштучно? Какой от них толк? Если у сайта рейт лимит, то нужно много прокси, что-бы его парсить и никакие "приват" прокси никогда в жизни тут не помогут.

но если сайт будет заморачиваться с тем, чтобы его не парсили, то все эти фильтрации будут слишком ресурсозатратными и малоэффективными

На сайте либо есть рейт лимит, либо его нет, или он очень большой. Рейт лимит обходится только с помощью большого кол-ва прокси, все остальные блоки к прокси никакого значения не имеют.

все эти фильтрации будут слишком ресурсозатратными и малоэффективными

Ресурсо-чего? Пропинговать 20к прокси у меня лично занимает около нескольких минут, т.к. обычно я пингую с тайм-аутом в районе 3-4 секунды, на выходе в зависимости от конечного хоста получается 1000-4000 прокси в среднем. На выходе пачка прокси, которая гарантированно работает с конкретным хостом, а покупка прокси - это всегда кот в мешке, т.к. неизвестно кто их юзал за пол часа до вас, не раз натыкался на ситуацию, когда приват прокси уже были блокнуты на разных популярных ресурсах среди парсеров типа елпа.

Банит при парсинге ( слишком много запросов). Как исправить?

Рональд Макдональд,

Это какой-то сюр, Рональд просит куратора не троллить.

Сдаёте позиции.

DanKud, и что мешает выгрести из паблик-прокси пачку на ~20к и перед началом парсинга отфильтровать их? Просто, тупо по-очереди пингануть целевой сайт, если не отдает 200 статус - выкинуть прокси.
В самом коде еще можно написать простенький ротатор на несколько строк кода, который на каждый реквест будет давать прокси из списка по-порядку, а использованный заносить в конец очереди.
Можно пойти еще чуть дальше и добавить счетчик, в который заносить бэд-реквесты по каждому прокси и если, к примеру, 3-4 раза прокси не отдал 200 статус - удалить из пула.
Можно пойти еще дальше и написать парсер паблик-прокси, фильтр по хосту и в случае, когда в пуле заканчиваются прокси запускать процесс сбора и пополнения пула "живых" прокси.

И кстати, открою тебе тайну - большая часть всех "приват" прокси - это ровно те-же самые отфильтрованные паблик прокси, только есть какая-то небольшая гарантия, что он не навернется в процессе работы, но с ротатором это не страшно.
И да, если нужна абстрактная гарантия чего-то там, то лучше уже люминати юзать, он хоть просто удобный.