Как парсить upwork?

Question

[Erling]

Хочу сделать парсер нужной мне категории upwork (т.к. параллельно тренируюсь с cURL и решил сделать что-то полезное для себя). Хотел задать вопрос прежде чем начать его разработку, т.к. я пока не являюсь экспертом: есть ли какие-то меры предосторожности или другие обязательные шаги, которые стоит учесть для разработки парсера данного ресурса?
Например меня интересует данная категория. Достаточно ли пройтись по всем ссылкам с одного соединения? Стоит ли делать перерывы (а не реалтайм) в парсинге?

Comments

[D']

А почему не взять RSS и читать его?

Answer 1

[Никита]

Через API, который они предоставляют: https://developers.upwork.com

Answer 2

[Пума Тайланд]

Можно просто парсить
Через апи новые работы отдаются с задержкой

Answer 3

[Артемий]

Зачем парсить когда там есть RSS?

Comments

[private_tm]

задержка блльше 1 мин помоему.

[private_tm]

рсс тоже надо парсить ка ни странно.

[Артемий]

Я раз в час ленту обновляю. Нормальный заказчик я считаю как минимум день все предложения собирать будет и анализировать варианты. RSS это насколько помню XML. Вы что планируете в XML парсить?))))

[Erling]

Артем HTMLDatabase: я для себя пишу. хотелось бы более частообновляюмую базу.

[Артемий]

А смысл? Работать то когда?