Недавно реализовал похожую задачу - обход по категориям с поиском позиций, суть в том, что WB отдает все в виде JSON. Задача сводится к тому, что формировать запрос для JSON и забирать от туда данные. Для себя выставил задержку в 1мс на запрос. Блокировки нет, обходит 3 категории за полчаса. Соответственно 500 ссылок - возможно будет исполняться менее секунды.