xmoonlight, Ну, если есть смысл - почему бы и не попиариться немного тому, кто в этом нуждается! Плохого тут по сути то ничего и нет, если это адекватная, конструктивная критика, а не обычный вылив говна обобщенными фразами. По-этому, полностью согласен, автор должен сам понимать, что принимать к сведению, а над чем посмеяться...
Максим Осадчий, не надо ничего консольно-фоново запускать (точнее не в этом вопрос вообще), у вас просто напросто отсутствует контроль выполнения "итерации" (хотя в вашем случае без кавычек). Вы "выпускаете пулю" и не удостоверившись и не дождавшись подтверждения, что она попала в цель - отмечаете ее "пораженной" переходя к следующей цели.
Я бы делал так (возможно и вам что-то будет полезным из этого):
- во-первых, посмотрел есть ли sitemap и если да - проверил его качество (сравнил с индексом ПС), если все ок - список урлов товаров готов и не надо парсить никакие категории для этого. Если нет - в моем случае (поскольку лень было в парсер дописывать граббинг урлов) запустил бы xenu и получил список урлов товаров.
- в произвольной БД создал таблицу со структурой типа: id, url, status, comments где основным по смыслу является status например enum('wait', 'parsing', 'done', 'error')
- запускал бы экземпляры парсера обрабатывая первый урл со статусом 'wait' из таблицы и ... ну думаю дальше все понятно....
При такой схеме мы можем контролировать (перезапускать если надо) парсинг каждого урла, также опираясь на кол-во одновременных записей со статусом 'parsing' можем контролировать кол-во потоков ну и по завершении формировать отчет какой-то и что еще в больную голову взбредет...
xmoonlight, возможно я не совсем "в теме", но какой смысл тут пиариться? Что это даст? Рейтинг этот вообще я так понимаю чисто глаз порадовать - не более?
Кирилл Горелов, Ну если адекватную критику, то думаю что Тостера хватит с головой: нужный контингент + кол-во людей. По результатам критики уже будет видно получите ли Вы моральное удовлетворение или нет)))) Но я искренне надеюсь, что "да")
DeST5, Вобщем... Структура урла для html-страницы, обычно, состоит из таких параметров:
1. Протокол - http, https
2. Субдомен и домен - понятно
3. Контроллер - сообщает системе какой модуль/шаблон/etc задействовать для генерации данной страницы. Например:
- страница "Контакты" ->
Контроллер = pages
Модуль/шаблон вывода = текстовая страница
- страница "Категория Кастрюли"
Контроллер = category
Модуль/шаблон вывода = страница со списком субкатегорий и товаров
- страница "Товар Кастрюля для супа"
Контроллер = product
Модуль/шаблон вывода = страница карточки товара
4. Уникальный идентификатор страницы - обычно транслит названия (например из H1)
5. Дополнительные параметры - например для страницы категории это поле для сортировки, направление, номер страницы пагинации и т.д.
Так вот я так и не понял, зачем вам в обоих случаях pages? Посмотрите на свои урлы и сравните со списком. Все логично?
Или приведите примеры реальных страниц (можно без домена), чтобы не хело ворлд рассматривать, а реальные примеры данных.
Сергей Горячев, Особо не разбирался в них, но скорее всего с настройкой дизайна тут туговато... Да и в плане функциональности: их наверно скорее под опросы и т.п. удобней юзать, а не для фидбеков разнообразных:)
Jablocker, Дополняя ответ Артур, : помимо этого, вы еще и явно "палитесь", предоставляя потенциальным конкурентам свои ключи... Так сказать преподносите на блюдечке)
Doc, так тут и ошибки то быть не должно, т.к. весь блок выполняется если существует post_submit, а поскольку его нет, и элс тоже нет - все нормально отрабатывает без ошибок, как и должно быть:)
