xmoonlight

Включить кэширование контента или использовать CDN.

Уважаемые знатоки, а какие еще методы оптимизации быстродействия можно провести?

1. Можно оптимизировать парсинг для бэкграунд режима на основе предсказания. Т.е. если запросили товар с определёнными характеристиками, то все линки с этим товаром для всех магазинов - ставим в приоритет!

2. Используйте круговую очерёдность доменов (round-robin) при обработке урлов из очереди, чтобы увеличить интервалы между запросами к одному сайту и тем самым, уменьшить риск бана.

3. Создайте API для своего сервиса, к которому будут подключаться клиенты, а в клиентах - сделайте возможность получения информации о товарных предложениях с других сайтов минуя Ваш сервер (только это укажите явно!). Т.е., превратите клиентов в прайс-консолидаторы. Таким образом, Вы распределите нагрузку парсинга среди клиентов. А когда клиенты будут собирать информацию по конкретному товару сразу с нескольких URL - пусть автоматически отсылается информация через API на ваш сервер.

4. (всё нижеописанное - для одного домена, который необходимо парсить!)
Периодичность парсинга для конкретного магазина - зависит только от ширины вашего канала, вычислительных мощностей на вашей стороне и соблюдения АДЕКВАТНОГО интервала между последовательными запросами к этому (одному) магазину. Т.е. при "round-robin" следите, чтобы запросы были не чаще, чем раз в 5-10 минут.

Или можно просто чередовать "пакет"/"период":
"пакет": 100 запросов с периодом 2 минуты и пауза 3 часа,
"период": 100 запросов на протяжении 3-х часов, и снова "пакет",
и т.д. по-кругу (или в случайной последовательности).

Как считаете, уважаемые?

Спамить нехорошо!
Двигайтесь в сторону этого.

clear:both;
float:left;
display:inline-block;

1. www.timesnapper.com/index.aspx
Screens

2. Chronolapse

https://github.com/xmoonlight/includeHTML

A modern JavaScript router in 100 lines

1. Составляем список получаемых критериев для каждого из отзывов (т.е., для одного).
2. Делаем морфологический разбор по сущностям и их взаимосвязям для каждого из отзывов.
3. Анализируем полученное дерево связей для каждого из отзывов.
4. Получаем коэффициенты интересующих нас критериев.
5. По совокупности весов (или на основе своего заранее подготовленного (НС) "дерева" весов) различных критериев для каждого из отзывов - определяем вес нашего целевого критерия (совокупного) для каждого конкретного отзыва.
6. Делаем сортировку по убыванию всех целевых весов в соответствии с отзывами и выводим максимальный или их кластеры в процентном соотношении (для визуального сравнения).
7. Profit! и (ещё раз) Profit!

Проще - это сделать через искажения проекции в 2D-редакторе.

explode+foreach

...и какие технологии лучше использовать?

лучше используйте нестандартный подход, красивый анимированный ("живой") интерфейс, режим шаблона SPA. (html5+валидная по w3c - это само собой!)

Google: Перепродажа востребованного контента (рекламы/приложений/статей/и т.д.), продажа доступа к API с различными условиями.

роутинг заранее прописывается в настройках сервера.

Никого не слушайте: Это Хаффман.

НС - это фильтрация по признакам входных данных.
Для картинки: это цвет основного центрального пикселя и цвета соседних (окружающих его) пикселей.
Распознавание по-шагам:
1. Находим уникальные области изображения (ограниченные прямоугольником или кругом), составляющие топологический "скелет" всего изображения.
2. Находим максимальное сопоставление "скелетов" на эталонных и на распознаваемом изображении.
3. Выполняем сравнение этих областей с эталонными в процентном соотношении с учётом корректности топологии: линий, процентов расстояний и углов направлений каждой уникальной области относительно другим уникальным областям одного изображения.
4. Профит!

Обучение - установка "весов" в узлах нейросети по заранее заданным входным и выходным параметрам.

Пример, обучения (ребёнка):
Итерация1: показываем кубик (вход) -> говорим "это кубик" (выход)
Действие НС: сравнивать пока не с чем - просто создаём узел: "кубик". (вес нейрона: 1.0)
Итерация2: показываем шарик (вход) -> говорим "это шарик" (выход)
Действие НС: сравнивается с кубиком: нейронами формируются отклонения визуального контура предмета на основе большой разницы визуальной и звуковой информации и, на основе полного несовпадения ни с какими предметами (похожесть узлов 1-го уровня), появляется новый "узел" в НС: "шарик". (вес нейрона: 1/[общее кол-во связей в пределах текущего узла]=1/2=0.5)
Итерация3: показываем параллелепипед (брусок) (вход) -> говорим "это кирпичик, как кубик, только вытянутый" (выход)
Действие НС: сравнивается с кубиком и шариком: нейронами сравниваются совокупности "весов" узлов кубика и шарика, определяется, что максимальное совпадение - это кубик, формируется разница признаков и снова появляется новая ветка от узла "кубик".

Делаем сравнение: на сколько кирпичик отличается от остальных предметов?

Допустим, результат сравнения на совпадение контурных линий и звуковой информации:
1. кирпичик vs шарик: <50%
2. кирпичик vs кубик: >=50%, (НО! СТРОГО МЕНЬШЕ 100%)
Т.е., мы видим, что кирпичик - вовсе не шарик, а больше похож на "недокубик") и в связи с этим, строим новую ветку от узла "кубик".

Было:
1-й уровень (1=100%): 0.5(шарик), 0.5(кубик).
Стало:
1-й уровень (1=100%): шарик: 0.5, кубик: 0.5
2-й уровень (0.5=100%): кирпичик: 0.5
(3-й: 0.25=100% и т.д.)
Сумма весов от любого из "узлов" 1-го уровня до любого "листа" в "дереве" - всегда равна единице!

Таким способом, мы постепенно строим дерево связей.
Вот как-то так обучение и происходит: опорные эталонные признаки (обучение), сравнение с имеющимися из "дерева" знаний и добавление нового знания в нужную ветку дерева.

Сами связи - привязываем к времени с постепенным вычитание весов узлов дерева до нуля и получаем эффект забывания (или "высвобождения" узлов = памяти), если информация периодически не обновляется. При обновлении информации - обновляем всю ветку до листа максимальным весом: "повторенье - мать ученья".