hack504, я понимаю это, однако, должен быть человек, который будет следить за этим делом и который знает, как должно быть правильно. Т.е. менеджер со знанием современных подходов разработки. Который скажет, юзаем гит, каждая новая задача в новой ветке и прочее. Получается какой-то менеджер-инженер. Человек, который внедрит порядок в текущий хаос. Сеньера без навыков менеджмента искать глупо. Как все это организовано в больших компаниях? Есть команда разработчиков, над ними стоит лид, Лиду задачи ставит архитектор? Если да, то он подходит под мои требования? Если давать hr-у для поиска требования, то какие?)
"Для начала четко сформулируйте критерий похожести, без понимания задачи подобрать решение проще всего подбрасыванием монетки." К этому в последствии и пришел, спасибо )
qxcoder @qxcoder
Я думал об этом, и при этом, проблема немного глубже. Мне нужны только актуальные товары с текущего времени.
Приведу полный пример.
Рассмотрим доску объявлений. Я хочу первый узнать о каком-либо товаре. Мне, к примеру, нужен acer aspire 5742g. Я выбираю ЦП, объем ОП, видюху и ценник. Как только появляется товар который подходит по моим фильтрам мне приходит смс. Т.е. объявления, которые были выложены ранее, мне не интересны. Таких фильтров может быть 50.
Алгоритм такой:
1. Бери фильтр, забирай страницу курлом.
2. Собирай ИД товаров .
3. Сравнивай их с уже имеющимися в БД.
3.1 Если есть ИД которого нет в базе - отправляй СМС и добавляй его в бд.
3.2 Иначе ничего не делай.
Проблема в том, что как только появляется N пользователей (для примера возьмем 100) и у каждого по 50 фильтров, то к этой доске объявлений по крону, каждую минуту, будет улетать по 5000 запросов (а если взять 1000 пользователей, то это вообще 50к =_=). От этого не избавишься, только если искать среди всех одинаковые фильтра и делать всего один запрос. Но это будут крупицы.
Ну и естественно сервер доски объявлений будет не рад такой активности... Купить Проксей? А сколько? Грубо говоря по 1-ой на юзера? Только такое решение?
Буду рад послушать ваши мысли на этот счет!
Я думал об этом, и при этом, проблема немного глубже. Мне нужны только актуальные товары с текущего времени.
Приведу полный пример.
Рассмотрим доску объявлений. Я хочу первый узнать о каком-либо товаре. Мне, к примеру, нужен acer aspire 5742g. Я выбираю ЦП, объем ОП, видюху и ценник. Как только появляется товар который подходит по моим фильтрам мне приходит смс. Т.е. объявления, которые были выложены ранее, мне не интересны. Таких фильтров может быть 50.
Алгоритм такой:
1. Бери фильтр, забирай страницу курлом.
2. Собирай ИД товаров .
3. Сравнивай их с уже имеющимися в БД.
3.1 Если есть ИД которого нет в базе - отправляй СМС и добавляй его в бд.
3.2 Иначе ничего не делай.
Проблема в том, что как только появляется N пользователей (для примера возьмем 100) и у каждого по 50 фильтров, то к этой доске объявлений по крону, каждую минуту, будет улетать по 5000 запросов (а если взять 1000 пользователей, то это вообще 50к =_=). От этого не избавишься, только если искать среди всех одинаковые фильтра и делать всего один запрос. Но это будут крупицы.
Ну и естественно сервер доски объявлений будет не рад такой активности... Купить Проксей? А сколько? Грубо говоря по 1-ой на юзера? Только такое решение?
Буду рад послушать ваши мысли на этот счет!
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
