• Как лучше сделать парсер данных с разных источников?

    @alexalexes
    В вашей схеме еще не хватает подсистемы scheduler - планировщик заданий.
    Его нужно чаще всего запускать по крону (а может он у вас будет вертеться в бесконечном цикле, а может спать в потоковом режиме выполнения).
    Планировщик, на основе результатов проходов паука, парсера, ограничений на проходимых сайтах, нагрузки собственной системы, будет регулировать частоту запуска перезапуска заданий.
    Желательно, чтобы задания паука и парсера были достаточно атомарны.
    Паук в одну страницу постучал, записал статус получения ответа, каков контент в ответе (html или текстовое сообщение, или JSON и тд.), удалось ли ему распознать структуру, метаданные и тд.
    Если, например, вернулась 404 стр, то возможно, с помощью планировщика установить правило, что можно натравить паука на url чуть позже, через час, день, неделю и тд.
    По аналогии, можно фиксировать статусы работы других подсистем checker-а, парсера.
    Если один из модулей застревает на 5 разе на каком-то задании, то сыпать критическую ошибку в лог и тд.

    В общем, каков бы состав модулей не был, но планировщик нужен.
    Ответ написан
    Комментировать
  • Как устроены сервисы подобные deal.by?

    lukoie
    @lukoie
    1 ставите вордпресс, делаете мультидомены и изучаете структуру БД
    2 ставите опенкарт, включаете мультимагазин и изучаете структуру БД
    3 папки не создаются, файлы никуда не копируются, шаблон один на всех(или разные шаблоны, но он один, а для субдомена выбирается один из них. на 1000 субдоменов может быть 5 шаблонов на выбор).
    4 да, структура таблиц под каждый субдомен своя уникальная(копируется дефолтная), добавляется префикс для уникальности.
    Ответ написан
    Комментировать
  • Как сделать регистрацию сайта в php через api?

    Процитирую ответ Anton B из вопроса Как использовать токены для аутентификации в API?

    1. Для авторизации пользователь вводит логинпароль, устройство отправляет их по https на account/auth
    2. account/auth выдает token (token_id:token_val) и secret
    3. все дальнейшие запросы устройство отправляет по http указывая token и подписывая запросы с помощью secret

    Как работает.

    Сервер получает запрос, видит что пришел token, разбивает его через двоеточие на input_id и input_val. Выбирает из базы токен с пришедшим input_id, получает из базы значение token_val и secret. Сравнивает input_val и token_val. Если в базе нашелся токен с нужным id и значения val равны, пришло время проверить достоверность запроса.

    Клиент помимо токена передал sign (подпись), которую сформировал так (например) secret+api_path+query_param. На стороне сервера вам известно api_path и api_param, а secret выбрали из базы. Хешировать подпись принято через hmac().

    Помимо токена и подписи можно передавать time и так же класть его в sign, и на стороне сервера отсекать запросы запросы которым больше 60 сек.

    Таким образом.

    Если кто то слушает ваш канал, он не сможет подделывать запросы (а значит компроментировать), и из-за проверки времени жизни запроса не сможет вечно получать данные по однажды перехваченного запроса.

    А в базе токены можете хранить пока клиент сам не запросит их уничтожения и сохранить время последного обращения через токен, и удалять токены которые не использовались более 60 дн.
    Ответ написан
    Комментировать
  • Заказчик сует доработки очень маленькими порциями, как брать оплату?

    maler1988
    @maler1988
    Web-программист (1С Bitrix)
    Обозначьте стоимость часа, минимальный паке 30 минут, хоть там на 5 минут хоть на 28 - оплачивается 30 минут (у нас так было) и объяснить что выгоднее для него будет присылать доработки списками по 5-10 задач. ) очень быстро заказчики отучаются слать 5-ти минутные доработки. Объясните что вам нужно отвлечься, переключиться на его проект, вникнуть в доработку, сделать её и т.п. на это тоже время надо (чтобы мозги перестраивать).
    Ответ написан
    Комментировать
  • Заказчик сует доработки очень маленькими порциями, как брать оплату?

    sim3x
    @sim3x
    Собирать правки в блок на 15-25 минут (те просто сказать, если в письме не указано "срочно", то фиксы будут делаться после пятого-шестого письма)
    Когда просить оплату за блок: внутри большого проекта +1-2 часа, как за поддержку
    или после: как отдельный блок
    стоит оговорить с клиентом заранее

    Акцент тут на том, что задачи на 5 минут - ето вспомнить о чем проект, запустить все тесты, понять как решать, решить (вот тут 5 минут), запушить, задеплоить, написать ответ
    И в совокупности 5-минутная задача сожрет пол часа и более
    Ответ написан
    Комментировать
  • Заказчик сует доработки очень маленькими порциями, как брать оплату?

    opium
    @opium
    Просто люблю качественно работать
    Тут просто надо вложить это изначально в стоимость и не надо его отучать.
    Например у меня есть заказчик который никогда не заказывает без скидки, хоть убейся ему нужна скидка, всегда наценяю ему двадцать процентов, потом даю скидку двадцать процентов, он раз как ребенок, и понятное дело что его тут вопрос денег не сильно волнует, но убеждения какие то толкают на обязательное получение скидки
    Ответ написан
    10 комментариев
  • Заказчик сует доработки очень маленькими порциями, как брать оплату?

    @402d
    начинал с бейсика на УКНЦ в 1988
    поставить минимальную стоимость как за полчаса работы.
    объяснять, что вы сейчас заняты и поправите через 1-23 часа.
    Брать деньги за все время от прихода первого сообщения до сдачи последней правки.
    так как вы в режиме оперативного сопровождения.
    Ответ написан
    20 комментариев
  • Какой выбрать мониторинг серверов?

    gr1mm3r
    @gr1mm3r
    50% ответа в правильном вопросе. Остальное мануал.
    Если очень просто надо и не заморачиваться с безумными тестами то: netxms.org
    Если хочется тесты посложнее и поковырятся руками то munin/
    Если хочется задротства и безумных тестов то zabbix
    Ответ написан
    Комментировать
  • Как не заплыть жиром, работая удаленно программистом?

    evnuh
    @evnuh
    Поиск Гугл помог мне, впусти и ты его в свой дом
    1) Кроме работы у вас должны быть какие-нибудь ещё дела, которые заставляют выйти из дома.

    2) Если нет дел, устраивайте себе обед, как у офисного планктона. При этом, обедайте не дома, обедайте в ресторанах с нормальной едой (это будет дороже и, скорее всего, полезнее, сразу два плюса для вас). Нет нормальных ресторанов - ездите в большие продуктовые за нормальными продуктами и готовьте дома.

    3) На обед и на любые другие дела ездите на велосипеде. Т.к. вы в провинции, то у вас просто сногсшибательная возможность всюду ездить на велике. Забудьте об общественном транспорте. Ходите везде пешком, ставя личные рекорды по скорости и длине пути, которые вы преодолели пешком.

    Гораздо проще быть активным, подвижным и динамичным по жизни, чем сначала сидеть на работе, потом сидеть в спортзале.
    Ответ написан
    1 комментарий
  • Как не заплыть жиром, работая удаленно программистом?

    @faragly
    Занимайтесь в спортзале, это хорошее занятие поверьте, таким образом вы будете компенсировать нагрузки и сидячий образ жизни, который, как мы знаем, до добра не доводит. Будучи спортивным, вы будете уверены в себе и не будете воспринимать компьютер как вредное изобретение человечества, а просто как средство заработка. Это две крайности компьютер и спорт создает баланс в вашей жизни. Найдите фитнес-центр недалеко от дома, ходите 3 раза в неделю, по 2 часа (полтора часа занятие и полчаса туда-обратно), вы будете удивлены насколько изменится ваше восприятие.
    Ответ написан
    4 комментария
  • Любят ли яндекс с гуглом продвигать сайты с новыми модными доменными зонами?

    opium
    @opium
    Просто люблю качественно работать
    Вроде давно уже яндекс и гугл сказали им все равно какая доменная зона, и в документу по оптимизации сайтов от поисковиков, вы не увидите рекомендаций по покупке конкретных доменных зон.
    Ответ написан
    Комментировать
  • Влияют ли тематические домены на SEO?

    XXX
    @XXX
    Решение где-то рядом
    Стоит ли покупать вместо классических (*.ru. *.com, ...)?
    Если расчет исключительно на SEO, то не стоит. Никаких преимуществ у десятков новоявленных зон, против зон классических, в плане SEO нет.

    Российской компании гораздо интересней для SEO иметь домен в зоне ru, чем какой-нибудь .center. Но ничто не мешает ей прикупить дополнительно красивый домен для зеркала, если в ru ничего подходящего за приемлемую цену нет. Согласитесь, магазину торгующему байками домен super.bike будет приятнее печатать на визитках, чем super-bike111.ru :)
    Ответ написан
    Комментировать
  • Может ли юр. лицо отнять домен?

    Jump
    @Jump
    Системный администратор со стажем.
    Неизвестно.
    Мало данных чтобы хоть как то это прогнозировать.

    Вообще чтобы претендовать на домен эта организация должна эти претензии как то обосновать.
    Совпадение домена с названием юр. лица ни о чем не говорит, и не имеет никакого значения.
    Вот совпадение домена, или его созвучность с торговой маркой зарегистрированной юр. лицом это уже другое дело, тут можно попробовать и в суде потягаться.
    Ответ написан
    Комментировать
  • Какую структуру WEB API вы используете в своих проектах: api.site.ru или site.ru/api/?

    sofcase
    @sofcase
    Веб-разработчик
    1. api.site.ru
    2. Да просто так удобней.
    3. Не влияет, вроде как
    4. api.site.ru/products/ а вот moscow уже можно решить на уровне параметров или сессий

    PS. Если необходимо использовать API на сайте, то в случае с api.site.ru можно просто делать проксирование с site.ru/api/ на api.site.ru
    Ответ написан
    4 комментария