Все сервисы Хабра

Сообщество IT-специалистов

Ответы на любые вопросы об IT

Профессиональное развитие в IT

Удаленная работа для IT-специалистов

Войти на сайт
  • Все вопросы
  • Все теги
  • Пользователи

Хабр Q&A — вопросы и ответы для IT-специалистов

Получайте ответы на вопросы по любой теме из области IT от специалистов в этой теме.

Узнать больше
другие проекты хабра
  • Хабр
  • Карьера
  • Фриланс
Задать вопрос
alekciy

Алексей Сундуков

Вёбных дел мастер
  • 241
    вклад
  • 23
    вопроса
  • 530
    ответов
  • 18%
    решений
Комментарии
  • Информация
  • Ответы
  • Вопросы
  • Комментарии
  • Подписки
  • Нравится
  • Достижения
  • Как сайты понимают, что их посетил бот на Selenium, а не реальный юзер?

    alekciy
    Алексей Сундуков @alekciy
    А есть провайдеры защищающие именно от парсинга?
    Потому что допустим защита от Куратора это немного от другого (DDoS) и другими методами (на уровне маршрутизации трафика). А вот что бы кто-то обещал защиту именно от парсинга....
    Написано 02 июн. 2020
  • Ссылки на сайте не открываются при обновлении страницы. 404 not found, как открыть доступ по ссылке?

    alekciy
    Алексей Сундуков @alekciy
    a_alisher, значит URL по факту разный. На адресе обычно либо стабильно 404 либо нет. Но учитывая, что примеры таких ссылок не приведены, то разобраться в принципе не представляется возможным.
    Написано 02 июн. 2020
  • Каким образом идет соединение с БД в Laravel?

    alekciy
    Алексей Сундуков @alekciy
    Евгений Мусонов, не понял сути вопроса. ORM модели и так внутри содержат ссылку на подключение по умолчанию к базе. Зачем еще одно?
    Написано 02 июн. 2020
  • Как сайты понимают, что их посетил бот на Selenium, а не реальный юзер?

    alekciy
    Алексей Сундуков @alekciy
    CityCat4, важно, но да, прямо в лоб. Открываешь каталог, там на странице видно сразу с десяток позиций. Зажимаешь shift и прямо с ходу кликаешь сразу несколько позиций. Пока они грузятся на новых вкладках ты смотришь описалово первой либо дальше скролишь список и так же продолжаешь.

    Особенно актуально в шмоточных каталогах, т.к. там важен общий вид и картинки обычно большие то люди не хотят ждать прогрузки страницы когда начнут просмотр. Гораздо комфортнее открыть пачку вкладок и потом по ним перемещаться.
    Написано 02 июн. 2020
  • Как правильно парсить по нескольким ссылкам на одном сайте?

    alekciy
    Алексей Сундуков @alekciy
    mikhal_ivanych, "Director, Reward & People Operations" находится в безымянном текстовом блоке. В приведенном ранее видео я как раз о таком варианте рассказывал. Должно быть как-то так:

    'title': b.find_elements_by_xpath('/div/text()[1]'),
    Написано 02 июн. 2020
  • Как правильно настроить соединение с банком по SSL?

    alekciy
    Алексей Сундуков @alekciy
    Максим Сандаков, Let's Encrypt хватит. По сравнению с покупным сертификатом он создает неудобство только с необходимостью его перевыпускать каждых 3 месяца. В остальном ни сколько не хуже.
    Результат проверки с одного из серверов с Let's Encrypt wildcard сертификатом: 5ed6235c7fa80626713050.png
    Написано 02 июн. 2020
  • Как правильно парсить по нескольким ссылкам на одном сайте?

    alekciy
    Алексей Сундуков @alekciy
    mikhal_ivanych, возможно стоить увеличить время, может в рамках питона нужно что-то занулить. Просто я вижу, что после запроса как раз происходит обновление DOM загруженной страницы как раз на интересующих элементах.
    Написано 02 июн. 2020
  • Чем плоха (хороша) данная конфигурация компьютера?

    alekciy
    Алексей Сундуков @alekciy
    Punter, ну он собственно многие годы и есть догоняющий. Другой вопрос, что мне вот производительности этого догоняющего хватает с лихвой. А в конкурентной борьбе догоняющий вынужден цену держать чуть ниже если хочет долю рынка. Поэтому собирал на AMD системы больше десяти лет. Года два назад собрал на базе Ryzen 3 хоть жаба немного душила. Но остался крайне доволен его работой. Чуть нагрузка на ядро поднялась, он абсолютно незаметно поднимает до 3ГГц поднимает, только нагрузка скинулась и до 1,5ГГц. В результате система в обычном рабочем режиме потребляет ~70-80Вт, в пиках ~130Вт.
    Написано 02 июн. 2020
  • Как правильно настроить соединение с банком по SSL?

    alekciy
    Алексей Сундуков @alekciy
    Let's Encrypt не могу считать надежным решением для подобного взаимодействия

    Почему? Если вы приватный ключ в третьи руки не отдали, то может быть даже надежнее, чем используемое в самом банке. Т.к. есть например предписания от ФСБ по поводу максимальной длинный ключа которую допустимо использовать. Но утеря приватного ключа как угроза безопасности работает с любым провайдером выдавшим сертификат.

    Если руководство жмотит покупку нормального сертификата, то Let's Encrypt это отличный выход.

    Для удостоверения банка (при запросах к нему) с него нужен публичный сертификат (цепочка) который содержит сертификат CA установленного в системе. Собственно все популярные центры сертификации используют эти CA (Let's Encrypt в том числе).
    Написано 02 июн. 2020
  • Как сформулировать запрос для записей содержащих слова, которые присутствует в тексте?

    alekciy
    Алексей Сундуков @alekciy
    Уточните, что хотите получить. LIKE дает возможность поиска вхождения заданной подстроки. Если хотите искать есть ли в строке набор определенных слов (т.е. вхождение Х подстрок в строку), то нужно использовать полнотекстовой поиск.
    Хотя можно и в лоб:
    mysql> SELECT * FROM (SELECT 'один два три' str) t WHERE t.str LIKE '%один%';
    +------------------------+
    | str                    |
    +------------------------+
    | один два три           |
    +------------------------+
    1 row in set (0,00 sec)
    
    mysql> SELECT * FROM (SELECT 'один два три' str) t WHERE t.str LIKE '%один%' AND t.str LIKE '%три%';
    +------------------------+
    | str                    |
    +------------------------+
    | один два три           |
    +------------------------+
    1 row in set (0,00 sec)
    
    mysql> SELECT * FROM (SELECT 'один два три' str) t WHERE t.str LIKE '%один%' AND t.str LIKE '%четыре%';
    Empty set (0,00 sec)
    
    mysql>
    Написано 02 июн. 2020
  • Есть ли единое API для доступа к данным чека онлайн касс?

    alekciy
    Алексей Сундуков @alekciy
    Акти CRM из личного опыта есть статистика, на сколько данное API от ФНС стабильно и быстро работает?

    Просто я в примерах ответа вижу, что присутствует товарный перечень чека. Но ОФД в ФНС не отправляет эти данные (чисто технически этого нет в ФФД). И как я понимаю налоговой для формирования такого ответа придется сходить на сервера ОФД и вытащить состав чека оттуда.
    Написано 02 июн. 2020
  • Как сайты понимают, что их посетил бот на Selenium, а не реальный юзер?

    alekciy
    Алексей Сундуков @alekciy
    ситуаций, когда человек тыкает в первую ссылку сразу же практически не бывает

    Бывает. Очень частый кейс в интернет магазине. Когда в списке товаров просто с ходу тыкают "открыть на новой вкладке".
    Написано 02 июн. 2020
  • Как правильно парсить по нескольким ссылкам на одном сайте?

    alekciy
    Алексей Сундуков @alekciy
    mikhal_ivanych, пробежался по сайту. По прежнему думаю, что проблема в обращении к элементы которого уже нет на странице. Как я вижу на источнике идет подгрузка данных по AJAX в GraphQL. При этом страница не обновляется, но DOM-то изменился. Нужно после строки driver.find_element_by_xpath("//a[@href='/en/careers/locations/49747']").click() добавить паузу секунды на 3 time.sleep(3). По всей видимости section2 находит на странице элементы которые к моменту запуска цикла уже со страницы пропали (т.е. данные обновились).
    Написано 02 июн. 2020
  • Как правильно парсить по нескольким ссылкам на одном сайте?

    alekciy
    Алексей Сундуков @alekciy
    mikhal_ivanych, ах, да, про ошибку. Вероятнее всего из-за того, что загружается новая страница, но в приложении парсера используется найденная ранее кнопка/ссылка/элемент. Фиксится обычно просто поиском нужного элемента еще раз.
    Написано 01 июн. 2020
  • Как средствами php создавать презентации?

    alekciy
    Алексей Сундуков @alekciy
    А какая цель? Создать именно файл презентации .pptx/.ppt или же вести саму презентацию (без установки ПО для перезентаций)?
    Написано 21 мая 2020
  • Как на лету изменять страницы, которые отдаются ботам, делающим слишком много запросов?

    alekciy
    Алексей Сундуков @alekciy
    Андрей, не страниц. Это RPS с одного легитимного IP. Если у вас этот лимит прописан в location отвечающий за связь с бэком и только с ним, то еще как-то нормально. Но если это общий лимит на server, то могут возникнуть проблемы.
    Написано 04 мая 2020
  • Почему происходит бесконечная переадресация с https на http и обратно?

    alekciy
    Алексей Сундуков @alekciy
    server {
    	listen 80;
    	listen 443;
    
    	server_name stasenok.com;
    	root /var/www/stasenok.com/data;
    	location / {
    		index index.html;
    	}
    
    	if ($is_https_redirect) {
    		return 301 https://$host$request_uri;
    	}
    }
    Написано 28 апр. 2020
  • Почему происходит бесконечная переадресация с https на http и обратно?

    alekciy
    Алексей Сундуков @alekciy
    vyacheslavdmitrievich79, а зачем в конфиге include /etc/nginx/global_server.conf? Вообще нужно из конфига для начала нужно убрать весь этот мусор. И сертификаты тоже. Оставить только минимум необходимого (php убрать тоже).
    Написано 28 апр. 2020
  • Почему происходит бесконечная переадресация с https на http и обратно?

    alekciy
    Алексей Сундуков @alekciy
    vyacheslavdmitrievich79, и еще, у вас на 443 порту шифрации нет вовсе. Т.е. https реально не работает, хотя порт и 443.
    Написано 28 апр. 2020
  • Почему происходит бесконечная переадресация с https на http и обратно?

    alekciy
    Алексей Сундуков @alekciy
    vyacheslavdmitrievich79, возможно в вашей конфигурации существует еще один веб сервер перед вашим? Это VPS/VDS? ssh доступ к нему есть? Что показывает:
    netstat -plan | grep tcp | grep LISTEN
    Что показывает:
    ifconfig -a
    Написано 28 апр. 2020
  • ← Предыдущие
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • Следующие →
Самые активные сегодня
  • Василий Банников
    • 10 ответов
    • 0 вопросов
  • dyuriev
    Денис Юрьев
    • 8 ответов
    • 0 вопросов
  • cicatrix
    • 8 ответов
    • 0 вопросов
  • 0xD34F
    0xD34F
    • 7 ответов
    • 0 вопросов
  • DevMan
    DevMan
    • 5 ответов
    • 0 вопросов
  • dimonchik2013
    dimonchik2013
    • 5 ответов
    • 0 вопросов
  • © Habr
  • О сервисе
  • Обратная связь
  • Блог

Войдите на сайт

Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации