Декодировать данные, закодированные индивидуваьным алгоритмом

wget просто получит html, js он выполнять не умеет, поэтому этот тот же CURL для php. С получением даных проблем нет, проблема эти данные в виде массива представить. А именно не особо понимаю как мне эту строку начать обрабатывать, если бы там не было блока в котором | может не экранироваться, тогда задача проще становится, а так т просто RegExp а и explode не хватит, тут еще порядок действий определенный надо запрограммировтаь, щас работаю над этим, но туговато пока идет.

Декодировать данные, закодированные индивидуваьным алгоритмом

Да, смотрел на него, и на связку ChromeDriver + python-selenium, но что-то боюсь что в этом случае мой скрипт парсинга >20000 страниц не сможет выполниться даже за сутки, и возможно ресурсов значительно больше будет тратиться. Хотя так конечно же было бы значительно проще.

Распарсить на PHP ajax ответ от ASP.NET

Спасибо, вы правы. Однако мне кажется этот алгоритм передачи данных встроен в ASP, а не разработан специально под этот сайт, поэтому так и написал.

Парсинг https+post (http://iaai.com)?

На php не нашел, перерыл все что связано со соловом «парсер» и производными от него. Нашел для python — selenium + Chrome driver, в целом python это язык программирования на который я собираюсь пересесть после этого проекта, поэтому этот вариант меня бы устроил, но он мегамедленный будет думаю для >20к страниц, и ресурсов нормально жрать будет а выделенный сервер заказчик врядли захочет рассчитываем на VPS за 10$ мощности которого достаточно для парсинга обычным способом, а js движок больше для тестирования как я понял используют.

Параметры X и Y при отправке форм

Точно, спасибо, действительно input type=«image» на этих сайтах используется, не знал что он отправляет еще и координаты клика.

Парсинг https+post (http://iaai.com)?

Кстати расшифровал я те шифры, это обычный base64, к котором куча всякой фигни d.pr/n/RspG. Мне кажется эта такая «фишка» ASP.NET отправлять все что можно.

Парсинг https+post (http://iaai.com)?

Да, выяснил что там передаются все инпуты со страницы для того чтоб сманить страницу, и попробовал менять конкретно мои, и все работало, щас разбираюсь что там зашифрованое такое, и оказалось что это функция __dopostback() в которую мы передаем параметры при смене страницы, это какая-то встроеная в asp.net штука для работы с формами вроде, а эти шифры выполняют какие-то стандартные функции и это не особенность сайта а особенность ASP, и они потом передаются в примерно таком виде d.pr/i/Z0A (наверно что то типа json в asp.net) и потом их js, парсит и вставляет куда надо, так что по сути как выполнить задачу я уже вижу, спасибо всем кто помог.

Парсинг https+post (http://iaai.com)?

Все верно CURL все делает. Спасибо за совет, как раз этим щас и занимаюсь(выявлением значимых полей), только не плагином, а софтом который посоветовали выше. За наводку на плагин тоже спасибо, т.к. плагином возможно удобнее будет. В код JS еще не лез, т.к. это на крайний случай решил оставить. Меня больше волнует почему часть информации шифрованная, а часть нет, и связано ли это как-то с https, т.к. что-то мне кажется что то что я вижу в firefox, это то что потом еще зашифруется а щас это данные которые я действительно передаю, и никак не связано пока с https.

Парсинг https+post (http://iaai.com)?

Не знаю если честно, моя задача сделать сайт который парсит. Но судя по обилию сайтов в гугле по запросу «Авто из США» и судя по почти пяти литровому Форду Мустангу у моего заказчика выгода какая-то есть)

Парсинг https+post (http://iaai.com)?

Все верно Мак, ок попробую, но конечная задача чтоб это происходило не на MAC а на сервере с Debian. Хотя возможно вы имели ввиду чтоб я просто посмотрел какие запросы идут, а потом уже на основе этих данных, делал сам запросы без этой программы.

Подскажите одноплатный компьютер

Почему-то мне кажется что их прожорливая видюха много жрет при нагрузке, а в вашем случае нагрузки на нее не будет. Но это всего лишь ИМХО, ничем не подтвержденное.

Выбор вебкамеры для поиска движения на Raspberry Pi

Да, я понимаю что на малине сильно не разгонишься, поэтому и предложил заменить малину на что-то пошустрее вот эта штука вроде крутая www.miniand.com/products/GK802%20Android%20Mini%20PC, поставить на нее Lubuntu или что-то вроде этого, купить нормальную камеру, и вперед. Думаю в 150$ вложитесь. Щас заказал себе MK802+ (одно ядро на 1000мегагерц, 1 гиг оперативки) тоже хочу попробовать поиграться с openCV но все же слабоват думаю будет, а GK802 само то, взял бы его себе, но на карточке не момент покупки только 40$ было, так решил пока с этим поиграться, а понравится так возьму уже GK802, а этот в телевизор воткну.

Подскажите одноплатный компьютер

Упс, не дочитал ваше сообщение до конца, вы уже рассматриваете МК805, но в любом случае возможно своим сообщением я помог вам тем что у вас будет меньше сомнений по поводу этой платки)

HEX to BIN

Да, я вот тоже думал над этим вариантом, т.к. наблюдения показали что вроде достаточно дописать 0x, а потом подумал что может это не всегда так работает, и где-то вместо 0 надо писать что-то другое, и решил отбросить его.

HEX to BIN

Спасибо

HEX to BIN

Да, спасибо, оно, а через что так можно сделать самому?

HEX to BIN

Нет, это hex -> ASCII, так я умею, а нужно чтоб все было написано как-то так «0x58 или 1011000»

Программатор из Arduino для сброса чипов картриджей

Как я понял, для варианта с резисторами, нужен еще и serial port в компе, а у меня нет такого, но вроде как в arduino есть либа Wire, которая позволяет общаться по I2C, так что думаю разобраться с ней, почитать про 24C04 и проблема решена.

Программатор из Arduino для сброса чипов картриджей

Да, верно, где-то читал что это Микросхемма 24C04.

Интерфейс i2c. Напишите програмку, читающая/записывающая биты.

спасибо, думаю это поможет найти решение.

Программатор для ком порта — 2 резистора

не представляю как это реализовать двумя резисторами, и как потом передать мой код с компа на чик(знания в области электроники, на школьном уровне)

Ограничить потребление ресурсов скриптом

Потому что сейчас идет разработка и тестирование. Когда был удобный момент запустить тогда и запустился. И запустился он часов в 10 утра, это конец его работы был в такое время, а точное время работы скрипта предсказать сложно. Ну и в любом случае это не дело чтоб даже ночью сервер лежал. А нагрузки от пользователей практически никакой нет, если в сообщении имелось ввиду что ночью ресурсов больше было доступно.