Добрый день.
Есть потребность автоматизировать мою текущую работу, но к сожалению, не совсем знаю как это сделать. Мне видится несколько путей, и в любом из них я готов самостоятельно изучить требуемые знания.
Кратко: я работаю удаленным сотрудником в транспортной компании. Проставляю ставки на сайтах торгов с обратным аукционом, где исполнители (перевозчики), предлагают наиболее лучшие условия для заказчиков (людей, нуждающихся в перевозке из пункта А в пункт Б).
Логика работы:
Есть два направления, работа с сайтом и с почтой.
Работа с сайтом:
1) Зайти на сам сайт, как правило делаю это по вкладке браузера.
2) Проверить правильность выбранной категории, и с ней работать (на сайте 1 есть возможность создать фильтр, объединив несколько категорий, и отобразить список. Для удобства была создано 4 фильтра)
Перед нами появляется поле, со всеми предложениями в кратком варианте. На одной странице 30 предложений, как правило за один заход требуется обработать 2 страницы. Предложения поделены на столбики, и нас интересуют разделы: «Что везем», «Куда», «Стоимость», иногда другие.
3) Требуется, определить наша ли это ставка, по сути работа логики да/нет. Например, если по РФ, то да, значит нужно открыть предложении более подробно, если нет, идем к следующему.
Таким образом, нужно пробежаться по всем ставкам, чтобы определить, какие подходят нам, какие нет, и те что подходят, уже более подробно рассмотреть.
4) Далее идет процесс более детальной обработки. Мы смотрим подробности заказа, смотрим подходит ли он нам, опять жешь да/нет, но больше параметров. И идем к следующему
5) Тут стоит отметить, что пункт 3 и 4 «обрабатываются» по нескольким параметрам одновременно, т.е. если наше направление, но не наш груз, то игнор, а если наоборот, то тоже игнор, наша ставка делается, если и груз, и направление наши. Иногда до 6-7 параметров стоит учитывать.
6) После обработки, в форме пункта 4, нужно ввести наше предложение, и выбрать пару пунктов, из выпадающих списков, опять жешь зависит от того, какой это заказ. В одном случае нужен один пункт, во втором, другой.
7) После мы возвращаемся к пункту 2, меняем категорию и по новой, пока не исчерпаем все.
Работа с почтой:
На почту приходят уведомления, и их нужно, в зависимости от текста внутри, переправлять. Сложность в том, что я не нашел реально работающего почтового клиента, способного корректно распознавать текст внутри. Искал достаточно плотно, но каждый раз, клиент, пропускал ряд писем. После, распознания текста, здорово бы было, если бы мы опять, используя логику да/нет/если/ делали разные действия.
Вся соль именно в том, чтобы некий инструмент брал данные из браузера (текст и цифры), сохранял их где-нибудь, далее обрабатывал их по логике да/нет/если, после этого анализа принимал решение, чтобы потом кликнуть в браузере, ввести значение или просто закрыть вкладку.
Какие решения, как мне кажется, могут сработать
1) Написать программу, которая берет все данные с сайта через Парсер. После этого, фильтровала бы данные по более узким критериям, применяла бы логику да/нет/если, и передавала команду своему модулю, вставляющему значения в браузер.
Как мне кажется, тут связка C++(сама программа) и PHP(парсинг и вытягивание данных) + JavaScript( скрипт нажать, ввести значение)
2) Программа на C++, которая делает снимки экрана, распознает их в FineReader, выбирает нужные текстовые поля, и далее обрабатывает их.
3) Убедить админов сайта предоставить API, и вроде как с помощью него можно все сделать, но я совсем не знаю, как работать с API
Прошу не закидывать помидорами, а просто скажите, верны ли мои мысли в принципе, возможно ли подобное реализовать и в какую степь копать. Все что не знаю, готов выучить, но хотелось бы понимание от спецов, что для этого может потребоваться.
Еще раз заранее спасибо.
UPD Пожалуйста, если есть какие-то конректные рекомандации, не по полочкам как это сделать, а хотя-бы в какую степь копать, буду очень признателен.
1. Парсер самое то. На том же фрилансим много специалистов. Можно как отдельный парсер на любом языке, так и браузерный только на яваскрипте.
2. Снимок экрана и распознавание вообще забудьте, не знаю как вам такое и могло прийти в голову :)
3. С апи тоже ничего сложного, любой программист поможет.
4. По поводу почты, не знаю у каких клиентов как, но у меня на маке есть смарт ящик, можно поставить любые фильтры и назначить любое действие если фильтры проходят. Можно даже выполнять скрипты..
я немножечко уточню вопрос. Интересует именно самостоятельное создание. Т.е. делать буду сам, но вот какой ЯП выбрать, или что лучше для этого подойдет не совсем знаю. Поэтому если есть какие-то комментарии, пожалуйста, дайте их.
1) Про парсер, пожалуй понятно, его нужно писать, вопрос тогда в другом, какой ЯП лучше всего будет работать с приложением на компьютере, написанным на ЯП C++. Если я говорю глупость, скажите мне, удалю эту часть.
2) Однажды видел бота для игры, который подобным образом был реализован, но он распозновал картинки.
3) АПИ - опять вопрос, если самому изучать, это нужно брать и учить, или есть какие-то предварительный обязательные навыки, после познания которых, идет работа с АПИ?
4) Попробую работу со смарт папками, спасибо.
ну, если работать с сайтом - проще всего будет имхо пхп с курл поставить, и написание всего функционала по сайту займет для новичка займет 2-3 дня. Для работы потребуется какой-либо сервер с поддержкой пхп (из готовых например под вин - денвер, для новичка самое то)
итак для начала гуглим:
1) Как получить страничку с чужого сайта с помощью curl
или
парсинг страниц с помощью simple_html_dom
2) смотрим исходный код странички с добавлением своего заказа, разбираемся как работают post/get формы, снова курим гугл на предмет "curl post form cookie"
3) много думаем, еще больше пишем
4) profit...
Спасибо большое за отклик, постараюсь по вашей рекомендации сделать. С парсером теперь понятно.
Далее встает вопрос, обработки. Можете подсказать на чем удобнее всего реализовать логику, с условиями да/нет/если.
Ну и заключительный этап, это ввод определенных значений, опираясь на результат выше.
обработка на пхп, очень поможет изучение регулярных выражений, не очень сложно, второй пункт вам понадобится для ДОБАВЛЕНИЯ на сайт обработанных значений.
Средний
Простой
Простой
