ThePretender

Могу ответить на первый вопрос: никогда не полагайтесь на то, что вам дадут страничку с валидным HTML. Мы юзали для выдирания инфы обычный regexp. Долго и медленно, но зато надёжно. Возможно, для PHP есть библа, которая может построить частичный DOM по невалидному HTML. Для .NET такая библа есть, это более предпочтительный вариант.

По поводу формата хранения есть несколько направлений для размышления:
1. Загуглите стандарты представления информации в туристической отрасли. Полезно для того, чтобы форматировать мозг под эту отрасль, но, по факту, эти стандарты у нас никто не поддерживает.
2. Проанализируйте структуру данных тех операторов, которых вы выбрали. Выделить общую структуру будет несложно.
3. Сразу подумайте о том, по каким параметрам вы будете искать данные. Это ваша основная фича, поэтому ей нужно уделить наибольшее внимание. Подумайте о технологии хранения данных: SQL, NoSQL, гибридное решение (например, в SQL хранятся нормализованные исходные данные, а в NoSQL генерятся денормализованные вьюхи, заточенные под быстрый поиск).

Более подробно на эту тему я ничего сказать не могу, т. к. не работаю в этой отрасли уже 5 лет. За это время появилась куча новых технологий, и подход к хранению данных может быть совершенно другим.

У меня уже несколько лет трудится Ferm FCT-400. Хорошая машинка, совместима с комплектующими от оригинального дремеля. Мощности хватает на резку металла 0,9 мм, толще не пробовал.

Месяц назад прочитал про эту услугу, возбудился, и купил карту. Во-первых, посылки можно перенаправить в терминал только после прохождения статуса «Прибыло в сортировочный центр». На онлайн-заявки все забивают. Ну да ладно, позвонил, перенаправил. Через два дня звонит мужик и говорит: «Превед, я курьер ЕМС, через двадцать минут привезу посылку вам *домой*». Пришлось уезжать с работы и ждать курьера. На мой резонный вопрос: «А какого, собственно, хрена?» он ответил что-то вроде: «Да вы не поверите, какой там хренов ппц на этой почте. Щас вот сессию закрою и уволюсь оттуда к куям».

Вот такой вот у меня опыт получения посылок в терминале :)

Вот так:

netsh advfirewall firewall add rule name="Allow RTMFP" dir=in action=allow profile=any localport=1024-65535 remoteport=1024-65535 protocol=udp

netsh advfirewall firewall add rule name="Allow RTMFP" dir=out action=allow profile=any localport=1024-65535 remoteport=1024-65535 protocol=udp

Я бы посоветовал вам развивать память и воображение. У самого была подобная проблема: трудно было уместить в голове полную картину, приходилось что-то рисовать и записывать. При этом, всегда терялась какая-то часть информации. Потом решил отказаться от любых инструментов и держать все в голове. Сначало было сложновато, но потом мозг привык и сейчас я могу создавать в голове подробные трехмерные схемы взаимодействий, крутить их как угодно и запоминать на долгое время :) Инструменты — это, конечно, хорошо, но собственный мозг лучше )

Ситроникс-Микроэлектроника.
www.mikron.sitronics.ru/about/

Попробуйте отключить все плагины в IE. Парадоксально, но может помочь.

Если вам действительно хочется построить стабильную карьеру с большим доходом, то подумайте про Enterprise. Сюда входит разработка высоконагруженных распределённых систем, проектирование БД, разработка расширяемых архитектурных решений. Все эти задачи имеют мало общего с веб-программированием и «языками» вроде PHP. Да, наваять сайтик на похапе и жабаскрипте просто, но такие «разработчики» сейчас ценятся как китайцы — можно выкинуть и поставить на его место такого же. Оплачивается подобная работа соответственно.

В энтерпрайзе сложнее. Гораздо сложнее. Но зато ощущение от такой работы не идёт ни в какое сравнение с веб-программированием: когда ты понимаешь, что твой код работает на куче распределённых серваков и взаимодействует с десятком сторонних сервисов и железок, обрабатывая параллельно несколько сложных бизнес-процессов, ты понимаешь, что уже никогда не согласишься на меньшее :)

Может показаться, что этому сложно научиться. На самом деле, это не так. Придумайте себе интересный проект, с какой-нибудь занятной и неочевидной штукой. Хорошо идут проекты, пересекающиеся с математикой (искусственный интеллект, например). Сделайте свою реализацию перцептрона и научите его распознавать каптчу :) Это гораздо проще, чем кажется в начале, и для этого достаточно школьного курса математики и среднестатистических мозгов.

На предыдущей работе занимался как раз этой задачей. Некоторые операторы, которых уже перечислили в камментах, предоставляют нормальные XML-шлюзы. Другие выкладывают на специальных страничках ссылки на архивы с СПО. Эти архивы надо распаковывать и парсить лежащие в них XML или XLS. Была и пара совсем тяжёлых случаев: парсинг HTML-страничек, подгружавшихся по AJAX. Ничего, работало :)

Я бы посоветовал вам выкинуть из головы всю мишуру вроде юнит-тестов, кошерной архитектуры и абстрактных фабрик. Главное — не тесты, не документация и не мана небесная, снизошедшая на вас после написания богоугодного кода. Главное — сам код, который выполняет поставленную задачу. Вот и пишите код, руководствуясь здравым смыслом. Если потом почувствуете, что вам нужны тесты — напишете тесты. А нет, так нет.

Поддерживаю относительно SQLite. Если пишете на C++, то можете вообще статически слинковать библиотеку, и у вас даже не будет лишних dll, которые надо за собой таскать.