Илья: Тут несколько моментов. Во-первых, я ненастоящий разработчик. Я вообще манагер, который очень интересуется программированием и решает некоторые утилитарные задачи на проекте в свободное время просто из интереса. Поэтому я могу чего-то не понимать, не знать и не уметь.
Моя задача: спарсить где-то сто тысяч страниц с одного сайта с неплохой защитой от дудоса.
Мои проблемы: очень ограниченная настройка прокси. По сути, можно задать адрес в настройках проекта и всё. А я вообще хотел бы ротировать их каждые пару минут, чтобы не подпадать под ограничения (а они там лютые вообще, удивлюсь, если живые пользователи не страдают).
Из этого вытекает вторая проблема, с капчей. Сколько я ни думал над структурой проекта, сколько ни искал советов на стэке, я так и не понял, как проще всего заставить скрэпи скачать картинку, остановить все запросы с этой прокси и запустить все запросы после того, как я сделаю пост-запрос с результатами картинки. Видимо, какими-то жуткими костылями. Ниасилил.
Я, в общем, решил сделать не так красиво, всё руками и на базе requests и lxml. Весь код — 120 строк, написан за пару часов. Работает в несколько потоков (все равно ETA увеличилось с 5-6 часов до целых суток), но зато всё очень прозрачно. Велосипед, да :)
Crash: Возможно. Laravel не первый год существует, но летом мне дали другую рекомендацию. В принципе, я очень доволен выбором, ни разу пока не пожалел.
Oleg Di: Всё было изучено не с целью начать профессиональную карьеру программиста, а главным образом из желания автоматизации личных процессов, давнего интереса и с целью расширения кругозора.
Как занимался и зарабатывал стартапом, так и продолжаю :)
Юрий Ярош: не хотел бы с вами спорить, потому что я менеджер в основное время и программист-любитель в свободное время, у меня знаний дальше питона и жс нет. Но то, что я встречал на самом хабрахабре и прочих ресурсах, однозначно говорит о том, что development speed у джавы ниже, чем у языков, вроде пхп, и очень-очень ниже, чем у питона и руби.
Юрий Ярош: Вы еще забыли про Twitter, который переехал с рельс на джаву.
Джава, как мне кажется, это хороший язык для отдельной категории веб-разработки: уберхайлоад. Но, объективно, делать на джаве "очередной интернет-магазин" — это накладно не только с точки зрения времени, но и с точки зрения стоимости разработчиков.
Для проекта, у которого не будет миллионов ДАУ, джанга/рельсы/симфони — это отличный быстрый вариант.
@vvpoloskin Ну, я же вам описал только одну проблему, уж не думаете ли вы, что таск-менеджер ограничивается такой мелочью? :) По большей части там почти всё завязано на mptt-api.
Вы не поняли, мне кажется. Выборка делается отлично, там нет никаких проблем. Просто делаешь Task.objects.filter(tags__id=1) и получаешь валидный Queryset. Проблема конкретно в их теге recursetree. По какой-то причине ни в доках (django-mptt.github.io/django-mptt/templates.html#r... ни по умолчанию ничего не сказано о рендеринге дерева не с ноды с depth = 0. Проблема конкретно на стадии шаблона, а не модели/вьюхи.
Не соглашусь. У mptt есть большое количество вещей, которые удобны при работе с деревом. Те самые методы, вроде get_ancestors или get_leaf_nodes, которые при FK из коробки никак не получишь. Ну и всякие приятности, вроде готовых тегов, одного запроса в базу и прочего. То есть вы предлагаете не разбираться с удобной либой, а навелосипедить свою :)
Я подумаю над этим, но мне во всем нравится mptt, не вижу смысла придумывать что-то своё плохое вместо почти идеального чужого.
По поводу вашего решения.
Найти-то родителя не проблема. Проблема в том, что в данной ситуации он не имеет этого тега, поэтому не должен быть отображен.
Однако вы меня натолкнули на мысль, что можно в шаблоне проверять наличие тега. Это велосипедокостыль, конечно, притом ужасного качества, но выбирать не приходится.
Моя задача: спарсить где-то сто тысяч страниц с одного сайта с неплохой защитой от дудоса.
Мои проблемы: очень ограниченная настройка прокси. По сути, можно задать адрес в настройках проекта и всё. А я вообще хотел бы ротировать их каждые пару минут, чтобы не подпадать под ограничения (а они там лютые вообще, удивлюсь, если живые пользователи не страдают).
Из этого вытекает вторая проблема, с капчей. Сколько я ни думал над структурой проекта, сколько ни искал советов на стэке, я так и не понял, как проще всего заставить скрэпи скачать картинку, остановить все запросы с этой прокси и запустить все запросы после того, как я сделаю пост-запрос с результатами картинки. Видимо, какими-то жуткими костылями. Ниасилил.
Я, в общем, решил сделать не так красиво, всё руками и на базе requests и lxml. Весь код — 120 строк, написан за пару часов. Работает в несколько потоков (все равно ETA увеличилось с 5-6 часов до целых суток), но зато всё очень прозрачно. Велосипед, да :)