Задать вопрос
  • Как устроен поиск значения по ключу в словаре?

    dimonchik2013
    @dimonchik2013
    non progredi est regredi
    Ответ написан
    Комментировать
  • Постоянные ошибки, это нормально?

    sergey-gornostaev
    @sergey-gornostaev Куратор тега Django
    Седой и строгий
    Если бы точно следуя инструкциям из Интернета можно было выполнять работу программиста, то на наших местах давно сидели бы таджики.
    Ответ написан
    1 комментарий
  • На чем лучше реализовать многопоточный веб-скрейпер/парсер сайтов?

    @Verz1Lka
    Web scraping expert
    python + scrapy.org
    Ответ написан
    Комментировать
  • Список в списке --> список?

    aRegius
    @aRegius
    Python Enthusiast
    >>> from collections import Iterable
    >>> def flatten(items):
    	      for x in items:
    		        if isinstance(x, Iterable):
    			            yield from flatten(x)
    		        else:
    			            yield x
    
    >>> a = [1, 2, 3, [4, 5, 6], 7, 8]
    >>> list(flatten(a))
    [1, 2, 3, 4, 5, 6, 7, 8]
    Ответ написан
    Комментировать
  • По каким причинам на фрилансе не всегда побеждает самая дешёвая ставка?

    Это "что-то еще" - причина, по которой ты покупаешь вино не за 200₽, а за 1500₽, или стараешься избегать акций на скоропортящиеся продукты.

    Но у русских проблема с видением связи между ценой и качеством
    Ответ написан
    4 комментария
  • Сеньер разработчик фриласнер и офисный чем отличаются?

    longclaps
    @longclaps
    Сеньер фриласер знает, что на работу можно не ходить, а офисный сеньёр - что дома работать необязательно.
    Ответ написан
    Комментировать
  • Чем лучше и быстрее парсить Amazon на Python?

    polarlord
    @polarlord
    Занимаюсь парсингом Амазона в промышленных масштабах (сотни тысяч страниц в день). Самая большая проблема не в библиотеках, а в том, что Амазон очень умело выявляет попытки парсинга и при этом постоянно совершенствует собственную технику обнаружения таких попыток. Поэтому самый действенный способ - это иметь в своем распоряжении приличный набор качественных прокси (с теми у которых отличается только последняя секция и номер порта долго работать не получится - попадут в черный список на срок от часа до суток, в зависимости от того как интенсивно будете через них слать запросы).
    По поводу библиотек - выбирайте их в соответствии с вашими потребностями, отталкиваясь от объема запросов которые нужно слать. Самые простые - это всякие requests, urllib, pycurl, multycurl. Ими целесообразно пользоваться в однопоточном и синхронном типе парсеров. Но практически всю работу будете писать руками. Если хотите чуть больше мощности и удобства - посмотрите в сторону Grab. Он может многое, в т.ч. удобно работает с прокси и т.д. Если нужен большой объем и скорость - используйте Scrapy. Крутая штука, но со своими правилами. Однако если нужно будет затачивать под себя - в сети много информации по нему.
    С API Амазон можно и нужно работать. Но есть несколько проблем:
    1. Существует лимит на кол-во обращений(тут подробнее, но можно в одном запросе слать до 10-ти ASIN).
    2. Самое неприятное, что по некоторым товарам (при использовании lookup-методов) инфа не приходит либо отличается от оригинала(сайта). Т.е. не нужно полагаться на то, что АПИ будет возвращать информацию полностью идентичную с их сайтом.
    3. Ограничение на кол-во товаров по которым возвращается инфа (при использовании search-методов). 100 товаров. Дальше - только парсинг. Такое ограничение не только у Амазон, у Ebay так же. Без этого - кол-во всяких дропшиперов и прочих посредников просто зашкалило бы.
    Несколько нюансов:
    -Не пытайтесь выдавать себя за Google Bot, ничего хорошего не выйдет, только потратите время.
    -Использование всяких браузерных технологий, наподобие PhantomJS или даже Selenium, толку не принесет. Там к проблеме IP еще добавятся куки и т.п. По скорости будет медленно, для больших объемов не подойдет.
    -Главное, как уже понятно, обойти систему которая определяет ботов и краулеры. Поэтому импровизируйте, экспериментируйте, думайте головой и ищите свои решения. На том конце сидят тоже люди ) В сети масса советов по этому поводу (можете начать с последнего раздела здесь).
    Ответ написан
    5 комментариев
  • Какие книги или видеокурсы по python лучше изучать?

    longclaps
    @longclaps
    А какие ты сам нашел? Если и не искал - тогда мой совет: брось эту затею. Не можешь сам искать инфу - профнепригоден.
    Ответ написан
    2 комментария
  • Новичок. Как решить данную задачу в Python?

    AlexNineteen
    @AlexNineteen
    Привет.
    names = ['as', 'admin', 'oleg', 'daniil', 'petr']
    for name in names:
        if name == "admin":
            print("Hello admin, would you like to see a status report?")
        else:
            print("Hello {0}, thank you for logging in again").format(name)
    Ответ написан
    Комментировать
  • Каковы максимальные рейты на Toptal?

    neatsoft
    @neatsoft
    Life is too short for bad software
    Toptal - агентство. Размер комиссии, при которой агентство оказывается жизнеспособным, составляет от 70 до 90 процентов. Человека с рейтом $70/h они попытаются продать за 100, значит на руки такой работник будет получать максимум 30. Это вариант для ярко выраженных интровертов, панически боящихся общения с клиентами на финансовые темы.
    На upwork.com или freelancer.com около 6 месяцев потребуется на то чтобы осмотреться и понять принципы работы, после этого толковому fullstack-разработчику можно рассчитывать на постоянный поток long-term проектов. Дальнейшая работа будет минимум вдвое более выгодной, чем на Toptal, и помимо денег будет приносить постоянных клиентов.
    Ответ написан
    8 комментариев
  • Как настроить и парсить Scrapy с помощью Tor?

    Jump
    @Jump
    Системный администратор со стажем.
    Слышал что Scrapy можно использовать вместе с Tor и не палить свой IP
    Можно.
    Только вот для парсинга более удобны банальные прокси.. Многие ресурсы будут блокировать тех кто пытается зайти с TOR или выводить капчу.
    Да и скорость через TOR оставляет желать лучшего.
    Ответ написан
    Комментировать
  • Зачем в python range() если есть xrange()?

    Kademn
    @Kademn
    Злой
    Сначала было слово и слово было Python... бла бла бла....
    А потом добавили range, который создавал всю последовательность натуральных чисел в памяти и это было хорошо, так как можно было их итерировать.
    А потом добавили xrange, который не добавлял весь набор в памяти, а вычислял следующий элемент, ничего не зная про остальные (предыдущие и последующие элементы), почти ничего не занимая в памяти. Так появились генераторы. И поняли, что генераторы это хорошо, отделили генераторы от итераторов и стало так.
    А потом Девид Бизли на Пайконе 2008, высеченными на камне презентациями... ой я увлекся.
    Ответ написан
    1 комментарий
  • Суд с фрилансером. Перспективы?

    Sanes
    @Sanes
    Ага. Только сразу в Европейский по правам человека)
    Ответ написан
    Комментировать
  • Каким компилятором python лучше пользоваться?

    longclaps
    @longclaps
    Microsoft Visual python, разумеется.
    Ответ написан
    Комментировать
  • Знакомство с Python. Марк Лутц или Эрик Мэтиз?

    kentuck1213
    @kentuck1213
    Это полный бред то что по книгам не стоит учиться. Видео уроки тебе не дают глубокого понимания происходящего в отличии от книг. Сам читаю Лутца, остановился на 442 странице, и да у него там есть практические задания после каждой пройденной главы.
    Ответ написан
    Комментировать
  • Стало сложно найти проекты на iOS?

    opium
    @opium
    Просто люблю качественно работать
    Покажите ваш профиль на апворк и сразу станет всё ясно
    Ответ написан
    2 комментария
  • Стало сложно найти проекты на iOS?

    @awdemme
    Как писал Василий Назаров
    Просто эти все эплоссовские аппки на хрен никому не нужны. Так было и раньше, но на хайпе это выглядело наоборот (айбыдлопипл хавал всё, что ему скармливали. Внезапно, хайп улёгся за отсутствием смысла.


    Правдоподобно.

    4. Обилие новоиспеченных iOS разработчиков, которые обвалили рейты.


    Как ни странно при этом - но вам нужно повышать, а не снижать ставку.
    5 лет, если не балду пинали - надо повышать.
    Ответ написан
    Комментировать
  • Как удается получить заказ на бирже?

    @awdemme
    Отвечаю как заказчик, выставлял свои заказы, получал дебильные отклики:

    Большинство получаемых ответов - абсолютно шаблоны. Их авторы не потрудились даже прочитать задачу, понять, а смогут ли они ее выполнить и пр. и пр.

    Это настолько достает, что многие заказчики выставляют в описании задачи ловушки типа "если вы дочитали до сюда, то можете смело мне писать, укажите в вашем отклике на мою работу ключевую фразу "ёжики не могут иметь детей потому что колючие"

    Нужно откликаться так, чтобы было понятно, что ты прочитал задачу.
    Можно сразу предложить варианты решения (пара предложений, без деталей).

    Не надо занижать цену.
    То что заказчик выбирает самого дешевого - это заблуждение.
    Нормальный заказчик выбирает самого адекватного.
    Низкая цена - это не показатель адекватности, а совсем наоборот.

    Сам я прекрасно брал работы, даже когда начинал обращение с предложением поднять оплату в 1,5-2-3 раза относительно желаемого заказчиком.
    Разумеется, это все было не с потолка, а с моих реальных оценок сложности работ.

    Не пиши отклик, если не видишь внятного описания задачи.
    С большой вероятностью сами не знают что хотят и не разбираются в том, кто им нужен.
    Больше времени потеряешь.
    Ответ написан
    18 комментариев