Ответы пользователя по тегу Программирование
  • Как и чем парсить сайты на python'е?

    @m0ody
    backend dev (python, django, postgresql, celery)
    Ответ написан
    Комментировать
  • Как написать скрипт асинхронного скачивания tornado httpclient?

    @m0ody
    backend dev (python, django, postgresql, celery)
    Раз у Вас 200+ млн хостов, то обязательно соберите cURL с асинхронным резолвером хостов (c-ares). Иначе ни какой асинхронности не будет.
    Вот как это сделать в Debian:
    apt-get install -y build-essential python-dev python-pip
    
    wget http://c-ares.haxx.se/download/c-ares-1.10.0.tar.gz
    tar zxvf c-ares-1.10.0.tar.gz
    cd c-ares-1.10.0
    ./configure
    make
    make install
    
    wget http://curl.haxx.se/download/curl-7.40.0.tar.gz
    tar zxvf curl-7.40.0.tar.gz 
    cd curl-7.40.0
    ./configure --enable-ares --with-ssl --with-zlib --enable-ipv6 --with-libidn
    make
    make install
    
    pip install pycurl --upgrade
    
    rm -rf /usr/lib/libcurl*
    ln -s /usr/local/lib/libcurl.so.4 /usr/lib/libcurl.so.4
    ln -s /usr/local/lib/libcurl.so.4 /usr/lib/libcurl.so
    ldconfig
    
    python -c "import pycurl;print pycurl.version" 
    # Должна появиться строчка с версией содержащей c-ares
    Ответ написан
    Комментировать