• Какой оптимальный вариант переливки миллионов строк из одной БД в другую, используя Pandas?

    @vl12
    kukarekuu, кстати, ядро Питона и стандартные модули тоже скомпилированы. Например, посмотрите что в `import sqlite3`.
  • Какой оптимальный вариант переливки миллионов строк из одной БД в другую, используя Pandas?

    @vl12
    kukarekuu, вот обычное подключение БД к pandas, используется стандартный модуль sqlite3. Разве нет?
    import pandas as pd
    import sqlite3
    con = sqlite3.connect("data/weather_2012.sqlite")
    df = pd.read_sql("SELECT * from weather_2012 LIMIT 3", con)
  • Какой оптимальный вариант переливки миллионов строк из одной БД в другую, используя Pandas?

    @vl12
    kukarekuu, pandas и numpy далеко не полностью написаны на Си. Посмотрите модуль pandas, объекты создаются как обычно в питоне. Замерьте, сравните.
  • Какой оптимальный вариант переливки миллионов строк из одной БД в другую, используя Pandas?

    @vl12
    pandas - в общем, это надстройка-обёртка над некоторыми стандартными модулями (в данном случае - коннекторами к базам данных, транслирующим запросы на чистый SQL-код), которая при этом конвертирует все данные в свой pandas-формат.
    Поэтому все расходы - это именно промежуточное создание объектов в pandas. Уберите pandas и пишите на обычном питоне с коннекторами к базам данных. - скорость возрастёт в разы. Или уберите питон и делайте дампы из командной строки, вся операция может сократится до минуты.
    Если задача одноразовая - проще подождать.
  • Какие знания нужны для первого заказа на апворк начинающему Python программисту?

    @vl12
    На еду можно заработать. Но батрачить придётся по 12-36 часов без сна. Поскольку параллельно придётся гуглить и тестировать азы.
    Хотя дешёвую еду, и если не учитывать оплату ЖКХ и тем более другие житейские расходы.
  • Установка софта в /usr, /usr/src?

    @vl12 Автор вопроса
    У многих пакетов своя структура подкаталогов, с ./bin, конфигами, и данными, и т.п. Наверно не правильно будет их класть в /usr/bin, раз там не все бинарники?
    Тогда наверно в /opt? Посмотрел у sublime, вроде права доступа как обычно у меня в home, запускать разрешено всем.
  • Управление кулерами на Linux Ubuntu?

    @vl12
    SOTVM, если описание отсутствует то и не надо. Как понимаю, это тоже что текстовый поиск в Менеджере приложений Ubuntu и Synaptic? Ищи по англ. и ключевым словам.
  • Почему лагает linux?

    @vl12
    Pavel Tananykhin, ну и я последние 10 лет до прошлой осени работал на Athlon 64x2 с 4Гб, примерно аналог вашего. Тоже в подобной ситуации - много вкладок Chrome и PyCharm.
    Ddr4 и dd3 разницы нет, разве что игроманы находят в несколько fps.

    Что кого устраивает - субъективно и относительно.
    Если вы не можете продуктивно работать из-за лагов, - из, например, 6 часов работы 3 часа сжирают лаги, тупые ожидания выполнения вашего клика - система явно устарела.

    На том компе я распознавал в Finereader некоторые книги с очень сложным текстом неделю (!). По 1 дню машинного времени на каждую операцию в FR - общий скан, распознавание, запись. Умножить на число вариантов распознавания для лучшего соотн. размер-качество. Это ужас и убытки.
    О прибыльности, и успехах в ряде областей - например, машинном обучении, можно забыть. Мультизадачная работа тоже не айс на 2-х ядерной машине.

    Но вы правы для большинства задач комп вполне нормальный и хороший.
  • Запутался в возможностях языка Python, как утрясти кашу в голове?

    @vl12
    Большая часть веб ботов на нем. И значительная часть ввебприложений. (Тех которые не на php. )
    Он работает на серверах, большинство которых на Linux, "из коробки".
  • Python и фриланс, что учить?

    @vl12
    Терминология джуниор/миддл - это не про фриланс, а про удалёнку или офисную работу. Если есть высшее образование и опыт работы по специальности, то зачем вам фриланс.
    Устройтесь в компанию и радуйтесь жизни. Будет у вас и карьерный рост, и стаж, и пенсия. А во фриланс идут те, кто не может работать в коллективе: по здоровью или ситуации, без спец. образования и стажа, и/или по природе закоренелый индивидуал/анархист/хикикомори-затворник.
  • Python и фриланс, что учить?

    @vl12
    Ставка 5-10$ это копировать данные из табличек экселя в админку вукомерса, со знанием питона вкатывайтесь минимум на 20-25 если уровень джуниора

    Шутите? Позвольте поворчать про реалии, как я их вижу на нескольких крупнейших англ. фриланс-биржах.
    Основная масса фриланс-вакансий на Python - это парсинг сайтов, в основном сбор e-mail для спамеров. Это минимум на день работы, если сайт попадётся без защиты, а оплата в среднем 20$ за всю многочасовую работу - даже за 10$ там толпы индусов готовы сделать. (Учтите, что биржа берёт 20% + за вывод и транзакции. +Если вы официально деньги выводите, это могут потребовать при заработке от ~1000$/мес, то необходимо будет зарегистрироваться в налоговой, учтите и ноябрьское ужесточение контроля валютных операций для частных лиц.) И для выполнения такой работы надо уметь пользоваться минимум 2-3 достаточно сложными фреймворками, не говоря об умении самому написать парсер за час на голом питоне.
    Контракт найти, даже такой, - это хорошо если раз в 3 дня.
    И на материалы/сайты надо посмотреть, протестировать, перед тем как браться. Это тоже обычно от 1 часа занимает. Т.е. на диагностику тратишь свои часы, ещё до того как тебя наймут, и это время не оплачивается. Приходится делать, иначе там толпы конкурентов. Но обычно не нанимают. - Может реально интерес в заказе был малый у клиента, или других наняли - а ты не понравился, или не успел. Пока напишешь ответ на английском, тоже времени масса уходит, Google Translate "переводит" жутко, приходится вручную. +Разница часовых поясов, между ответами в переписке - часы или день времени. В течении дня не списался клиент потерял интерес и ушёл.
    Попадаются клиенты-динамы, которые денег не платят, а продолжают требовать, причём работа такая, что её на этапы, с оплатой за каждый, не разделишь. Висит всё это, долбанные 20-30$ получаешь месяц. Время/внимание отвлекает, другую работу нормально делать не можешь, месяц насмарку. Делаешь всё даже лучше чем хорошо, без всяких возражений клиента и с одобрением, иностранцы всегда вежливые, а в конце могут влепить отзыв мутный. Что не хорошо для репутации, отзывы в профиле это навсегда...

    Дальше в типе работ на Python - пропасть, другие фреймворки и навыки, тоже требующие месяцев специального обучения. Следующий уровень это - либо проекты на Django с хитрыми сервисами, либо машинное обучение, либо высшая математика/статистика на pandas/numpy, либо редко pyqt.
    Для Django ещё надо быть дизайнером, коммуникабельным, с хорошим или беглым разговорным английским. - А это уже не навыки, а таланты, даны или нет от природы. У большинства их просто нет по природе - на биржах на сотни/тысячи фрилансеров кто-то один светится с хорошим талантом балобола и смазливыми работами.
    Если такого нет - 250$/мес - это потолок, просто по времязатратам.
  • Что лучше применять для парсинга Selenium(ChromeDriver) + BeautifulSoup или Scrappy?

    @vl12
    Evgen: Понял о чём вы, смутило слово "эмулировать".
    Значит вам везёт. У меня хорошо если 20-30% попадаются с нешифрованным запросом к api. У практически всех крупных сайтов он зашифрован.
  • Как продуктивнее и лучше подготовиться к тестированию на Upwork'e и надо ли?

    @vl12
    Прошел несколько текстов по ответам.
    Некоторые - на половину ошибочные, придется перездавать. Но блин... Там в тестах >250 вопросов. Причем на большинство конца 2016-го нет ответов, а дополненных с 2017 и в списке нет.
    На некоторые тесты верных ответов ~70-90%.
  • Как продуктивнее и лучше подготовиться к тестированию на Upwork'e и надо ли?

    @vl12
    Там каждый тест до 250 вопросов, из которых случайно показывается 30-50. Т.ч. при новом тестировании большинство вопросов увидите впервые.
    Ну и конечно не запомните со скриншота. Ибо крайне каверзные, совершенно не практичные. Надо переписывать в текст.
    И даже имея перед глазами ответы через гугл сложно найти.
    Они их обновляют каждый месяц. Потихоньку. Но в старых списках может не быть.
  • Как получить заказы по web scraping и какие навыки улучшить?

    @vl12
    malvin: Кстати да. Смотрел видео русских эмигрантов, говорят, что по 10$/час зарабатывают русские эмигрантки без квалификации - продавщицы и т.п. Мексиканцы-нелегалы на черновой работе не могут больше их.

    Поставил себе на Upwork ставку в 9$/час. И заказы пошли. Тем более, реально у меня получается что работаю по ставке меньше. Как новичку в данной сфере, у меня уходит по 1-2 дня на задачу. (Погуглить некоторые моменты, подобрать фреймворк/модуль из разных вариантов, потестировать алгоритмы.) Задания по 25$ в среднем, в пересчёте на затраченные мною часы получается даже не 5$, а может даже 1-2$/час.
    В общем, стоит по-умерить амбиции, тем более при жесткой конкуренции дешевых технически грамотных англоговорящих индусов.
  • Берут ли $30 за вывод средств с Upwork на карту Сбербанка?

    @vl12
    Проблема в том, что банки под органами контроля (ФНС, валютный контроль и т.п.), штраф выписывают они. Параноидальные банки, вроде Сбербанка, могут блокировать счет, с требованием декларировать источники поступления средств, гораздо раньше достижения 600 т.р.

    Спасибо, за советы.
  • Как вы программируете используя слепой набор?

    @vl12
    x67: В Python нормально всё с форматом многомерных массивов, также как в др. языках. Причём нет мозолящих глаза символов, вроде '$' перед каждой переменной, которые заморочно вводить через shift, или длинного кода как в других языках, множества скобок и ';'.

    Если много работы с числами, т.ч. нужны многомерные массивы, то может лучше использовать pandas и numpy. Или лучше организовать работу с базой данных, где они хранятся, чтобы вообще не думать о многомерности.
    При работе с арифметикой, надо тянуться к правой Grey клавиатуре. Ну или морочится с shift'ом для ввода [*+], при этом по-любому смотреть на клавиатуру, чтобы не промахнуться.
    Математика не любит суеты. Абсолютно согласен, что не нужен метод слепой печати в 500 с/мин, если надо вдумчиво ввести арифметическую формулу для значений многомерных массивов.
    Будет быстрее поместить её в именованную формулу/метод в личной библиотеке функций, и просто вызывать потом по имени.
  • Как вы программируете используя слепой набор?

    @vl12
    x67: По созданию списков построчно через splitlines().
    Возможно от специфики кода зависит. Мне крайне удобно. У меня скрипты не меняются, зато постоянные изменения в этих строках (это заголовки статей, url и т.п.).
    Или что тоже самое, списки находятся в файлах, и при импорте опять же дробятся .splitlines().
  • Как вы программируете используя слепой набор?

    @vl12
    x67: По Live template, боюсь вы не понимаете о чём говорите. Там автопереключение полей по Enter или tab. Например, вводите "compli" → имя переменной → enter → имя → enter и т.д.