• Как сделать тяжелый импорт из excel 800к товаров?

    syschel
    @syschel
    freelance/python/django/backend
    1. У вас именно EXEL файл или всётаки CSV который вы открываете на десктопе с помощью экселя?
    2. Если всётаки EXEL файл. Там слишком много всего нагорожено, на вроде вёрсток и формул или голые таблицы?
    3. Если всётаки голые таблицы. Вы можете делать именно CSV файл?

    Если данные будут в CVS формате, то можно всё загрузить средствами MYSQL и не использовать для обработки PHP или его библиотеки. Тогда результат будет в разы выше, чем если перебирать с помощью ПХП и потом кормить в MSQL

    Когда я в своё время сталкивался с проблемой загрузки файла товаров в базу, там было несколько миллионов единиц, то оптимальным стало именно такое решение > LOAD DATA

    Кусок моего старого MySQL кода, для наглядности
    // Загружаем кашерный файл
    LOAD DATA LOCAL INFILE '/srv/cms_cpa/files/adimport_items.csv' INTO TABLE adimport_tmp CHARACTER SET utf8 FIELDS TERMINATED BY '|' ENCLOSED BY "'" LINES TERMINATED BY '\n' IGNORE 1 LINES (id_adimport,article,available,currencyId,delivery,description,id,name,oldprice,param,picture,price,url,vendor,advcampaign_id,advcampaign_name);
    
    // Загружаем только нужные поля (!!!)
    LOAD DATA LOCAL INFILE '/srv/cms_cpa/files/adimport_items.csv' INTO TABLE adimport_tmp CHARACTER SET utf8 FIELDS TERMINATED BY '|' ENCLOSED BY "'" LINES TERMINATED BY '\n' IGNORE 1 LINES (id_adimport,@ISBN,@adult,@age,article,@attrs,@author,available,@barcode,@binding,@brand,@categoryId,@country_of_origin,currencyId,delivery,description,@downloadable,@format,@gender,id,@local_delivery_cost,@manufacturer_warranty,@market_category,@model,@modified_time,name,oldprice,@orderingTime,@page_extent,param,@performed_by,@pickup,picture,price,@publisher,@sales_notes,@series,@store,@syns,@topseller,@type,@typePrefix,url,vendor,@vendorCode,@weight,@year,advcampaign_id,advcampaign_name,@deeplink);
    
    // Все поля
    LOAD DATA LOCAL INFILE '/srv/cms_cpa/files/adimport_items.csv' INTO TABLE adimport_tmp CHARACTER SET utf8 FIELDS TERMINATED BY '|' ENCLOSED BY "'" LINES TERMINATED BY '\n' IGNORE 1 LINES (id_adimport,ISBN,adult,age,article,attrs,author,available,barcode,binding,brand,categoryId,country_of_origin,currencyId,delivery,description,downloadable,format,gender,id,local_delivery_cost,manufacturer_warranty,market_category,model,modified_time,name,oldprice,orderingTime,page_extent,param,performed_by,pickup,picture,price,publisher,sales_notes,series,store,syns,topseller,type,typePrefix,url,vendor,vendorCode,weight,year,advcampaign_id,advcampaign_name,deeplink);

    Ответ написан
    Комментировать
  • Лучшая система комментирвоания для Wordpress?

    san_jorich
    @san_jorich
    Творческий кодер
    Лучшая - написанная собственноручно.
    А вообще для удобства ищите систему с возможностью авториации через соц.сети. Современный пользователь ленив, и если функционал не достаточно удобен и усилий для комментирования займет больше двух кликов для авторизации и дообавления коментария то увы.. пользователю легче покинуть сайт. Таковы реалии
    Ответ написан
    2 комментария
  • MYSQL Как перекодировать текст из cp1251 в utf 8?

    На линуксе это просто:
    iconv -f cp1251 -t utf-8 < file-1251.sql > file-utf8.sql

    Если данные уже в СУБД, то нужно:
    1. сделать резервную копию в файл,
    2. переконвертировать файл командой выше,
    3. настроить сервер на новую кодировку,
    4. Восстановить с переконвертированного файла.
    Ответ написан
    3 комментария
  • Увеличение размера виртуального диска не приводит к автоматическому изменению размера в системе!?

    @pfg21
    ex-турист
    запустить менеджер разделов акронис, gparted и т.д.
    в них изменить размер раздела.
    после чего файловую систему расширить на весь раздел (обычно менеджер сразу же предлагает это сделать)
    Ответ написан
    Комментировать
  • Увеличение размера виртуального диска не приводит к автоматическому изменению размера в системе!?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    А чего удивительного-то? Вы увеличили размер диска с точки зрения гипера. А с точки зрения оси - он как был 60G - так и остался. Сделайте теперь расширение размера раздела - это кстати винда сама прекрасно умеет.
    Ответ написан
    1 комментарий
  • Как заставить команду работать через Cron?

    PavelMonro
    @PavelMonro
    Полагаю что cron и ssh от разных пользователей работают, или в разных рабочих окружениях
    Вариант добавить запуск от юзера например:
    00 * * * * youuser /opt/php/5.6/bin/php -f /var/www/public_html/domain.ru/script.php
    Ответ написан
    6 комментариев
  • Как максимально быстро перенести бд mysql (MariaDB) на другой сервер?

    @Fixid Куратор тега Linux
    Мало известный, но самый быстрый способ переноса БД:

    mysqldump -uroot DB | mysql --host=host -uroot -ppass -C DB


    Данные льются напрямую между базами в виде SQL. Последний раз переливал базу в 100ГБ, получилась 99% утилизация канала и чуть больше 2 часов по времени
    Ответ написан
    2 комментария
  • Подключение клавиатуры PS2 or USB по rs232 serial port к компьютеру на ms dos?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    Мы не знаем. Я так полагаю, Вы единственный пользователь сего чуда здесь. Проще наверное найти какой-нибудь форум, где тусят владельцы древнего железа, потому что тут скоро при упоминании MS-DOS будут спрашивать "А что это такое?" :D
    Ответ написан
    Комментировать
  • Как правильно обновить ESXi?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    Обновить можно с CD, c флэшки, с iKVM/iLO/iDRAC, если он есть.
    Делается загрузочный образ, добавляются дрова, если надо.
    Если нужно грузиться с реального носителя, готовится носитель
    Загружается с образа или носителя
    Инсталлятор спрашивает "Обновлять бум или чего?"
    Обновляет

    Однажды:
    В процессе обновления на одном из хостов пропал раздел собственно с данными машин, как будто я выбрал не опцию апгрейда, а установить по новой. Пришлось восстанавливать разметку с генерацией новых идов, хорошо что ESXi оказалась достаточно интеллектуальной для этого :DDD а то уже рассчитывал время, потребное для развертывания бэкапа :DDD
    Еще нужно один хост обновить, как-то боязно... :)

    Насчет вшивания дров на RAID - на 6.0 вшивал туда же, куда вшивал на 5.5
    Ответ написан
    4 комментария
  • Как восстановить пароль Bitlocker?

    Jump
    @Jump Куратор тега Windows
    Системный администратор со стажем.
    Как теперь запустить ПК ?
    Установить систему заново.
    Шифрование вещь необратимая - есть ключ, можете расшифровать, нет ключа не можете.
    Все просто.

    Собственно для этого и шифруют - чтобы человек не знающий пароля, гарантированно не смог получить доступ к данным.
    Ответ написан
    Комментировать
  • Как в ISC DHCPd выдать один и тот же IP на два mac адреса?

    @nikweter
    Системный администратор
    Хм... Почему бы просто не выдать точно такие разрешения и доступы для еще одного IP?
    Просто подумайте, что будет если вы подключите провод и вай-фай одновременно?
    Ответ написан
    Комментировать
  • На чем поднять сервис совмесной работы над pdf?

    xSkyFoXx
    @xSkyFoXx
    Формат PDF не предназначен для редактирования.
    Пишите в Google Docs и экспортируйте в PDF по завершению.
    Ответ написан
    Комментировать
  • Как выполнить экcпорт данных из MS Access?

    @Codebaker
    Всё умею, всё могу!
    Ответ написан
    Комментировать
  • Чем Nginx лучше IIS?

    sergey-gornostaev
    @sergey-gornostaev
    Седой и строгий
    Во-первых, у Nginx очень высокая производительность при очень низкой требовательности к ресурсам сервера. В вашей схеме сотня тысяч одновременных запросов на статику будет обработана в разумный срок и никак не скажется на производительности бэкенда. В схеме заказчика, тормозить начнёт и отдача статики и бэк, не исключено, что сервер вообще перестанет отвечать на запросы.

    Во-вторых, Nginx очень надёжный и безопасный. Не в последнюю очередь потому, что в базовой комплектации прост как кирпич. Обеспечение того же уровня устойчивости к взлому для IIS, требует существенно больших умений и трудозатрат админа.
    Ответ написан
    Комментировать
  • FreeBSD Подробное руководство, 2 изд. Книга ещё актуальна?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    Актуально в общих описаниях системы - layout, порты, порядок загрузки и инициализации системы, необходимость и порядок пересборки ведра. Неактуально для порядка обновления портов, для поддерживаемого оборудования, для Х.
    Вообще можно сказать так - если не совпало с книгой - значит, в этом месте она устарела. Ну и вообще - изучать UNIX по книгам - это примерно то же, что учиться играть на гитаре ... без гитары :D
    Ответ написан
    Комментировать
  • Как начальник может контролировать фрилансера по часам удалённо?

    gbg
    @gbg
    Любые ответы на любые вопросы
    Решение называется "адекватный начальник". Оставайтесь на окладе, продолжайте работать по 8 часов день с перерывом. Важно не количество отсиженного за работой времени, а качество сделанного.

    Если вы будете работать по 16 часов, а на выходе будет фигня из-под коня - какой от этого прок? А оплату будете требовать в двойном размере. Не годится такое, не правильно это.
    Ответ написан
    5 комментариев
  • Как правильно настроить директории и права на web сервере?

    @feanor7
    Системный администратор
    Я делал отдельную группу, в которую включал nginx - чтение, пользователю - запись, если надо. Или обоим запись группой...все зависит от запроса.
    Ответ написан
    Комментировать
  • Как определить ненастоящий user-agent и стоит ли их блокировать?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    блокировкой ПО с фиктивными user-agent

    Вы сначала определение того, что есть фиктивный User-agent дайте :) Я Вам за минуту накидаю столько юзерагентов - ни разу не фиктивных - что удивитесь :) Вы всерьез думаете, что мир вертится вокруг двух-трех дистрибов?

    Mozilla/5.0 (compatible; Konqueror/14.1; Linux) KHTML/TDEHTML/14.1.0 (like Gecko) - вот это юзерагент. Самый что ни на есть настоящий
    Mozilla/4.0 (compatible; MSIE 4.01; Windows NT 5.0) - вот это тоже юзерагент. И не менее настоящий :)
    Lynx/2.8.3dev.6 libwww-FM/2.14 - и вот это - юзерагент!
    Mozilla/5.0 (X11; U; Linux x86_64; en-CA; rv:1.4) Gecko/20030624 Netscape/7.1 (ax) - и даже это - он :D
    Ответ написан
    Комментировать
  • Как на Centos 7 настроить получение почты?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    Ну, во-первых, mailx - программа для отправки почты скриптами ;) Ей конечно пользоваться можно (когда-то же пользовались), но очень неудобно.
    Во-вторых, для отправки почты нужен smtp-сервер. Он установлен? Что пишет в логах?
    Ответ написан
    Комментировать