Ответы пользователя по тегу MySQL
  • Насчет экспорта таблицы MySQL в Excel средствами PHP?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Выполняем SELECT .. INTO OUTFILE, полученный CSV прекрасно читается в Excel. Т.е. PHP выполняет указанный запрос, а потом, если надо, организует перемещение полученного CSV в нужное место.
    Ответ написан
  • Возможно ли одним запросом разрешить null во всех столбцах?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Если речь об одной таблице - да, все поля могут быть откорректированы одним ALTER TABLE.
    Если о нескольких - то для каждой таблицы нужно будет выполнить отдельный запрос.
    Ответ написан
    Комментировать
  • Как узнать, имеет ли столбец unique?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Сведения об UNIQUE constraint (включая и PRIMARY KEY) могут быть получены запросами
    SELECT *
    FROM INFORMATION_SCHEMA.KEY_COLUMN_USAGE
    WHERE TABLE_SCHEMA = DATABASE() /* либо 'database_name' */
      AND TABLE_NAME = 'table_name'
    
    SELECT *
    FROM INFORMATION_SCHEMA.COLUMNS
    WHERE TABLE_SCHEMA = DATABASE()
      AND TABLE_NAME = 'table_name'


    The INFORMATION_SCHEMA KEY_COLUMN_USAGE Table
    The INFORMATION_SCHEMA COLUMNS Table
    Ответ написан
  • Какой запрос для выборки данных с двух таблиц в этом примере?

    @Akina
    Сетевой и системный админ, SQL-программист.
    SELECT categories.id, 
           categories.slug,  
           ct_ru.title title_ru,  
           ct_en.title title_en,  
           ct_de.title title_de
    FROM categories
    LEFT JOIN category_translations ct_ru ON category_translations.category_id=categories.id 
                                         AND category_translations.locale = 'ru'
    LEFT JOIN category_translations ct_en ON category_translations.category_id=categories.id 
                                         AND category_translations.locale = 'en'
    LEFT JOIN category_translations ct_de ON category_translations.category_id=categories.id 
                                         AND category_translations.locale = 'de';
    Ответ написан
    Комментировать
  • Как копировать данные из таблицы одной БД в другую БД по регламенту?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Как это сделать в MYSQL Workbench

    Никак. Более того - никогда не делать ничего инструментом, для текущей задачи непредназначенным.

    Возможно, с помощью самого MYSQL

    Именно.
    Using the Event Scheduler
    Ответ написан
    Комментировать
  • Как в триггере сделать проверку, что изменение вызвал другой триггер?

    @Akina
    Сетевой и системный админ, SQL-программист.
    В общем случае невозможно определить, чем вызвано изменение данных, приведшее к срабатыванию триггера. Так что определить встроенными средствами - нельзя.

    Для решения задачи необходимо использовать внешние средства передачи данных. Поскольку весь каскад триггеров работает в одном соединении, проще всего использовать определённые пользователем переменные с предопределёнными именами, которые инициализируются на старте триггера и сбрасываются на его финише:

    CREATE TRIGGER trigger_name
    EVENT ACTION ON table_name
    FOR EACH ROW
    BEGIN
        SET @trigger_name_table_name = CONCAT('executed, ', 'column_value=', NEW.column);
    -- trigger action
        SET @trigger_name_table_name = NULL;
    END;

    Если в теле триггера определены EXIT хэндлеры - они тоже должны выполнять соответствующие сбросы.
    Ответ написан
    Комментировать
  • Будет ли использоваться индекс в запросе вида WHERE `field1` LIKE '_aa_a_'?

    @Akina
    Сетевой и системный админ, SQL-программист.
    будет ли использоваться индекс в запросе вида WHERE `field1` LIKE '_aa_a_'?

    50/50 - или будет, или нет.

    Однако если он будет использоваться, то не как индекс (сортированный список для выполнения index seek), а как компактная копия таблицы (как несортированный список для выполнения index scan).

    Тем не менее профит от использования индекса таким образом может быть, и весьма значительный. Главным образом он определяется соотношением размера записи к размеру поля. И чем это соотношение выше, тем более вероятен профит.
    Ответ написан
    1 комментарий
  • Как быстро найти совпадение в базах?

    @Akina
    Сетевой и системный админ, SQL-программист.
    SELECT *, 'db1' AS dbasename
    FROM db1.tablename
    WHERE phone = '123-45-67'
    UNION ALL
    SELECT *, 'db2'
    FROM db2.tablename
    WHERE phone = '123-45-67'
    UNION ALL
    ...

    Если список баз не фиксирован и должен формироваться в рантайме - то хранимая процедура с запросом по INFORMATION_SCHEMA.TABLES и динамическим SQL.
    Ответ написан
    Комментировать
  • Как правильно выбрать все товары?

    @Akina
    Сетевой и системный админ, SQL-программист.
    SELECT p.name, p.id 
    FROM products AS p
    JOIN product_country AS cp ON cp.product_id = p.id 
    WHERE cp.country_id IN (1,2)
    GROUP BY 1, 2
    HAVING COUNT(DISTINCT cp.country_id) = 2;
    Ответ написан
    Комментировать
  • Как получить нужные данные?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Может, требуется тривиальное
    SELECT *
    FROM tablename
    ORDER BY client_id IS NULL, hub_id IS NULL
    LIMIT 1

    ?
    Ответ написан
    1 комментарий
  • Поле json в MySQL 5.7 содержит массив типа '[1,3,5]' - как оптимально сделать выборку записей, в которых есть значения x || y || z?

    @Akina
    Сетевой и системный админ, SQL-программист.
    SELECT DISTINCT data.*
    FROM data
    JOIN ( 
        SELECT 2 value 
        UNION ALL 
        SELECT 5 
        UNION ALL 
        SELECT 7
        ) criteria ON JSON_CONTAINS(data.jsonarray, CAST(criteria.value AS JSON))
    Ответ написан
    2 комментария
  • Как раздавать уникальные записи таблицы во многопоточном парсере?

    @Akina
    Сетевой и системный админ, SQL-программист.
    parsed - 0 - страница еще не спаршена, 1 - страница спаршена.

    Не так.

    NULL - не парсилась.
    0 - парсинг выполнен.
    >0 - взято на парсинг соединением (функция CONNECTION_ID()) номер N.

    Соответственно попробовать зарезервировать запись на парсинг:
    UPDATE urls 
    SET parsed = CONNECTION_ID()
    WHERE parsed IS NULL
    ORDER BY datetime_added LIMIT 1;

    Получить зарезервированную запись и начать её парсинг:
    SELECT *
    FROM urls
    WHERE parsed = CONNECTION_ID();

    Если вернётся более одной записи - в системе большие проблемы, надо звать администратора задачи. Если пустой набор - значит, запись перехватили, пробуем резервировать заново (тоже, кстати, повод позвать админа задачи - так не должно быть). Иначе - парсим полученную запись.

    По окончании парсинга соответственно
    UPDATE urls 
    SET parsed = 0
    WHERE parsed = CONNECTION_ID();

    Ну и периодически выполняется event procedure, который находит записи, формально помеченные как обрабатываемые, но, судя по времени, обработчик подвис. Такие записи возвращаются на обработку
    CREATE EVENT clear_parsing_flag
    ON SCHEDULE EVERY 1 MINUTE
    DO
    UPDATE urls
    SET parsed = NULL
    WHERE parsed > 0
        -- считаем, что 5 минут более чем достаточно
      AND datetime_start_parsed < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE;


    Само собой никаких пулов соединений, никаких открыть-закрыть - все операции выполняются в рамках одного persistent connection. Автовосстановление соединения при обрыве также запрещено.

    Если соединение развалилось, неважно по какой причине, бросаем обрабатываемую запись (шедулер вернёт её в необработанные), соединяемся заново и начинаем с самого начала, с резервирования.

    Ну и предусмотреть случай, когда записей на парсинг просто нет. Например, если 5 резервирований подряд не смогли получить запись на обработку, то, чтобы не ставить сервер раком, вводим между попытками резервирования задержку, например, на 5 секунд... ну и вываливаем баннер, что, походу, парсить нечего.
    Ответ написан
    Комментировать
  • Как добавить партицию, если уже есть maxvalue?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Да, нужно делать реорганизацию - операция потенциально требует переноса данных между партициями.

    Прмер:
    CREATE TABLE table_name (create_date DATE);
    
    ALTER TABLE table_name 
    PARTITION BY RANGE(create_date + 0) (
        PARTITION p_old VALUES LESS THAN(20111201),
        PARTITION p_1 VALUES LESS THAN(20120201),
        PARTITION p_2 VALUES LESS THAN(MAXVALUE)
    );

    Добавляем партицию (точнее, разделяем партицию на две):
    ALTER TABLE table_name
        REORGANIZE PARTITION p_2 INTO (
            PARTITION p_2 VALUES LESS THAN (20130101),
            PARTITION p_max VALUES LESS THAN (MAXVALUE)
    );

    DEMO
    Ответ написан
    Комментировать
  • Как оптимизировать запрос с подзапросами с COUNT?

    @Akina
    Сетевой и системный админ, SQL-программист.
    SELECT ebids.*
         , SUM(comment_system.itemtype='qqq') AS has_qqq_comment 
         , SUM(comment_system.itemtype='www') AS has_www_comment 
         , SUM(comment_system.itemtype='eee') AS has_eee_comment 
    FROM ebids
    JOIN comment_system ON comment_system.item_id = ebids.id
    WHERE ebids.status != 'auto'
    GROUP BY ebids.id
    ORDER BY ebids.id DESC
    LIMIT 0, 100
    Ответ написан
    Комментировать
  • Как держать в таблице только последние 10 записей?

    @Akina
    Сетевой и системный админ, SQL-программист.
    1. Создать сразу 10 записей с достаточно древней датой.
    2. Вместо вставки записи обновлять самую старую:
    UPDATE table
    SET {columns} = {values}
    ORDER BY created_at ASC LIMIT 1;

    Само собой created_at - ON UPDATE CURRENT_TIMESTAMP. Ну или обновлять вручную, если больше заняться нечем.

    Такая технология к тому же позволяет "на лету" изменять лимит записей. Надо больше? вставляем необходимое число записей с датой в далёком прошлом. Надо меньше? удаляем необходимое число самых старых записей.
    Ответ написан
    Комментировать
  • Что быстрее поиск по файлу JSON в PHP или в базе посредством MySQL?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Что будет лучше в плане скорости и нагрузки

    Определитесь. Или в приоритете скорость, или нагрузка. Но не то и другое одновременно.

    Если приоритетна скорость - то данные должны быть предварительно (а не в момент поступления запроса) загружены в PHP и там проиндексированы, причём должен использоваться алгоритм индексирования, обеспечивающий высокую скорость поиска. Поскольку речь идёт о поиске по подстроке, то, вероятно, это суффиксное дерево или аналогичная индексирующая структура.

    Если приоритетна нагрузка - то поиск следует производить средствами СУБД.
    Ответ написан
    Комментировать
  • Как оптимизировать INSERT запросы в PDO(phpmyadmin)?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Пример.

    На стороне PHP имеется массив строк:

    aaa
    bbb
    ccc

    Необходимо записать его в таблицу. Причём уложиться в один запрос. Длина списка, понятно, не фиксирована.

    Первое - объединяем/сериализуем этот массив в одно значение. Допустим, выбрали JSON массив. То есть ["aaa", "bbb", "ccc"]
    И именно этот JSON мы передадим в запрос.

    Далее на стороне MySQL надо разобрать JSON на элементы и вставить в таблицу. Это делается одним запросом.
    INSERT INTO destination_table (single_value)
    SELECT single_value
    FROM JSON_TABLE( ? ,
                     '$[*]' COLUMNS ( single_value VARCHAR(255) PATH '$' )) jsontable;

    И... а, собственно, всё.

    Осталось только убедиться, что размер строкового представления данных не превышает установленный в MySQL размер входящего пакета, и, если превышает, то соответствующим образом подрихтовать сессионную переменную max_allowed_packet. Впрочем, дефолтно там 67108864 байтов, это порядка 1480 байтов на элемент - должно хватить.
    Ответ написан
    Комментировать
  • Как вставить все значения у всех таблиц через JOIN?

    @Akina
    Сетевой и системный админ, SQL-программист.
    При всей неизбывной глупости такого решения:

    INSERT INTO main (table1_id, table2_id) 
    WITH 
    cte1 AS ( SELECT id, ROW_NUMBER() OVER (ORDER BY id) rn FROM table1 ),
    cte2 AS ( SELECT id, ROW_NUMBER() OVER (ORDER BY id) rn FROM table2 )
    SELECT cte1.ID, cte2.ID
    FROM cte1
    JOIN cte2 USING (rn);
    Ответ написан
  • Что я делаю не так, почему MySQL ругается?

    @Akina
    Сетевой и системный админ, SQL-программист.
    Юзеры в диалогах независимы, потому и связывать их надо независимо.

    create table if not exists dialogs (
        id int primary key auto_increment, 
        user_id_one int not null, 
        foreign key (user_id_one) references users (id), 
        user_id_two int not null, 
        foreign key (user_id_two) references users (id)
    )
    Ответ написан
    Комментировать
  • Как найти следующую строчку в mysql?

    @Akina
    Сетевой и системный админ, SQL-программист.
    WITH
    cte AS (
      SELECT *, COALESCE(LEAD(id) OVER (ORDER BY id),
                         MIN(id) OVER ()) next_row_id
      FROM comments
    )
    SELECT * 
    FROM cte
    Ответ написан
    Комментировать