Как раздавать уникальные записи таблицы во многопоточном парсере?

Иван Иванов,

оптимизатор mysql все равно использует не составные индексы

Оптимизатор вообще-то не дурак. И индексы с низкой селективностью использовать не будет.

rows в explain вместо 2000 000 показывает 4000 000

Ну он же делает интерсект ДВУХ индексов, и в каждом по 2кк записей - сколько записей всего?

индексы ставил на proxy_id и parsed по отдельности, а также составные в разном порядке на эти же поля, результата не дало

Нужен композитный индекс по (proxy_id, parsed, datetime_added) и ORDER BY datetime_added в запросе. Тогда индекс должен использоваться - причём весьма эффективно.

PS. А откуда взялись proxy и proxy_id? я как-то в вопросе их не наблюдаю.

Где можно взять SP1 для Windows 7 64 bit Rus в России?

Набрал в строке поиска Гугля

download "windows 7 service pack 1" x64

посмотрел, что это KB976932, и сделал поиск этого KB в каталоге Центра обновления.

Можно при создании таблицы указать имя столбца в двойных кавычках?

подтверждение этому в документации не нашёл.

https://www.postgresql.org/docs/current/sql-syntax...

Quoting an identifier also makes it case-sensitive, whereas unquoted names are always folded to lower case.

=====================================

пишут, что название в кавычках будет регистрозависимое

См. https://dbfiddle.uk/?rdbms=postgres_14&fiddle=5003...

Стекирование и подключение коммутаторов?

линки должны подключаться в разным коммутаторам в стеке КА

Это зависит от оборудования. Не все стеки поддерживают LACP, когда порты на разных коробках.

Самый популярные варианты
LA - link aggregation
STP

Это как бы тёплое и мягкое. Т.е. технологии, решающие совсем разные задачи. Хотя формально и гарантируют сохранение целостности сети при отключении одного линка, но по совершенно разным причинам, да и с разными последствиями.

В случае STP можно, можно строить кольца.

MSTP и ERPS побыстрее будут. Хотя они, в отличие от STP/RSTP, требуют планирования.

чем больше КД в одном кольце тем меньше надежность

Эммм... три раза прочитал, ни разу не понял. Это о чём речь?

Как построить структуру данных?

Ипатьев,

насколько я вижу, это он и есть.

Не, вот совсем не оно. Элементарно таблица для EAV должна иметь ну как минимум три поля...

Тут обычный M:N.

Где можно взять SP1 для Windows 7 64 bit Rus в России?

https://www.catalog.update.microsoft.com/Search.as... ?

Как построить структуру данных?

это будет уже новое свойство

+100500

как следствие - выкините весь EAV за ненадобностью

о_О а где тут EAV?

Почему PostgreSQL ругается?

https://www.postgresql.org/docs/current/sql-create...

Правильно ли я разделил сеть на подсети?

Верно ли?

Абсолютно неверно.
Ты выделил не подсети, а диапазоны адресов.

Поиск по нескольким свойствам по динамическим записям?

Ипатьев, а что смотреть-то? оптимальность того или иного решения зависит от структуры и статистики данных, практически любой вариант при определённых условиях может быть или оптимальным, или нет. Более того, некоторые варианты способны при определённом сочетании условий порождать один и тот же план выполнения, а при изменении условий - разбежаться...
Логика вроде правильная, а для более далёких выводов данных явно недостаточно.

Поиск по нескольким свойствам по динамическим записям?

Посмотрите теорию и практику по термину "фасетный поиск".

Отслеживание новых записей в бд в реальном времени?

Богдан Кучерук, MySQL не имеет штатных средств взаимодействия с ОС. Навскидку вижу три принципиальных варианта.

Первый - описанный в ответе Rsa97 поллинг данных со стороны приложения либо промежуточной ОС/программы.

Второй - сбрасывать информацию об изменении в файл, а далее средствами ОС по событию создания файла (или поллингом файловой системы) уведомлять.

Третий - найти UDF (отдельный модуль или библиотеку) взаимодействия с ОС и использовать её.

Отслеживание новых записей в бд в реальном времени?

Вопрос ни о чём. Указывайте точно свою СУБД, в том числе её точную версию.

Как получить данные с БД за Н количество дней?

Какой тип поля у r.date_added?

Как в Eloquent (или ActiveRecord) получить всех потомков n-ного уровня, в таблице с полями id и parent_id? Нужны ли воспомогательные таблицы?

Роми,

Пересмотреть каким именно образом?

Уйти с parent-child на более предназначенную для описанной задачи структуру.

Если основная задача - именно построить дерево, то можно посмотреть в сторону хранения нод в виде FQPath.

Как сделать, чтобы на каждое значение из второго значения, выводилось первое в sql?

SELECT t1.num, t2.num
FROM table t1 
CROSS JOIN table t2
/* 
    WHERE t1.num <> t2.num 
*/
ORDER BY t1.num, t2.num

Как в Eloquent (или ActiveRecord) получить всех потомков n-ного уровня, в таблице с полями id и parent_id? Нужны ли воспомогательные таблицы?

Есть таблица с полями id и parent_id - как наименее ресурсозатратно получить всех потомков n-ного уровня

Определите, какой (или какие) именно ресурс хочется сэкономить?

Годится ли MySQL 5.7 или нужен непременно 8-й?

Годится. Правда, это будет не SELECT, а CALL.

Насколько вообще реально это реализовать только в одной таблице? ... нужно будет получить потомков глубже 3 уровня

Если это основная задача - настоятельно советую пересмотреть структуру хранения.

Как обновлять данные каждые 24 часа в MySQL?

Я бы поменял их местами...

Что не так с запросом?

Константин Цветков,

Точка — разделитель, в русских фамилиях не используется

Задача абстрактная - так что не вижу никаких оснований полагать, что данные будут исключительно русско-кириллические. Обрати внимание - формат описан достаточно подробно, и уж наверное будь все записи БД русскоязычными, об этом бы было сказано.
А далее "всё, что не описано явно, может быть как угодно".

'%_ _%' их исключает.

Три пробела в начале - и достаточно.

Что не так с запросом?

Укажите, какая СУБД используется на тренажёре. Включая точную версию.