d'Ivan

Попадалась как-то книжка под названием, помнится, просто "Code". Ну, или "The Code"...
Там компьютерная логика разбиралась, начиная с механического реле.
Вставляя мозги на место и избавляя от всяческих иллюзий.
Сейчас, правда, тяжеловато нагуглить книгу с таким названием ;)

Это может быть полезным, если у Вас одна картинка принадлежит более чем к одному товару.

У меня есть Transcend на 512Мб куплена 15 лет назад. Есть Kingston 8Гб 7 лет. Фишка в грамотном использовании флешки. НИКОГДА НЕ ФОРМОТИРУЙТЕ ФЛЕШКУ В NTFS, ТОЛЬКО FAT32! NTFS сокращает срок службы флешки в несколько раз. Так же не стоит выдергивать флешку не демонтировав устройство.

В диалекте Oracle SQL:

DELETE
FROM
  ALL_SNAPSHOTS
WHERE
  SNAPSHOT_TIME                       <=SYSDATE-12/24
  AND (SNAPSHOT_TIME, ID_CHANNEL) NOT IN
  (
    SELECT MAX(SNAPSHOT_TIME), ID_CHANNEL FROM ALL_SNAPSHOTS GROUP BY ID_CHANNEL
  );

Позаботьтесь об углах. Обклейте их картоном, или тряпками.

https://habrahabr.ru/sandbox/73774/
Хранить - дешево.
Быстро скачивать назад - дорого.
Ключевое слово - быстро.

Такой шаблон вижу:
(ищу|подскажите|где найти|помогите|требуется|нужен) (мастер|[[[профессия1]]]|[[[профессияN]]])

Сам по себе текст в чистом виде на вход нейронных сетей не подходит, вам нужны критерии, количество которых не меняется от теста к тесту и значение которых нормализовано (находится в пределах, обычно делают 0..1 или даже -1.. +1), критерии по значениям (тупо перечисления enum) могут быть как один критерий с фиксированными значениями (плохой вариант, подходит для критериев которые можно сравнить) так и может быть векторами, значения которых 0 и один из элементов 1. К итогам работы нейросети те же требования (с перечислениями это обычно вектор вероятностей)

Критериями для текстов могут быть как простое наличие ключевых слов или фраз, так и такие необычные как количество символов между знаками препинания, их количество, количество символов/слов до знака препинания (например вопроса) и т.п. даже количество синтаксических ошибок - тоже неплохой критерий.

Это если велосипед изобретать. по существующим решениям подсказать не могу, пока еще сам этим не занимался.

5-7Гб за 1 рабочий день - это пшик (ничего) даже для дешевых TLC-дисков. При такой нагрузке они проработают лет наверное 10-20. Для MLC или тем более SLC дисков, срок жизни которых ощутимо выше - это вообще ни о чем.

У меня SSD диск уже года 2-3 держит часть таблиц БД, ежедневный объём (пере)записи на него исчисляется терабайтами... если верить SMART'у то диск выработал ресурс только на 6%, если верить фактам - то он до сих пор жив :)

К тому же, насколько я помню, жесткие ссылки допустимы только в пределах одного раздела, и сделать "жесткую ссылку" на другой диск - у Вас не получиться, т.к. там своя файловая система.

Можно использовать алгоритм на подобие dhash. Считаете сигнатуры к картинкам в вашей базе (один раз). Считаете сингатуру для картинки на входе и ищете по сигнатуре в базе.
blog.iconfinder.com/detecting-duplicate-images-usi...

Сгенерируйте и запишите в свою табличку какой-нибудь мелкий объём тестовых данных. Миллионов 10 строк хотя бы. Мелочь какая-то, да хоть будет о чём поговорить.
Поиграйтесь с этой мелкой табличкой, посмотрите, какие запросы будут выполняться медленно. Затем возвращайтесь с конкретными запросами и explain'ами.

В любую, с которой вы умеете работать.
30 миллионов строк для современных СУБД это ерунда.

Через htop смотрю сколько он ЖРЕТ памяти, один раз застал его за поеданием 20ГБ ОЗУ

Какой конкретно? Как минимум в htop видно 3 "вида" памяти: VIRT, RES, SHR. VIRT может быть 20ГБ. Но это не означает использование 20ГБ физической памяти.

memory_get_usage покажет текущий расход памяти. Лучше посмотреть на memory_get_peak_usage(true). И в конце скрипта.