Вероятно дело в настройках уровня коррекции. На считывание сканерами ШК это не влияет (при условии качественного сканера и изображения :)). Чтобы получить полную копию, надо этот уровень коррекции подобрать руками.
Если не использовать вебсокеты, то проще всего хранить дату последнего обновления списка и запрашивать её с фронта раз в несколько секунд. Если она больше той, что была при предыдущем запросе данных, то запрашивать список по новой.
Ну а если у нас есть возможность использовать вебсокеты, то тут проще (и одновременно сложнее). В простейшем случае приложение, которое вставляет данные и обслуживает вебсокеты - одно и то же. Тогда просто по сокетам шлем оповещение всем фронтам и они запрашивают обновленный список. Или шлем сразу изменения и фронты изменяют свои данные. При разделении приложения на части получается усложнение: при изменении данных шлем сигнал от той части, которая меняет данные к той части, которая обслуживает вебсокеты и она оповещает фронты. Ну, или интегрируем какую-нибудь систему управления очередями сообщений типа RabbitMQ. В общем, начинается простор для фантазии.
Работу не предлагают, её ищут. По крайней мере первые лет 5 стажа. Например можно сделать сайт-портфолио, составить нормальное резюме и отфильтровав hh по нужным параметрам откликнуться на вакансии.
Кстати, одним из ключевых параметров, по которым осуществляют первичный отбор резюме, является грамотность.
Не может 500к записей в таких запросах работать больше 2 часов. при 500 к записей даже при тэйбл скан это будет в диапазоне минут (размер строки не более пол килобайта, соответственно, 250 мегабайт на таблицу, что примерно 10-30 секунд на 5400 хдд на запрос селект и апдейт). Ну, или машина совсем старая или виртуалка, ужатая по ресурсам.
В данном случае посоветую сделать таблицу с индексом по хэшу урл (для ограничения длины колонки с индексом) и проверять его. В зависимости от бизнес логики может быть можно сократить запрос до insert .. on duplicate key update
В Netbeans при плагине в браузере такое возможно, а также при использовании webpack это возможно при любом редакторе (отслеживание изменений файловой системы).
перспективнее в плане "оффлайн" взаимодействия всего встроить в свою CMS поддержку v8.1c.ru/edi/edi_app/enterprisedata , тогда интеграция со всеми современными конфигурациями 1с будет простейшей.
эксель вообще отвратительно работает с csv. проще всего открыть с помощью libre office calc и сохранить в эксель, или открыть пустую таблицу экселя, выбрать данные - из текста - и пройти по шагам мастера.
Разве mysqli_insert_id(); возвратит не тот id, который был создан в текущем соединении? И тогда гипотетическое другое соединение никак на него не повлияет.
For SELECT, SHOW, DESCRIBE, EXPLAIN and other statements returning resultset, mysql_query() returns a resource on success, or FALSE on error.
В данном случае очень подозрительно ='$id'
во первых - это может быть путь к sql injection, во вторых - подозрительные кавычки. попробуйте вывести фактический запрос и выполнить его в phpmyadmin.
Ну и mysql - deprecated, используйте PDO/mysqli. И не используйте запросы в цикле.