Долгая обработка SQL запроса?

Тамаз Харламов, а, прошу прощения. DELETE таки один, это же питон) а индекс по полю parsing_user_id есть?

но я бы всё равно попробововал для начала

DELETE FROM parsing
                    WHERE parsing_user_id IN (SELECT user_full_data_user_id FROM user_full_data)

либо

DELETE FROM parsing p
inner join user_full_data u on u.user_full_data_user_id = p.user_full_data_user_id

Долгая обработка SQL запроса?

это делается одним SQL запросом без цикла. у вас я так понимаю 3 млн делетов происходит. ну и индексы на столбцы по которым сравниваете.

Скрипт для передачи данных, в поисках простого решения. кто может помочь?

удаление можно реализовать и обычным баш-скриптом без использования бд. дергать его кроном раз в минуту и выпиливать файлы старше часа в нужной директории. но вообще, задача очень странная, конечно.

Web Search Indexing API работает ли еще?

Nenque, ну, честно говоря не знаю как сейчас, но вообще оно использовалось для страниц на которых важна актуальность данных в индексе в моменте, типа новостей.

Парсинг xhr файла с сайта betmgm, как сделать?

что значит все заголовки? юзерагенты? чем забирать пытаетесь? curl'ом? есть curl-impersonate, например.

Как решить проблему иерархии наслодования классов при тестирования методов?

для чего вообще в моделе какие-то валидации, при этом еще и она что-то знает о реквесте, о котором и слыхом не должна слыхивать, а принимать данные от контроллера или сервиса.

Как устранить ошибку "Too Many Requests"?

RouteServiceProvider.php

экспериментируйте.

Проблема с приложением на Windows 7. Не знаю как решить?

Y_u_r_c_h, ну да, я как-то упустил из виду.

Какие советы помогут стать FullStack-developer?

Дмитрий, в фигме может)

Почему фид не открывается как xml?

Ilia Malashko, я бы всё равно какой-нибудь примитивный скрипт написал типа

file_put_contents('feed.xml', file_get_contents('https://wisell.ru/bitrix/catalog_export/megamarket.php'));

дёргал бы его кроном раз в полчаса, и отдавал бы клиентам статику, которую он сохраняет, а этот урл спрятал бы и закрыл для внешки вообще. если уж битрикс такая бяка

Почему фид не открывается как xml?

Ilia Malashko, так он и открывается. хоть браузером открывай. другое дело что он у вас отдается с помощью echo, а файл не маленький и если будет плохой коннект у открывающего то могут быть нюансы. в чём надобность генерить такой пхп файл если можно сохранить обычный статичный xml? у вас веб-сервер просто может не отдать в какой-то момент все эти 13 мегабайт через echo и получите невалидный xml 'как текст'. а если кто-то запустит в потоков 50 гет запросы на этот урл что будет догадываетесь?)

Почему фид не открывается как xml?

что-то мне говорит о том, что ошибка у вас где-то в другом месте. оба файла - валидный XML. Не поленился проверил - оба нормально загружаются в пхп через XMLReader::open.

XMLReader::open('https://wisell.ru/bitrix/catalog_export/megamarket.php');

тоже работает нормально и всё прекрасно загружает.

Что значит "как текст" как вы это определили?

Какие есть хорошие ресурсы для изучения Docker для Golang?

открой чат гпт и попроси его составить тебе docker-compose.yaml для того что тебе нужно. в Dockerfile нужных контейнеров уже опишешь нюансы для них, если понадобятся.

Как написать парсер с Вконтакте?

Mors Clamor, я недавно такой кейс решал - компания перетащила все видео с утуба в вк. но какие-то они перезалили, а какие-то поленились и добавили ссылкой на утуб и нужно было получить список этих самых неблагополучных видосов) всего их порядка 2к, в принципе фигня, но. ключей для video.get нет и сколько я не пытался заставить ответственных мне их дать - всё слишком затянулось. пришлось парсить группу собственной компании)))

Как подружить phpstan и Laravel IDE helper?

подозреваю, что в scanFiles нужно еще создать файл с фасадами лавравеля. По крайней мере у меня в плагине для PhpStorm(Laravel Idea) оно туда еще и генерит файл с ними и потом уже хелперы для моих.


правда я не пользуюсь larastan, не знаю в этом ли дело.

Как передать переменную?

"экранизация"...во всех кинтеатрах страны

Из-за чего происходит значительное замедление программы?

проверь сервер, который парсишь на предмет WAF. они могут замедлять ответы, такие как QRATOR, например.

Как узнать ip человека с которым разговариваешь в вк мессенджере?

это всё мне напомнило одну старую историю

Почему Limit & offset не выбирает все записи в цикле?

Hfnas,

while (true) {
            $dem = Ship::where("updated_at", ">", "2024-01-01 00:00:00")
                ->skip($skip)
                ->take($take)->get();

            if (count($dem) === 0) {
                break;
            }
            
            foreach ($dem as $item) {
            }
            
            $skip = $skip + $take;
        }

Laravel в чем ошибка?

dima89e, на windows, не имею понятия(