Как ограничить консольное приложение не блокировать базу данных?

Question

[Алексей Чернявский]

Добрый день.
Есть ASP.Net приложение, которое быстро и стабильно работает.
А есть консольное приложение, которое запускается планировщиком и загружает данные в ту же базу данных, с которой работает ASP.Net приложение. В момент загрузки, особенно если данных много, сайт ASP.Net падает по таймауту. И пока консольное приложение не загрузит все данные сайт лежит.
В момент загрузки нагрузка на сервер 100%. Есть возможность как-то ограничить это консольное приложение, что бы и в базу данные загрузились и сайт не падал.

Comments

[unfilled]

Таймаут-то чем вызван? Ожидание на блокировке? Приведите ошибку, которая возвращается.

Answer 1

[Владимир Коротенко]

Какой ORM используете?

Тут возможно несколько подходов.
1. Добавить кэши в приложение, что бы оно отдавало старые значения, а запросы раотали в фоне
2. Оттюнить запрос вставки. Возможно поможет пакетная вставка данных.

Comments

[Алексей Чернявский]

Используется Entity Framework.
1. Кэш использовать не выйдет. Нужны актуальные данные.
2. Пакетной вставки тоже не получается, т.к. эта загрузка как вставляет новые данные так изменяет уже существующие.
Тут скорее вопрос в том, как ограничить ресурсы которые потребляет консольное приложение.
По сути что оно делает. Берет XML файл. Собирает из него массив того что надо загрузить в базу.
И по каждому элементу массива смотрит, если в базе есть (ещет по коду), то обновляет свойства, если нет, добавляет новый элемент.

[Владимир Коротенко]

Алексей Чернявский,
Похоже это то что вам поможет
https://docs.microsoft.com/en-us/sql/relational-da...

Ну или делать шейпинг именно в консольном приложении

[John_Nash]

нужно сервер поменять. Если он дохнет от простого инсерта - это не нормально

[Владимир Коротенко]

John_Nash, Вот это глупость. Во первых нужно понять причину, а то вы разорите компанию

[John_Nash]

ну, не может простой инсерт вешать систему, если это современный компьютер не старше 10-15 лет.

[John_Nash]

Если дело не в компе: нужно смотреть запрос, и выяснять, почему он долго выполняется, может просто индексов каких-то нет

[Владимир Коротенко]

John_Nash, Если уметь то может. Причем до обморочного состояния. Да даже селекты.

[Алексей Чернявский]

Владимир Коротенко, Resource Governor только в Enterprise версии к сожалению.
Посмотрю в сторону шейпинга. Можете тыкнуть носом с чего начать ознакомление с шейпингом?

[Владимир Коротенко]

Алексей Чернявский, по идее это должно быть. Я бы просто ставил слипы после вставки и контролировал бы загрузку. Хотя попробуйте создать поток вставки с низким приоритетом, может поможет.

Answer 2

[John_Nash]

Понизить приоритет процесса (это в случае, если таймауты возникают из-за нехватки процессорного времени)

Comments

[freeExec]

Я думаю, что нагружает не приложение, а сервер базы. Понижать приоритет нет никакого смысла. Надо бы во время вставки данных делать промежутки, чтобы сервер мог обработать внешние запросы.

[John_Nash]

Thread.Sleep(n)

[John_Nash]

как я понял, во время инсертов БД плохо отвечает на select запросы, так? Наверно, много потоков пытается одновременно инсертить

[Владимир Коротенко]

John_Nash, кстати да. Можно подтюнить строку соединения и ограничить пул соединений, мне это помогло в случае с MySQL

Answer 3

[d'Ivan]

Вместо SELECT + UPDATE использовать Upsert с учетом https://michaeljswart.com/2017/07/sql-server-upser...

По сути что оно делает. Берет XML файл. Собирает из него массив того что надо загрузить в базу.
И по каждому элементу массива смотрит, если в базе есть (ещет по коду), то обновляет свойства, если нет, добавляет новый элемент.

А если речь о прейскуранте, когда данные прейскуранта обычно заменяются старые на новые целиком, тогда имеет смысл создать новую таблицу с одного XML, а старую удалить. Тогда таблица текущего прейскуранта не будет запираться на обновление.

Если импорт из XML настолько ресурсоемкая операция, что влияет на продакшн, то можно понизить приоритет процесса импорта. Или же выполнять с другого сервера.

Answer 4

[basrach]

Квантировать. Также как и делает операционная система с процессами. Процессов много, а центральный процессор один. ОС просто даёт маленький интервал времени каждому процессу, все выполняются по очереди и все счастливы.
Самый простой способ - разбить весь массив на пачки по 100 (10, 1000), между обработкой пачки делать тупо Thread.Sleep(300 или меньше), давая тем самым обработать запросы серверу. Параметры подобрать экспериментально.