deepblack, то, что данные подтягиваются из виджета списком, а потом уже задается структура. Поскольку координаты варьируются, ибо это координаты контура произвольной формы, то нужно сначала их получить, а потом отформатировать в json-ку. Я думал может есть вариант преобразовать список без промежуточных звеньев
Ziptar, да суть в том, что приложение написано для людей, которые что такое монга в душе не чают, поэтому я захотел свести к минимуму все телодвижения. Посчитал, что моя идея вполне здравая, а реализация, как говорится, еще впереди
Александр, Я хочу сделать тихую установку, чтобы человек запустил. Компьютер сам установил монгу и просто ехе-шник мой переместил на рабочий стол. Но в моем понимании я должен иметь у себя исходники монги, чтобы это сделать. Скорее всего я не прав, поэтому и просил посвятить в суть конкретной вещи, ну или скинуть ссылку где я могу в этом разобраться.
rPman, вы предлагаете заниматься бесполезными вещами в контексте четко обозначенной задачи, где есть конкретные инструменты. Какой смысл изобретать велосипед?
Сергей Горностаев, исходя из того, что я читал, работают монга и постгре плюс минус одинаково быстро на относительно небольших объемах данных. А монга мне показалась банально просто удобнее
N, не могли вы пояснить - что имеется ввиду под словом "тупо"?
Это отсылка на ранее озвученные темы в отношении многопользовательского доступа и поиска? Или тут что-то иное
Сергей Горностаев, Я прошу немного вникнуть в суть вопроса. Если его не поняли, то давайте распишу чуть подробнее. Я делаю приложение, которое занимается разметкой изображений, хранящиеся в формате, который не открывает ни один редактор, кроме специализированного ПО и фотошопа. К сожалению из-за того, что производители оборудования для работы с этими данными не соблюдают стандарты заполнения мета-данных, то их структурированность напрочь отсутствует. Они могут содержать как 3, так 300 строк полезной информации. Разрабатываемое ПО нацелено на специалистов, которые занимаются визуальной оценкой снимков. Их задача выделить и указать - есть что-то на изображении или нет. Далее координаты выделенных областей вместе в метаданными следует записать в какой-то один файл, чтобы потом его мне передали и я занимался дальнейшими вопросами с этими координатами и метаданными, поскольку я могу банально использовать названия файлов в качестве идентификатора. Поэтому я посчитал, что наиболее подходящим решением может быть монга.
Поскольку коммерческого опыта у меня нету, то я задал вопрос, чтобы мне дали наводку что почитать/посмотреть. Ну или дать по шапке, если я творю дичь
Я бы с удовольствием сделал использование одного соединения всеми потоками,если бы понимал каким образом. Пока все, что выходит приводит просто к ограничению скорости открытия новых соединений, либо просто к ожиданию открытого соединения, теряя весь смысл параллельного парсинга по причине того,что из-за ожидания количество спарсенной информации за единицу времени уже становится меньше однопоточного решения, которое ввиду своей высокой продолжительности попросту не достигает лимита,поскольку другие соединения уже успевают исчерпать таймаут
Василий Банников, Я знаю, что TIME_WAIT - это TCP и изменение этого параметра даст по голове мне самому, но костыль есть костыль, чтобы работоспособность проверять. Это все равно не прод
Василий Банников, дак вопрос то не в этом. Я это прекрасно понимаю. Вопрос в том - что делать, чтобы я мог либо через одно соеднинение парсить, либо время жизни этих соединений снизить до минимальных значений. Нагрузка то высокая, нужно каждый экземпляр отдельно взять, а из-за лимита ошибки возникают
Василий Банников, да, не заметил. Скопировал ваш код, у меня он тоже работает с одним подключением. Однако, как я и предполагал, это одно подключение все равно, что выполнять задачу в один поток. При увеличении числа задач и сравнения с выводом без асинхронности, результаты получаются идентичными. Увеличивания количество соединений, растет и скорость обработки. Соответственно, как я и предполагал, на каждый запрос в моей программе создается отдельное соединение и оно остается активным сколько то времени. В вашем случае тоже самое. Увеличив количество тасков до 12000 и количество соеднений до этой же цифры и запустив программу несколько раз, я получил ровно ту же самую ошибку. Теперь остается понять как использовать тоже самое соединений на каждой таске, чтобы решить проблему
Василий Банников, запустил. За раз теперь просто меньше парсится, но все равно создает кучу соединений. Я предполагаю, что это именно из-за того, что я делаю это асинхронно. У вас же выполнение идет в одном потоке
Василий Банников, Потому что на каждый вызов httpclient открывается соединение, как я понимаю. Итог таков,что количество открытых соеднений как я понимаю не поменяется
