Есть задачка по выгрузке данных. Какие есть идеи?

Question

[Алексей]

Здравствуйте, у меня такая проблема. Есть два запроса. Первый по определенным условиям выгружает даты. Второй запрос, по каждой дате делает нам анализ, т.е. выгружает нужные нам данные. Проблема в том, что приходится каждую дату из первого запроса в ручную вставлять во второй. Как можно это сделать автоматически или полуавтоматически?
Объединить эти два запроса нельзя, они по отдельности очень долго выгружаются.... Все это делается в Oracle... Никакого web

Comments

[Артур Полозов]

по отдельности может и выгружаются долго, а выполняются как долго?.
если сделать джойн результата первого запроса на второй

select t1.date, t2.computed_result(t1.date)
from table t2
join ( select date from table ) t1

скуль быстрее поджойнит, нежели для каждого значения выполнять запросы и возращать что-то.

[Евгений]

Артур Полозов: что такое computed_result()?

Алексей Семенов можно подробностей? Какого объема таблицы, "долго выгружаются" - это сколько? Может запрос неправильно составлен? Есть ли индексы, какие? План долгого запроса, плиз:
select * from t1 where date in (select date from t2);

[Алексей]

Артур Полозов: ну один запрос около часа, другой чуть больше

[Алексей]

Евгений: запрос из 448 строк, с расчетами и очень большой базой... запрос составлен правильно, просто нужно немножко преобразовать

[Артур Полозов]

Евгений:
computed_result() - просто так, т.к. результат второго запроса вычисляется от значения первого.

select * from t1 where date in (select date from t2);
тут могут быть проблемы с производительностью, если для каждой строки t1 будут вычисляться даты из t2

Алексей Семенов:
а вы попробуйте, смотрите план.
глядишь вместо "другой чуть больше" будет всего пара минут...

Answer 1

[Александр]

Думаю можно реализовать через курсор - первый запрос передает данные в курсор, следующие запросы обрабатываются по итерациям курсора.
datasql.ru/sqlandpol/14.htm

Comments

[Артур Полозов]

курсор не надо. это последнее к чему стоит приходить..
сначала пробовать на джойнах, запросом одним с подзапросами и т.д.

[Alexander]

Чем вам курсоры жизнь испортили? А вот под запросы я бы все таки не рекомендовал использовать на больших объемах данных.

[Артур Полозов]

Alexander Drankin: я не отрицаю возможности использования курсоров. но с точки зрения перфоманса курсоры - зло.
на счет больших объемов данных - все надо смотреть по месту.

Answer 2

[Макс]

результат первого сохраните во "временную" табличку, выгружайте уже из нее.
второй запрос натравите на эту табличку. "временная" в кавычках - потому что классическая TEMPORARY помрет после закрытия сессии. Ну или делайте все в 1 сессии.

Answer 3

[igaraev]

У вас в задании противоречие
"Объединить эти два запроса нельзя, они по отдельности очень долго выгружаются"

Если по отдельности долго то вместе должно быть быстро.
Попробуйте хинт /*+ materialize */

Answer 4

[dk-web]

Не уверен что верно понял условие задачи. Что подразумеваете под вручную. Но навскидку.. даты в массив... $ dates
Далее
foreach $ dates as $ date
Select * from .. where date=$date
П.с. писал по сути под mysql-php

Comments

[Алексей]

а как данные из первого запроса поместить в массив, и как массив передать в другой?

[dk-web]

Алексей Семенов: Собственно Вячеслав ниже ответил...

Answer 5

[Вячеслав]

Можно вытаскивать 2 массива отдельно по необходимым параметрам и после объединять их через php:
Вытаскиваем сначала даты:
$dates = $this->get_dates( select * );

затем переформируем даты в новый массив, т.к. вытащенные даты могут идти не по порядку
и в отдельный массив суем даты, данные по которым нам нужны:

foreach ($dates as $key => $date)
		{
			$data_to_show[$key] = $date;
			$dates_array[] = $date['date'];
		}

затем вытаскиваем только те данные, по датам которых нам нужны:

$analiz = $this->get_analizs( select * where_in($dates_array));

и затем пересобираем первый массив

foreach ($analiz as $row)
		{
			$data_to_show[$row['analiz_key']][] = $row;
		}

-----------------------------

я не знаю какие ключи у вас там выбираются, но вот мой пример, где объединяются пользователи и машины, которые есть у этих пользователей
надеюсь правильно вас понял и в правильном направлении вас подтолкнул

$users = $this->user_model->get_users();
		foreach ($users as $user)
		{
			$users_to_show[$user['username']] = $user;
			$names[] = $user['username'];
		}
		
		$cars = $this->user_model->get_cars($names);
		foreach ($cars as $car)
		{
			$users_to_show[$car['owner']]['cars'][] = $car;
		}