Где можно почитать про разработку агрегаторов?

Нет такой литературы, делают сайт, потом API потом договариваются ножками с компаниями. Запускают рекламу, агрегатор готов

Нормально ли это, 6 недель испытательный срок?

The Dragger: Это только часть. Это только работа, а ещё важна 1) скорость 2) Умение находить хорошие решения самому (может ему помогли на гитхабе) 3) беспроблемность 4) отношения в коллективе 5) ортодоксальность 6) умение работать в команде, короче кроме кода важна куча личных качеств...

Нормально ли это, 6 недель испытательный срок?

The Dragger: Я провожу собеседования, поверьте мне, какие-то значимые личные качества выявить на них решительно НЕВОЗМОЖНО

Нормально ли это, 6 недель испытательный срок?

Зелим Бельтоев: ему решать, у нас тоже испытательный срок месяц, да бывает люди опасаются, но те кто рискует потом вознаграждены приятным местом работы

Нормально ли это, 6 недель испытательный срок?

The Dragger: Если опасения по деньгам то договаривайтесь на зарплату каждую неделю, или раз в 2 недели

Нормально ли это, 6 недель испытательный срок?

Зелим Бельтоев: Я не увидел в вопросе что ему не будут платить или будут платить меньше

Как понять работу sql-запроса?

Артем Каретников: Я слили всё в 1 таблицу, теперь подзапрос не нужен. Да с id + датой понял идею, там чем больше дат, тем больше выгода получится...

Как понять работу sql-запроса?

Я не очень понимаю как мне тут поможет автоинкрементное поле rid? Ну вот добавил я его предположим, что дальше, как его использовать?

Как понять работу sql-запроса?

Есть 3 поля - id, members, date. id и members как мы выяснили с ThunderCat неуникальные, не подчиняются никакой закономерности. Дата тоже одна на всех, но на следующий день будет другая дата так обеспечивается уникальность составного primary из id+date. Мне надо выбрать N самых больших, потом N-20 поменьше потом N-40 поменьше и т.д. я не могу в WHERE задать никакого условия потому что не имею представления ни какой id у этого members ни какой величины members будет на следующем шаге. Может меньше на 5 тыс. а может меньше на 2 миллиона

Как понять работу sql-запроса?

ThunderCat: не пробовал ещё, переделываю структуру, сливаю всё в одну таблицу но там тоже будет неуникальный members и id случайные а не autoincrement так что вопрос выбора N самых больших members останется ))

Как понять работу sql-запроса?

ThunderCat: id и members - это значения почти случайные, ни одно из них не autouncremet и если я разделю пополам таблицу я профита от этого никакого не получу. Вы меня спросите как же тогда primary обеспечивается если они могут быть не уник. Primary - это составной ключ из id + столбца data

Как понять работу sql-запроса?

ThunderCat: Извините я не понял идею SELECT COUNT чего именно? Какое условие к Count должно быть?

Как понять работу sql-запроса?

Артем Каретников: Ну у меня данные в 2 таблицах в каждой из которых есть group_id сейчас это не принципиально, я могу переделать в 1 таблицу. Теперь мне всё же принципиально захотелось разобраться чисто с подзапросом и понять как же максимально правильно и быстро вынуть 20 наибольших значений из базы если голый LIMIT не катит... В ответе ThunderCat так же вам ответил

Как понять работу sql-запроса?

@ThunderCat

у вас действительно 100 записей в таблице???

В таблице сейчас около 1 млн. записей
@art_karetnikov

именно поэтому я предлагаю урезать объем отбираемых данных

Теперь да я полностью понял вашу идею, другое дело что я не имею представления где половина по group_id но могу такое условие ориентировочно поставить на members надеясь что вручную никто не пролистает больше половины пагинации ))) (больше 100 тыс. страниц)

Как понять работу sql-запроса?

Да почитал

1. В первую очередь нужно избавится от limit, если записи растут с единицы, и выборка проводится последовательно по записях то применяйте не лимит а where выражение, но это только возможно если счетчик идет непрерывно
2. если записи идут как попало и невозможно применить п. 1, то следует использовать кеширование, напр. в простейшем виде - при запросе от и до обращаться к табл. где будут указаны id выбранных записей, если таковой нет - то создать, конечно с понятных причин первый такой запрос будет выполнятся долго, либо насильно генерировать такие запросы для пагинации

У меня как раз второй пункт записи идут как попало и в `group_id` и в `members` закономерности нет. Единственное - я не понял что конкретно он предлагает, к какой обращаться таблице с id записей? Это же у меня и есть эта таблица...

Как понять работу sql-запроса?

Артем Каретников: да сделал EXPLAIN дополнительно этих 2 запросов и увидел что у вас possible_keys PRIMARY а у меня NULL но как быть если я не знаю какое значение может вgroup_id для условия `group_id` > 50 Может быть 10 млн., а может и 41...

Как понять работу sql-запроса?

Артем Каретников: в БД нет понятия "последний" - на практике это либо максимальный по дате / id / ещё чему-то, либо минимальный.

Я сделал то что вы просили:

SELECT SQL_NO_CACHE `group_id`,`members` FROM `vkmembers` ORDER BY `members` DESC LIMIT 0,10
Запрос занял 0.0003 сек.

SELECT SQL_NO_CACHE `group_id`,`members` FROM `vkmembers` WHERE `group_id` > 50 ORDER BY `members` DESC LIMIT 0,10
Запрос занял 0.0005 сек.

Я выложил профилировку, там больше всего времени тратится на freeing items т.е. судя по всему на удаление временной таблицы, которая была создана. А мы с вами обсуждаем вложенный запрос на который тратится мизер времени.

Как понять работу sql-запроса?

Отключил кеш, время уходит на freeing items

Как понять работу sql-запроса?

AlikDex: Я вас понял, добавил в вопрос результаты профилирования с отключенным кешем мне интересно на что тратится время в таком несложном запросе и можно ли ускорить freeing items

Как понять работу sql-запроса?

Артем Каретников: Ваше первое предложение не прокатит, об этом был предыдущий вопрос ))) Можно ли обойти ограничение в mysql?

И совершенно непонятно, зачем брать абсолютно все данные и их потом переворачивать

Вы не поняли смысл запроса. Берутся не все данные, а 20 самых больших значений, кладутся во временную таблицу что бы обойти ограничение на LIMIT в подзапросе а потом из временной выбираются все