mgyk

Делать это не нужно, даже если БД позволяет. При таком подходе каждый пользователь должен будет открывать свое соединение со своими правами к БД.
Кроме этого на стороне бэкэнда использовать такой подход будет достаточно сложно. Допустим в рельсах без большого напильника у вас не получится открыть много соединений к БД с разными правами.

Вы пытаетесь решать задачу совсем не тем инструментом. Возьмите Elastic и ищите https://www.elastic.co/guide/en/elasticsearch/refe...

Datetime можно перевести в формат БД datetime.to_s(:db)

Посмотрите на cloc https://github.com/AlDanial/cloc
Выдает быстро и очень удобную статистику с разделением по типу:

-------------------------------------------------------------------------------
Language                     files          blank        comment           code
-------------------------------------------------------------------------------
C                               10           4680           6621          30812
C/C++ Header                     3             99            286            496
-------------------------------------------------------------------------------
SUM:                            13           4779           6907          31308
-------------------------------------------------------------------------------

Уберите

tmdb_id = values(tmdb_id),
type = values(type)

из запроса, они и так уже совпали

1) Гораздо правильнее будет реорганизовать таблицу и хранить только день/ip. Данные вставлять с INSERT ON DUPLICATE KEY UPDATE bytes=VALUES(bytes)+bytes
2) Храните IP в int поле. SELECT INET_ATON('10.0.5.9') -> 167773449. Аналогично обратно inet_ntoa
Этим вы уменьшите размер индексов в разы и размер таблицы в сотню раз. Для таблицы достаточно иметь только один уникальный индекс ip/date или date/ip в зависимости от того какие у вас в основном запросы
3) Используйте InnoDB если не хотите подвесить все остальное пока ваш тяжелый запрос отработает

Для вот такой таблицы

+----+------+--------+------+---------------------+
| id | line | status | user | startDate           |
+----+------+--------+------+---------------------+
|  1 | TEST | star   | NULL | 2015-04-29 12:54:30 |
|  2 | TEST | stop   | NULL | 2015-04-29 12:54:59 |
|  3 | FOO  | stop   | NULL | 2015-04-29 13:07:29 |
|  4 | FOO  | star   | NULL | 2015-04-29 12:55:21 |
+----+------+--------+------+---------------------+

select id, if(@line=line AND @status!=status,@startDate, NULL) as endDate, 
@line:=line as line, @status:=status as status, @startDate:=startDate as startDate
FROM (select id, line,status, startDate from linestatuslog order by line, status, startDate) as c;

+----+---------------------+------+--------+---------------------+
| id | endDate             | line | status | startDate           |
+----+---------------------+------+--------+---------------------+
|  4 | NULL                | FOO  | star   | 2015-04-29 12:55:21 |
|  3 | 2015-04-29 12:55:21 | FOO  | stop   | 2015-04-29 13:07:29 |
|  1 | NULL                | TEST | star   | 2015-04-29 12:54:30 |
|  2 | 2015-04-29 12:54:30 | TEST | stop   | 2015-04-29 12:54:59 |
+----+---------------------+------+--------+---------------------+

Тут стоит иметь ввиду что 1) данные должны быть отсортированы сначала 2) значение переменых устанавливаются по порядку, по-этому endDate генерируется первой, так как тут мы можем обратиться за предыдущими значениями.

Вставка множества записей через VALUES меняет автоинкремент

mysql> SELECT AUTO_INCREMENT FROM information_schema.tables where table_schema = DATABASE() and table_name = 'test3';
+----------------+
| AUTO_INCREMENT |
+----------------+
|             16 |
+----------------+
1 row in set (0.00 sec)

mysql> insert ignore into test3(name) VALUES ('xxx'),('aaa'),('fff');
Query OK, 0 rows affected (0.00 sec)
Records: 3  Duplicates: 3  Warnings: 0

mysql> SELECT AUTO_INCREMENT FROM information_schema.tables where table_schema = DATABASE() and table_name = 'test3';
+----------------+
| AUTO_INCREMENT |
+----------------+
|             19 |
+----------------+

1) Проверьте engine в табличках -> InnoDB
2) Покажите настройки из my.cnf.
3) Посмотрите в process list нет ли пачки запросов висящих одновременно к таблице.
4) Покажите show create tabal XXX; для обоих таблиц и EXPLAIN этого запроса
На таких размерах все индексы должны помещаться в память и проблем быть не должно

Во-первых можно хранить ip как INT UNSIGNED и использовать inet_aton/inet_ntoa для конвертации. Во-вторых значительно быстрее будет использовать
INSERT INTO ... ON DUPLICATE KEY UPDATE views=VALUE(views)+views. Индекс при этом должнен быть UNIQUE INDEX(object, ip)

Если более правильно решать задачу, то просто поставьте гугл/яндекс аналитику на сайт и добавьте id материла в трекер. Таким образом получите нормальную статистику по материалам. https://developers.google.com/analytics/devguides/...

Попробуйте для начала mysql-tuning-primer запустить. Самые большие проблемы он должнен показать. И переходите на innodb сколько рамы не добавляй, но локи на таблицу все будут тормозить.

Такой вариант корректный, но достаточно медленный

SET @rank=0; 
SET @current_field=0; 
select a.field_a, a.field_b, 
@rank:=if(@current_field = a.field_a,@rank+1,0) as rank, 
@current_field:=a.field_a as current 
FROM  (select field_a, field_b from test2 where field_a IN (1,2)  
ORDER BY  field_a, field_b DESC ) as a having rank < 3;

Посмотрите, возможно проще будет через GROUP_CONCAT(field_b ORDER BY field_b DESC) GROUP BY field_a и отфильтровать первые N на стороне клиента.

Можете посмотреть еще не jsonb в postgresql www.postgresql.org/docs/9.4/static/datatype-json.html если нужно индексировать json поля

Быстрее будет сделать LOAD DATA INFILE dev.mysql.com/doc/refman/5.1/en/load-data.html и импортировать сразу из CSV.
Можно попробовать engine=ARCHIVE если операция одноразовая. Будет больший шанс влезть в память при следующем GROUP BY

Убедитесь, что у вас стоит индекс по двум полям сразу (job_id, worker_id => id_uslugi , id_rabotnik) Запрос на такой небольшой таблице должен выполняться достаточно быстро

SELECT c.name, b.name, count(*) from unslugi as a 
     left join info as b on a.job_id=b.id 
     left join info as c on a.worker_id=c.id 
WHERE a.usluga_okazana=1 
GROUP BY a.job_id, a.worker_id;