mgyk

Посмотрите на cloc https://github.com/AlDanial/cloc
Выдает быстро и очень удобную статистику с разделением по типу:

-------------------------------------------------------------------------------
Language                     files          blank        comment           code
-------------------------------------------------------------------------------
C                               10           4680           6621          30812
C/C++ Header                     3             99            286            496
-------------------------------------------------------------------------------
SUM:                            13           4779           6907          31308
-------------------------------------------------------------------------------

Для начала просто прикрыть фаирволом все, что не используется, главное ssh разрешите

apt-get install ufw
ufw allow ssh
ufw allow http
ufw allow https
ufw enable

Уберите

tmdb_id = values(tmdb_id),
type = values(type)

из запроса, они и так уже совпали

1) Гораздо правильнее будет реорганизовать таблицу и хранить только день/ip. Данные вставлять с INSERT ON DUPLICATE KEY UPDATE bytes=VALUES(bytes)+bytes
2) Храните IP в int поле. SELECT INET_ATON('10.0.5.9') -> 167773449. Аналогично обратно inet_ntoa
Этим вы уменьшите размер индексов в разы и размер таблицы в сотню раз. Для таблицы достаточно иметь только один уникальный индекс ip/date или date/ip в зависимости от того какие у вас в основном запросы
3) Используйте InnoDB если не хотите подвесить все остальное пока ваш тяжелый запрос отработает

Для вот такой таблицы

+----+------+--------+------+---------------------+
| id | line | status | user | startDate           |
+----+------+--------+------+---------------------+
|  1 | TEST | star   | NULL | 2015-04-29 12:54:30 |
|  2 | TEST | stop   | NULL | 2015-04-29 12:54:59 |
|  3 | FOO  | stop   | NULL | 2015-04-29 13:07:29 |
|  4 | FOO  | star   | NULL | 2015-04-29 12:55:21 |
+----+------+--------+------+---------------------+

select id, if(@line=line AND @status!=status,@startDate, NULL) as endDate, 
@line:=line as line, @status:=status as status, @startDate:=startDate as startDate
FROM (select id, line,status, startDate from linestatuslog order by line, status, startDate) as c;

+----+---------------------+------+--------+---------------------+
| id | endDate             | line | status | startDate           |
+----+---------------------+------+--------+---------------------+
|  4 | NULL                | FOO  | star   | 2015-04-29 12:55:21 |
|  3 | 2015-04-29 12:55:21 | FOO  | stop   | 2015-04-29 13:07:29 |
|  1 | NULL                | TEST | star   | 2015-04-29 12:54:30 |
|  2 | 2015-04-29 12:54:30 | TEST | stop   | 2015-04-29 12:54:59 |
+----+---------------------+------+--------+---------------------+

Тут стоит иметь ввиду что 1) данные должны быть отсортированы сначала 2) значение переменых устанавливаются по порядку, по-этому endDate генерируется первой, так как тут мы можем обратиться за предыдущими значениями.

Для этого есть три варианта:
1) Nginx + Passenger. Ставите на сервер отдельно, а код выкладываете капистрано. Но, по-моему это только платная версия пассажира умеет
2) Nginx + Unicorn в таком случае unicorn нужно отдельно запускать, можно через eye/foreman. Он умеет перезапускать worker'ы по USR2
3) Использовать heroku. Тут все само будет работать по git push

Все можно, проблема только в том, что вполне возможно вы найдете грабли на какой-то библиотеке, которая потащит за собой зависимости и сборка на винде может оказаться сложнее, чем на linux.

А вы rake таск запускали? Посмотрите сгенерировался ли фаил и с какими правами.

Проверьте все же ulimit
cat /proc/PROC_ID/limits

У меня на ноуте без оптимизаций бенчмарк дает лучшие результаты

redis-benchmark -c 3000 -q -n 10 -t get,set
SET: 322.58 requests per second
GET: 357.14 requests per second

Для таких целей обычно у производителя погодных станций есть свои боксы, солнечные панели и wifi радио интерфейсы. Все можно сделать на чем угодно, но если это промышленное применение, то не стоит собирать на коленке. Или просто будете менять платки по мере выхода их из строя, если сигнал читается по wifi значит и люди рядом есть, чтобы поменять содержимое бокса

Взять комплект из трех точек www.ubnt.com/unifi/unifi-ap и роутер к ним в комплект www.ubnt.com/edgemax/edgerouter-lite или www.ubnt.com/edgemax/edgerouter-poe тогда можно не ставить инжекторы PoE

Есть проблемы с openvz так как то, что вы считаете RAM может оказаться на самом деле свопом. Если хостер будет выделять память как положено - то большой разницы от типа виртуализации не будет.

Да, совершенно верно, редис хранит все в памяти хоть и синхронизирует на диск. Писать туда логи - плохая идея. Если используете LIST, делайте LTRIM хотя бы чтобы убирать старые логи и хранить последние N записей. Но лучше перенести куда-нибудь в logstash.net, например

Вставка множества записей через VALUES меняет автоинкремент

mysql> SELECT AUTO_INCREMENT FROM information_schema.tables where table_schema = DATABASE() and table_name = 'test3';
+----------------+
| AUTO_INCREMENT |
+----------------+
|             16 |
+----------------+
1 row in set (0.00 sec)

mysql> insert ignore into test3(name) VALUES ('xxx'),('aaa'),('fff');
Query OK, 0 rows affected (0.00 sec)
Records: 3  Duplicates: 3  Warnings: 0

mysql> SELECT AUTO_INCREMENT FROM information_schema.tables where table_schema = DATABASE() and table_name = 'test3';
+----------------+
| AUTO_INCREMENT |
+----------------+
|             19 |
+----------------+

Теперь я знаю, что давать в качестве тестового задания. :)))