У меня такая проблема, может быть связано с сетью.
Когда работал из дома или в офисе - проблем не наблюдалось, мог по пять и более минут иметь открытый терминал,
как только стал работать удаленно за городом по мобильному интернету, отвисание более 2х минут неактивности.
7. Создание сети распределенных вычислений между линукс устройствами и серверами - кури Hadoop Storm, хотя я читал Параллельное программирование на С++ - автор не помню (практически не применял) тут нужно курить CUDA & OpenMP
надо отделять мух от котлет: много данных и оффлайн обработка и быстрый поток но мало данных. Второе - это обработка данных в высоконагруженных проектах, где питон хорошо вписывается. Или это может быть принятие данных и подготовка их для дальнейшей обработки. Первое - это задачи обработки больших объемов, кластеризация и агрегация данных. Тут нужны другие инструменты (Hadoop & Storm), как правило - это Java, R (больше для анализа и интерпретации результатов)
есть перевод на русский. Вообще про Hadoop книг много, но настраивается он плохо, хотя есть оперсоурсные и коммерческие готовые платформы. Для изучения этого достаточно, для продавлена - нет
Обрати внимание на Шторм, если Hadoop - это оффлайн анализ,то Storm - это онлайн. Аналог - Hadoop Streaming
Вообще стек Hadoop огромен (Pig Hbase Spark Kafka Hive ZooKeper Flume Oozie) тут можно утонуть
можно создать удаленного пользователя, который имеет доступ только с определенного ИПишника, но это плохой вариант
можно использовать удаленное ssl+sql соединение - это более лучше, но самое безопасное - как говорили ниже прокинуть ssh тунель
skoder: числовой индекс меньше жрет памяти, память расходуется на хранение индекса, на буфера в/в, на хранение структур данных, когда её не хватает - что-то свопится - а это лишние дисковые операции.
скорость поиска по числовому полю в разы быстрее, чем по строковому
1) раз PRIMARY KEY (`Phone`) то ключ будет уникальный LIMIT не нужен
2) как уже заметили - поиск по числу в разы быстрее чем по символам, и индекс в разы меньше, сделай поле INT
3) 3M записей не так уж много для мускуля, я работал и с 300М но шардирование вполне сможет помочь, но при его использовании возникнут многие другие проблемы, например с джоинами
тут надо быть аккуратным.
4) есть еще разные настройки объемов буферов, из коробки настройки не фэнс - однозначно тюнить надо под конкретный сервер.
как я понял автора комментария, скрипт не должен торчит в вэбе... скрипт мониторит некоторый флаг, например через очередь задач. Как только появляется данная задача от фронтэнда, то бэдграундовский скрипт от Пользователя с правами sudo на конкретные действия (а не рута) выполоняет перегрузку nginx.
2) OОM Killer убьет процесс