• CentOs + nginx + php-fpm + MySQL - как разрешить выполнение нескольких параллельных запросов от одного клиента?

    @o_0 Автор вопроса
    Да, действительно, причина в этом.
    Есть ещё менее радикальное решение - www.php.net/manual/en/function.session-write-close.php
    Пока вижу окончательное решение таким - при открытии сессии сразу закрывать её на запись (с помощью session_write_close), дальше при необходимости записать в сессию данные делать session_start, что откроет сессию на запись опять (проверено), и после записи опять закрывать на запись.
    session_start();
    sleep(5); // В этом моменте идёт Session Lock
    $_SESSION["var1"] = 1; // Запишем что-нибудь в сессию
    session_write_close(); // Закрываем запись в сессию, блокировка снимается
    
    $r = $_SESSION["var1"]; // Сессионные данные читать всё ещё можно
    
    $_SESSION["var2"] = 2; // Этот ключ будет существовать только в рамках текущей отработки скрипта, в сессию он не запишется и при следующем выполнении его не будет
    sleep(5); // Блокировки сейчас нет - соседний скрипт с session_start отработает
    
    session_start(); // Переоткрываем сессию
    $_SESSION["var3"] = 3; // Этот ключ будет записан в сессию
    sleep(5); // Блокировка сейчас тоже действует
    session_write_close(); // Блокировка снимается
  • CentOs + nginx + php-fpm + MySQL - как разрешить выполнение нескольких параллельных запросов от одного клиента?

    @o_0 Автор вопроса
    nginx.conf
    user              nginx;
    worker_processes  4;
    error_log  /var/log/nginx/error.log;
    
    pid        /var/run/nginx.pid;
    
    events {
        worker_connections  2048;
    }
    
    http {
        include       /etc/nginx/mime.types;
        default_type  application/octet-stream;
    
        log_format  main  '[[$http_host]] $remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';
    
        access_log  /var/log/nginx/access.log  main;
        error_log  /var/log/nginx/error.log;
    
        sendfile        on;
        tcp_nopush      on;
        tcp_nodelay     on;
        server_tokens   off;
        
        gzip            on;
        gzip_static     on;
        gzip_comp_level 5;
        gzip_min_length 2048;
        #gzip_types      text/plain text/xml application/xml application/x-javascript text/javascript text/css text/json;
    
        gzip_types      application/x-javascript text/javascript text/css text/json;
        gzip_proxied    any;
        gzip_disable    "msie6";
        gzip_vary on;
        
        keepalive_timeout  0;
        fastcgi_intercept_errors on;
        fastcgi_cache_path /var/cache/nginx levels= keys_zone=merge:20m;
        client_max_body_size 100m;
        
        include /etc/nginx/conf.d/*.conf;
    	include /var/www/vhosts/nginx_conf/*.conf;
    	
    	fastcgi_read_timeout 7200;
    	fastcgi_send_timeout 7200;
    	
    	proxy_buffering off;
    	
    }


    хост
    server {
    		
    		set $SITE_ID	domain.ru;
    		
    		listen			80;
    		server_name		*.domain.ru;
    				
    		# Корень сайта
    		set $web_root	/var/www/vhosts/$SITE_ID;
    		root		$web_root;
    		index		index.html index.htm index.php generator.php;
    		
    		charset		utf8;
    
    		access_log	/var/www/vhosts/domain.ru/logs/access.log;
    		error_log	/var/www/vhosts/domain.ru/logs/error.log;
    		
    		location ~ /\.ht { deny all; }
    		location ~* (\.ini)$ { deny all; }
    
    		location ~ \.php$ {
    			fastcgi_pass	unix:/var/run/php-fpm/php-fpm.sock;
    			fastcgi_index	index.php;
    			fastcgi_param	SCRIPT_FILENAME  $web_root$fastcgi_script_name;
    			include			fastcgi_params;
    		}
    
    		location ~* ^.+\.(jpg|jpeg|gif|css|png|js|ico|pdf|flv|doc|xls)$ {
    			access_log		off;
    			expires			30d;
    		}
    
    		location / {
    			add_header		Cache-Control  public;
    			expires			max;
    			try_files		$uri  $uri/  @rewrite;
    		}
    		
    		location @rewrite {
    			fastcgi_pass	unix:/var/run/php-fpm/php-fpm.sock;
    			fastcgi_index	generator.php;
    			fastcgi_param	SCRIPT_FILENAME  $web_root/generator.php;
    			fastcgi_param	SCRIPT_NAME  /generator.php;
    			include			fastcgi_params;		
    		}
    	}


    php-fpm.d/www.conf
    ; Start a new pool named 'www'.
    [www]
    
    ; The address on which to accept FastCGI requests.
    ; Valid syntaxes are:
    ;   'ip.add.re.ss:port'    - to listen on a TCP socket to a specific address on
    ;                            a specific port;
    ;   'port'                 - to listen on a TCP socket to all addresses on a
    ;                            specific port;
    ;   '/path/to/unix/socket' - to listen on a unix socket.
    ; Note: This value is mandatory.
    ; listen = 127.0.0.1:9000
    listen = '/var/run/php-fpm/php-fpm.sock'
    
    ; Set listen(2) backlog. A value of '-1' means unlimited.
    ; Default Value: -1
    ;listen.backlog = -1
     
    ; List of ipv4 addresses of FastCGI clients which are allowed to connect.
    ; Equivalent to the FCGI_WEB_SERVER_ADDRS environment variable in the original
    ; PHP FCGI (5.2.2+). Makes sense only with a tcp listening socket. Each address
    ; must be separated by a comma. If this value is left blank, connections will be
    ; accepted from any ip address.
    ; Default Value: any
    listen.allowed_clients = 127.0.0.1
    
    ; Set permissions for unix socket, if one is used. In Linux, read/write
    ; permissions must be set in order to allow connections from a web server. Many
    ; BSD-derived systems allow connections regardless of permissions. 
    ; Default Values: user and group are set as the running user
    ;                 mode is set to 0666
    ;listen.owner = nobody
    ;listen.group = nobody
    ;listen.mode = 0666
    
    ; Unix user/group of processes
    ; Note: The user is mandatory. If the group is not set, the default user's group
    ;       will be used.
    ; RPM: apache Choosed to be able to access some dir as httpd
    user = nginx
    ; RPM: Keep a group allowed to write in log dir.
    group = nginx
    
    ; Choose how the process manager will control the number of child processes.
    ; Possible Values:
    ;   static  - a fixed number (pm.max_children) of child processes;
    ;   dynamic - the number of child processes are set dynamically based on the
    ;             following directives:
    ;             pm.max_children      - the maximum number of children that can
    ;                                    be alive at the same time.
    ;             pm.start_servers     - the number of children created on startup.
    ;             pm.min_spare_servers - the minimum number of children in 'idle'
    ;                                    state (waiting to process). If the number
    ;                                    of 'idle' processes is less than this
    ;                                    number then some children will be created.
    ;             pm.max_spare_servers - the maximum number of children in 'idle'
    ;                                    state (waiting to process). If the number
    ;                                    of 'idle' processes is greater than this
    ;                                    number then some children will be killed.
    ; Note: This value is mandatory.
    pm = dynamic
    
    ; The number of child processes to be created when pm is set to 'static' and the
    ; maximum number of child processes to be created when pm is set to 'dynamic'.
    ; This value sets the limit on the number of simultaneous requests that will be
    ; served. Equivalent to the ApacheMaxClients directive with mpm_prefork.
    ; Equivalent to the PHP_FCGI_CHILDREN environment variable in the original PHP
    ; CGI.
    ; Note: Used when pm is set to either 'static' or 'dynamic'
    ; Note: This value is mandatory.
    pm.max_children = 120
    
    ; The number of child processes created on startup.
    ; Note: Used only when pm is set to 'dynamic'
    ; Default Value: min_spare_servers + (max_spare_servers - min_spare_servers) / 2
    pm.start_servers = 6
    
    ; The desired minimum number of idle server processes.
    ; Note: Used only when pm is set to 'dynamic'
    ; Note: Mandatory when pm is set to 'dynamic'
    pm.min_spare_servers = 6
    
    ; The desired maximum number of idle server processes.
    ; Note: Used only when pm is set to 'dynamic'
    ; Note: Mandatory when pm is set to 'dynamic'
    pm.max_spare_servers = 20
     
    ; The number of requests each child process should execute before respawning.
    ; This can be useful to work around memory leaks in 3rd party libraries. For
    ; endless request processing specify '0'. Equivalent to PHP_FCGI_MAX_REQUESTS.
    ; Default Value: 0
    pm.max_requests = 800
    
    ; The URI to view the FPM status page. If this value is not set, no URI will be
    ; recognized as a status page. By default, the status page shows the following
    ; information:
    ;   accepted conn    - the number of request accepted by the pool;
    ;   pool             - the name of the pool;
    ;   process manager  - static or dynamic;
    ;   idle processes   - the number of idle processes;
    ;   active processes - the number of active processes;
    ;   total processes  - the number of idle + active processes.
    ; The values of 'idle processes', 'active processes' and 'total processes' are
    ; updated each second. The value of 'accepted conn' is updated in real time.
    ; Example output:
    ;   accepted conn:   12073
    ;   pool:             www
    ;   process manager:  static
    ;   idle processes:   35
    ;   active processes: 65
    ;   total processes:  100
    ; By default the status page output is formatted as text/plain. Passing either
    ; 'html' or 'json' as a query string will return the corresponding output
    ; syntax. Example:
    ;   http://www.foo.bar/status
    ;   http://www.foo.bar/status?json
    ;   http://www.foo.bar/status?html
    ; Note: The value must start with a leading slash (/). The value can be
    ;       anything, but it may not be a good idea to use the .php extension or it
    ;       may conflict with a real PHP file.
    ; Default Value: not set 
    pm.status_path = /fpm-status-jeifjgpe
     
    ; The ping URI to call the monitoring page of FPM. If this value is not set, no
    ; URI will be recognized as a ping page. This could be used to test from outside
    ; that FPM is alive and responding, or to
    ; - create a graph of FPM availability (rrd or such);
    ; - remove a server from a group if it is not responding (load balancing);
    ; - trigger alerts for the operating team (24/7).
    ; Note: The value must start with a leading slash (/). The value can be
    ;       anything, but it may not be a good idea to use the .php extension or it
    ;       may conflict with a real PHP file.
    ; Default Value: not set
    ;ping.path = /ping
    
    ; This directive may be used to customize the response of a ping request. The
    ; response is formatted as text/plain with a 200 response code.
    ; Default Value: pong
    ;ping.response = pong
     
    ; The timeout for serving a single request after which the worker process will
    ; be killed. This option should be used when the 'max_execution_time' ini option
    ; does not stop script execution for some reason. A value of '0' means 'off'.
    ; Available units: s(econds)(default), m(inutes), h(ours), or d(ays)
    ; Default Value: 0
    ;request_terminate_timeout = 0
     
    ; The timeout for serving a single request after which a PHP backtrace will be
    ; dumped to the 'slowlog' file. A value of '0s' means 'off'.
    ; Available units: s(econds)(default), m(inutes), h(ours), or d(ays)
    ; Default Value: 0
    ;request_slowlog_timeout = 0
     
    ; The log file for slow requests
    ; Default Value: not set
    ; Note: slowlog is mandatory if request_slowlog_timeout is set
    slowlog = /var/log/php-fpm/www-slow.log
     
    ; Set open file descriptor rlimit.
    ; Default Value: system defined value
    ;rlimit_files = 1024
     
    ; Set max core size rlimit.
    ; Possible Values: 'unlimited' or an integer greater or equal to 0
    ; Default Value: system defined value
    ;rlimit_core = 0
     
    ; Chroot to this directory at the start. This value must be defined as an
    ; absolute path. When this value is not set, chroot is not used.
    ; Note: chrooting is a great security feature and should be used whenever 
    ;       possible. However, all PHP paths will be relative to the chroot
    ;       (error_log, sessions.save_path, ...).
    ; Default Value: not set
    ;chroot = 
     
    ; Chdir to this directory at the start. This value must be an absolute path.
    ; Default Value: current directory or / when chroot
    ;chdir = /var/www
     
    ; Redirect worker stdout and stderr into main error log. If not set, stdout and
    ; stderr will be redirected to /dev/null according to FastCGI specs.
    ; Default Value: no
    ;catch_workers_output = yes
     
    ; Limits the extensions of the main script FPM will allow to parse. This can
    ; prevent configuration mistakes on the web server side. You should only limit
    ; FPM to .php extensions to prevent malicious users to use other extensions to
    ; exectute php code.
    ; Note: set an empty value to allow all extensions.
    ; Default Value: .php
    ;security.limit_extensions = .php .php3 .php4 .php5
    
    ; Pass environment variables like LD_LIBRARY_PATH. All $VARIABLEs are taken from
    ; the current environment.
    ; Default Value: clean env
    ;env[HOSTNAME] = $HOSTNAME
    ;env[PATH] = /usr/local/bin:/usr/bin:/bin
    ;env[TMP] = /tmp
    ;env[TMPDIR] = /tmp
    ;env[TEMP] = /tmp
    
    ; Additional php.ini defines, specific to this pool of workers. These settings
    ; overwrite the values previously defined in the php.ini. The directives are the
    ; same as the PHP SAPI:
    ;   php_value/php_flag             - you can set classic ini defines which can
    ;                                    be overwritten from PHP call 'ini_set'. 
    ;   php_admin_value/php_admin_flag - these directives won't be overwritten by
    ;                                     PHP call 'ini_set'
    ; For php_*flag, valid values are on, off, 1, 0, true, false, yes or no.
    
    ; Defining 'extension' will load the corresponding shared extension from
    ; extension_dir. Defining 'disable_functions' or 'disable_classes' will not
    ; overwrite previously defined php.ini values, but will append the new value
    ; instead.
    
    ; Default Value: nothing is defined by default except the values in php.ini and
    ;                specified at startup with the -d argument
    ;php_admin_value[sendmail_path] = /usr/sbin/sendmail -t -i -f www@my.domain.com
    ;php_flag[display_errors] = off
    php_admin_value[error_log] = /var/log/php-fpm/www-error.log
    php_admin_flag[log_errors] = on
    ;php_admin_value[memory_limit] = 32M

    (практически фабричный)
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса

    Проблема решилась, итог такой - на работу Buffer Pool сильно влияет общее количество innodb-таблиц. Оставили на машине только нужные таблицы, справочные таблицы перевели на MyISAM, в итоге буфер устаканился и больше не вываливался, всё начало работать, как часы.

  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    key_buffer_size — полтора гига

    Используем, есть совсем большая таблица полигонов, оно для этого.
    Но, как я понимаю, на InnoDB это может влиять только со стороны размера памяти под этот key_buffer_size, и больше никак.

    у вас наверное вся база в одном файле

    Да, так.
    Не делим на файлы пока только потому, что явной необходимости не было, а дамп/раздамп займёт немало времени.
    О денормализации думаем, но пока нет понимания текущей ситуации, браться за такое не хотелось бы.
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    Удалось, но см. ответ выше.

    Здесь у меня как раз всплывает ещё один вопрос — habrahabr.ru/qa/49454/#comment_232158
    На дев-сервере, где тестируется всё это дело, есть ещё несколько БД с InnoDB-таблицами, которые просто не используются.
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    У нас около 40 полей, участвующих в поиске, плюс сложные сортировки, поэтому совсем уйти от Using where не выйдет точно (после сортировок и флажков состояний от лимита составного индекса в 16 штук остаётся не так много).
    Сама ситуация нахождения таблицы в памяти, в принципе, не проблема — её должно хватать на все таблицы (правда, есть сомнение, что количество памяти, требуемое под таблицу в пуле не совсем равно размеру таблицы на диске, и если это так, неплохо бы знать формулу расчета).
    Проблема уже не в конкретных запросах.
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    как это делается?

    SELECT COUNT(*) FROM table WHERE key_start_field = 'smth'
    

    что такое покрывающие индексы?

    dev.mysql.com/doc/innodb/1.1/en/glossary.html#glos_covering_index

    Индекс может выкинуть из памяти какой-нибудь запрос, который читает все данные (работая без индекса), если, конечно, памяти мало.

    Таких нет. Памяти 8Гб, буферу отдано 5Гб.
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    Кстати, ещё вопрос — имеет ли какое-то значение общее количество InnoDB-таблиц для Buffer Pool, даже если с ними вообще ничего не происходит?
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    my.cnf

    key_buffer_size = 1536M
    sort_buffer_size = 2M
    read_rnd_buffer_size = 2M
    #record_rnd_buffer = 8M
    myisam_sort_buffer_size = 256M
    max_allowed_packet = 16M
    thread_stack = 512K
    tmp_table_size = 256M
    max_heap_table_size = 3072M
    group_concat_max_len = 1048576
    read_buffer_size = 1M
    join_buffer_size = 1M
    max_prepared_stmt_count = 32K
    lower_case_table_names = 1
    ft_min_word_len = 2
    
    connect_timeout = 30
    delayed_insert_timeout = 600
    innodb_lock_wait_timeout = 200
    interactive_timeout = 57600
    net_read_timeout = 90
    net_write_timeout = 120
    slave_net_timeout = 3600
    wait_timeout = 57600
    
    myisam-recover = BACKUP
    max_connections = 600
    table_cache = 450
    
    query_cache_limit = 512k
    
    innodb_flush_log_at_trx_commit=0
    innodb_flush_method = O_DIRECT
    transaction-isolation=READ-COMMITTED
    innodb_additional_mem_pool_size = 20M
    innodb_buffer_pool_size = 5120M
    innodb_log_buffer_size = 16M
    
    thread_cache = 32
    thread_cache_size = 32
    query_cache_size = 512M


    Оперативки 8Гб.
    Буфер, вот, 5120М.
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    Насчет индексов в памяти я уверен потому, что специально это проверял.
    Делал вычитку только индексов сразу после перезагрузки сервера.
    Любой следующий запрос, использующий не только покрывающие индексы, вызывал вычитку таблицы.

    Я всегда считал, что в оперативной памяти должны быть все индексы, а не вся таблица.

    В InnoDB всё-таки есть Buffer Pool.

    А во время простоя запросы к другим таблицам не делаете?

    Если только немногочисленные, но таких сравнимо больших таблиц больше нет.

    Есть ли таблицы с огромными блобами

    1Гб и 1млн. записей означает, что грубо говоря на одну строку приходится 1Кб данных, распределение равномерное.
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    А какие там преимущества?
  • InnoDB Buffer Pool и его стабильность

    @o_0 Автор вопроса
    А если сделать костыль с периодическим warm up таблицы по крону?
  • Лучший способ организации GeoIP на сайте?

    @o_0 Автор вопроса
    Пробовал. Ошибается, и часто не может сказать вообще ничего по нужному IP.
  • Лучший способ организации GeoIP на сайте?

    @o_0 Автор вопроса
    >2. Зависит от актуальности базы выбранного Вами сервиса
    А есть механизм перетекания IP-пулов из одной локации в другую?
    Насколько реально часто такое происходит?

    >ipinfodb.com/ip_location_api.php
    А проверялась корректность определения? Точно не глючит, не отправляет москвичей в Сыктывкар, хоть бы даже иногда? По своему опыту заметил, попробовав ряд различных сервисов, что нет-нет, да и бывают такие неприятные сбои.
  • Лучший способ организации GeoIP на сайте?

    @o_0 Автор вопроса
    Да, пробовал эту штуку — это только лишь Javascript API, и для серверных, полноценных GeoIP-нужд, малополезно. Разве только организовать XHR-взаимодействие с отправкой на сервер после определения, но потеряется целый шаг. Ну да, можно обдумать варианты, но в целом — всё-таки костыли.