502高负载下的网关错误(nginx/php-fpm)

我在一个相当繁忙的互联网网站工作,往往得到非常大的交通高峰。在这些峰值期间,请求每秒数百页的数据,这会产生随机的502个网关错误。

现在我们在具有16个核心CPU和24GB DDR3 RAM的4x SAS 15k驱动器(raid10)的机器上运行Nginx(1.0.10)和PHP-FPM。我们还使用最新的Xcache版本。 DB位于另一台机器上,但此机器的负载非常低,并且没有问题。

在正常负载下,一切运行完美,系统负载低于1,并且PHP-FPM状态报告从来没有真的一次显示超过10个活动进程。总是有大约10GB的ram仍然可用。在正常负载下,该机器每秒处理大约100次网页浏览。

当流量的巨大峰值到达并且从机器请求每秒数百个页面视图时,问题出现。我注意到FPM的状态报告显示多达50个活动进程,但仍然低于我们已配置的300个最大连接数。在这些峰值期间,Nginx状态报告高达5000个活动连接,而不是正常平均值1000。

操作系统信息:CentOS版本5.7(最终版)

CPU:Intel(R)Xeon(R)CPU E5620 @ 2.40GH(16核)

php-fpm.conf

daemonize = yes
listen = /tmp/fpm.sock
pm = static
pm.max_children = 300
pm.max_requests = 1000

我没有设置rlimit_files,因为据我所知,它应该使用系统默认,如果你不。

fastcgi_params(只将附加值添加到标准文件)

fastcgi_connect_timeout 60;
fastcgi_send_timeout 180;
fastcgi_read_timeout 180;
fastcgi_buffer_size 128k;
fastcgi_buffers 4 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
fastcgi_intercept_errors on;

fastcgi_pass            unix:/tmp/fpm.sock;

nginx.conf

worker_processes        8;
worker_connections      16384;
sendfile                on;
tcp_nopush              on;
keepalive_timeout       4;

Nginx通过Unix套接字连接到FPM。

sysctl.conf

net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 1
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.tcp_max_syn_backlog = 2048
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.all.log_martians = 1
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.conf.all.rp_filter=1
net.ipv4.conf.default.rp_filter=1
net.ipv4.conf.eth0.rp_filter=1
net.ipv4.conf.lo.rp_filter=1
net.ipv4.ip_conntrack_max = 100000

limits.conf

* soft nofile 65536
* hard nofile 65536

这些是以下命令的结果:

ulimit -n
65536

ulimit -Sn
65536

ulimit -Hn
65536

cat /proc/sys/fs/file-max
2390143

问题:如果PHP-FPM没有耗尽连接,负载仍然很低,并且有大量的RAM可用,在高流量期间,什么瓶颈可能导致这些随机502网关错误?

注意:默认情况下,这台机器的ulimit是1024,因为我把它改为65536我没有完全重新启动机器,因为它是一台生产机器,这将意味着太多的停机时间。

最佳答案
这应该修复…

你有:
fastcgi_buffers 4 256k;

将其更改为:
fastcgi_buffers 256 16k; // 4096k total

还设置fastcgi_max_temp_file_size 0,这将禁用缓冲到磁盘,如果回复开始优于您的fastcgi缓冲区。

转载注明原文:502高负载下的网关错误(nginx/php-fpm) - 代码日志