首页 > 技术文章 > 关于页面502的一次排查

chanAndy 2016-03-22 20:38 原文

一、场景: 系统 Deepin 15;php 5.5.33;nginx 1.9.9

二、状况: 简单的页面输出正常(比如 phpinfo();),跑公司的任何一个项目,均502

三、排查

1、查询各种日志,包括 nginx.error.log、php_error.log、php-fpm.error.log,找到php-fpm报错如下

[22-Mar-2016 11:06:32] WARNING: [pool www] child 3665 exited with code 127 after 24.657496 seconds from start
[22-Mar-2016 11:06:32] NOTICE: [pool www] child 3676 started

2、最开始以为是由php-fpm进程数不足引起,便对php-fpm.ini做出如下修改

     (这一步和网上很多的解决方案相同,但是没有效果)

pm.max_children = 20
pm.start_servers = 10
pm.min_spare_servers = 10
pm.max_spare_servers = 20
pm.process_idle_timeout = 10s
pm.max_requests = 500

3、经过大量查询,有说是Linux文件句柄数不足

     (忘记保留url和改动的地方,经过一番折腾也没有效果)

4、回归 php-fpm.error.log,通过 exited with code 127 查到

     (http://www.faqs.org/docs/abs/HTML/exitcodes.html

     

5、基于上一步才想起用 strace 来跟踪 php-fpm进程,方法分两种

     (其实这一步早该尝试,Rango http://rango.swoole.com/archives/340

     5.1、把php-fpm的进程数限制设置为1,然后直接 strace -p 123456 进行跟踪单个进程

     5.2、直接使用下面的命令批量跟踪进程

ps -ef | grep fpm | awk '{print "-p " $2}' | xargs strace

    由于出问题的是自己的机子,没有其他人访问,所以使用第二个方法进行跟踪,部分结果如下

[pid  6744] fstat(5, {st_mode=S_IFREG|0644, st_size=5016, ...}) = 0
[pid  6744] mmap(NULL, 5016, PROT_READ, MAP_SHARED, 5, 0) = 0x7f132588f000
[pid  6744] munmap(0x7f132588f000, 5016) = 0
[pid  6744] close(5)                    = 0
[pid  6744] writev(2, [{"php-fpm: pool www", 17}, {": ", 2}, {"symbol lookup error", 19}, {": ", 2}, {"/usr/local/php/lib/php/extension"..., 71}, {": ", 2}, {"undefined symbol: mmc_queue_pop", 31}, {"", 0}, {"", 0}, {"\n", 1}], 10) = 145
[pid  6744] exit_group(127)             = ?

    定为到报错信息 undefined symbol: mmc_queue_pop

6、既然是 memcache 扩展报错,便开始折腾,从基本编译命令开始

cd /data/memcache-3.0.8/
/usr/local/php/bin/phpize ./configure --with-php-config=/usr/local/php/bin/php-config
#sudo make clean #但存在多次编译安装时,最好都进行清除 sudo make sudo make install

     仔细查找,发现 ./configure 报了个 WARNING

configure: WARNING: You will need re2c 0.13.4 or later if you want to regenerate PHP parsers.

     于是开始补齐 re2c,并重新编译 memcache,重启 php-fpm,然而依旧报错

7、最后找到一篇文章,提及“我的memcache原来是从官网下的beta版,重新下载一个stable版本编译安装一下问题就OK了”

     而我用的正是beta版的 memcache-3.0.8,于是马上下载stable版的 memcache-2.2.7 重新编译,问题成功解决。

     (http://www.phpjiayuan.com/77/433.html

四、特别申明:此文章所提及的东西,部分来自某开发群的大神们,在此鸣谢!

五、后记:此问题是不是只存在于 php 5.5.33 + memcache-3.0.8(beta),有待后续跟进

推荐阅读