I/O模型与Nginx详细配置、优化

I/O：

I/O类型：

同步和异步：synchronous, asyncronous

关注的是消息通知机制，即被调用者如何把消息通知给调用者

 

同步：调用发出之后不会立即返回消息，但一旦返回，则返回即是最终结果；

异步：调用发出之后，被调用方立即返回消息，但返回的并非最终结果；被调用者通过状态、通知机制等来通知调用者，或通过回调函数来处理结果；

 

阻塞和非阻塞：block, nonblock

关注的是调用者等待被调用者返回调用结果时的状态

 

阻塞：调用结果返回之前，调用者会被挂起；调用者只有在得到返回结果之后才能继续；

非阻塞：调用者在结果返回之前，不会被挂起，即调用不会阻塞调用者；

 

I/O模型：

例如：一次读请求操作

(1) 等待数据准备好：从磁盘到内核内存；

(2) 从内核内存复制到进程内存；

 

blocking IO：阻塞式IO

调用者发送请求后，就被挂起，等待数据从磁盘到内核内存，并等待从内核内存复制到进程内存，最后返回数据，完成一次I/O；

nonblocking IO：非阻塞IO

调用者发送请求后，不被挂起，但需要不断的想内核询问，直到数据从磁盘到内核内存；但在等待从内核内存复制到进程内存时，被挂起，直到返回数据，完成一次I/O

IO multiplexing：复用型IO

select(), poll()

调用者发送请求后，就被挂起，等待在数据从磁盘到内核内存，但是阻塞在select上，而不是内核上，select还可以接收其他I/O请求；但第二阶段还是阻塞的，阻塞在自己的调用上，而不是select上

signal driven IO：事件驱动式IO

通知：

水平触发：多次通知；

边缘触发：只通知一次；

调用者发送请求后，不会被挂起，而数据从磁盘到内核内存完成后会通知调用者；但第二阶段还是阻塞的

asynchronous IO：异步IO

调用者发送请求后，不会被挂起，而是在所有阶段都已完成后会通知调用者

web服务器要处理两路I/O：网络I/O [ 通过内核接收用户请求 ]和磁盘I/O [ 通过内核向磁盘发出请求 ]

 

Nginx:

Nginx: engine X

Tengine  nginx淘宝的二次开发版

 

Nginx特性：

模块化设计、较好的扩展性；

nginx不支持动态装卸载而Tengine支持

高可靠

使用主控进程master+工作进程worker组成，master不负责处理用户请求而是启动一个worker，并将用户请求交个一个worker去处理

低内存消耗

一个线程响应多个请求

10000个keep-alive模式下的connection，仅需要2.5MB的内存；

支持热部署

不停机而更新配置文件、日志文件滚动、升级程序版本；

 

支持事件驱动event、异步I/O[AIO]、内存映射[mmap]；

 

基本功能：

静态资源的web服务器，能缓存打开的文件描述符；

http、smtp、pop3协议的反向代理服务器；

缓存加速、负载均衡；

支持FastCGI(fpm, LNMP), uWSGI(Python)等；

模块化(非DSO机制)、过滤器zip、SSI及图像的大小调整；

支持SSL；

 

扩展功能：

基于名称和IP的虚拟主机；

支持keepalive

支持平滑升级

定制访问日志、支持使用日志缓冲区提供日志存储性能；

支持url rewrite

支持路径别名

支持基于IP及用户的访问控制

支持速率限制，支持并发数限制

 

Nginx的基本架构：

一个master进程，生成一个或多个worker进程；

事件驱动：epoll(默认使用边缘触发)

I/O复用器支持：select, poll, rt signal

支持sendfile, sendfile64：磁盘从内核空间直接构建响应报文发送，而不再经过用户空间。

支持异步I/O [ AIO ]

支持内存映射[mmap]

 

nginx的工作模式：非阻塞、事件驱动、由一个master进程生成多个worker线程，每个worker响应n个请求；

支持的并发连接数：worker * n，但是受限于套接字数量[65535]限制

 

模块类型：

核心模块

Standard HTTP modules 标准的HTTP协议模块

Optional HTTP modules 可选的HTTP协议模块

Mail modules 邮件模块

3rd party modules 第三方模块

 

安装方法：

源码：编译安装

制作好的程序包：rpm包，在epel源中

 

编译安装：

# useradd -r nginx

# ./configure –prefix=/usr/local/nginx –conf-path=/etc/nginx/nginx.conf –user=nginx –group=nginx –error-log-path=/var/log/nginx/error.log –http-log-path=/var/log/nginx/access.log –pid-path=/var/run/nginx/nginx.pid –lock-path=/var/lock/nginx.lock –with-http_ssl_module –with-http_stub_status_module –with-http_gzip_static_module –with-http_flv_module –with-http_mp4_module –http-client-body-temp-path=/var/tmp/nginx/client –http-proxy-temp-path=/var/tmp/nginx/proxy –http-fastcgi-temp-path=/var/tmp/nginx/fastcgi –http-uwsgi-temp-path=/var/tmp/nginx/uwsgi

# make && make install

# mkdir -pv /var/tmp/nginx/{client,proxy,fastcgi,uwsgi}

 

 

–prefix=/usr/local/nginx	指定安装路径
–conf-path=/etc/nginx/nginx.conf	指定配置文件生成路径
–user=nginx	指定运行时以哪个用户的身份运行
–group=nginx	设置工作组
–error-log-path=/var/log/nginx/error.log	设置错误日志位置
–http-log-path=/var/log/nginx/access.log	设置访问日志位置
–pid-path=/var/run/nginx/nginx.pid	设置pid文件位置
–lock-path=/var/lock/nginx.lock	设置锁文件位置
–with-http_ssl_module	支持https
–with-http_stub_status_module	支持server-status状态页查看
–with-http_gzip_static_module	支持gzip压缩
–with-http_flv_module	支持流媒体
–with-http_mp4_module	支持MP4
–http-client-body-temp-path=/var/tmp/nginx/client	指定客户端临时的body目录
–http-proxy-temp-path=/var/tmp/nginx/proxy	指定临时的proxy目录
–http-fastcgi-temp-path=/var/tmp/nginx/fastcgi	指定临时的fastcgi目录
–http-uwsgi-temp-path=/var/tmp/nginx/uwsgi	指定临时的uwsgi目录
–with-debug	支持调试模式

 

设置环境变量

# vim /etc/profile.d/nginx.sh

export PATH=’/usr/local/nginx/sbin’:$PATH

# . /etc/profile.d/nginx.sh

 

启动：nginx

  若设置环境变量就用这种启动/usr/local/nginx/sbin/nginx

新改动配置生效的方式：nginx -s reload

支持的参数

nginx -s reload | stop| quit |reopen

 

 

配置文件：

官方文档：http://nginx.org/en/docs/ngx_core_module.html

 

main配置段：全局配置段

event{}： 定义event模型工作特性

http {} : 定义http协议相关的配置

 

配置指令：要以分号结尾，语法格式：

directive value1 [value2…]

 

支持使用变量：

内置变量

自定义变量：

set var_name value

 

主配置段的指令：

用于调试、定位问题

正常运行必备的配置

优化性能的配置

事件相关的配置

 

 

main主配置段的指令：

正常运行的必备配置：

 

1、user USERNAME [GROUPNAME];

指定运行worker进程的用户和组；若在编译安装时指定，会被注释用默认指定的用户

user nginx nginx;

 

2、pid /path/to/pid_file;

指定nginx守护进程的pid文件；

pid /var/run/nginx/nginx.pid;

 

3、worker_rlimit_nofile #;

指定所有worker进程所能够打开的最大文件数；需要手动添加这一行一般设为51200，

 

性能优化相关的配置：

 

1、worker_processes #;

worker进程的个数；通常应该略少于CPU物理核心数；总核心数-1或-2

 

2、worker_cpu_affinity   cpumask  …;

将工作进程绑定到cpu的设置

优点：提升缓存的命中率；

cpumask：

假设一共有四颗cpu，表示方法，超过8颗使用更多的位数

cpu1：0000 0001

cpu2：0000 0010

cpu3：0000 0100

cpu4：0000 1000

 

worker_cpu_affinity 00000001 00000010 00000100;

 

3、timer_resolution

计时器解析度；若对时间解析度要求不高应降低此值，可减少gettimeofday()系统调用的次数；此值越高，精准度越高，消耗的资源越高；反之，越低

timer_resolution 100ms

 

4、worker_priority number

指明worker进程的优先级，使用的是nice值；

-20, 19

worker_priority number -10

 

事件相关的配置：

1、accept_mutex {off|on};

master调度用户请求至各worker进程时使用的负载均衡锁；on表示能让多个worker轮流地、序列化地去响应新请求；

应启用：accept_mutex on;

 

2、lock_file file;

accept_mutex互斥锁用到的锁文件路径；

 

3、use [epoll|rtsig|select|poll];

指明使用的事件模型；建议让Nginx自行选择；

 

4、worker_connections #;

设定单个worker进程所能够处理的最大并发连接数量；

一般设为：worker_connections 51200;

 

所能接收的并发数为worker_connections * work_processes，若这个值大于65535就不会有效了

 

用户于调试、定位问题：

必须编译时–with-debug才可以使用

1、daemon {on|off};

是否以守护进程方式运行nginx；调试时应该设置为Off，就会把调试信息输出到前台;

 

2、master_process {on|off};

是否以master/worker模型来运行nginx; 调试时可以设置为off;

 

3、error_log file | stderr | syslog:server=address[,parameter=value] | memory:size [debug | info | notice | warn | error | crit | alert | emerg];

error_log 位置 级别;        级别可以省略，使用默认级别

error_log  /var/log/nginx/err.log

若要使用debug级别，需要在编译nginx时使用了–with-debug选项；

 

总结：常需要进行调整的参数

worker_processes, worker_connections, worker_cpu_affinity, worker_priority

 

 

Nginx作为web服务器时使用的配置：

http {}：由ngx_http_core_module模块所引入；

 

配置框架：

http {

upstream {

…

}

 

server {

location  URL {

root “/path/to/somedir”;

…

}

# 类似于httpd中的<Location>，用于定义URL与本地文件系统的映射关系；

location URL {

if … {

…

}

}

}

# 每个server类似于httpd中的一个<VirtualHost>;

server {

…

}

 

}

 

注意：与http相关的指令仅能够放置于http、server、location、upstream、if上下文，但有些指令仅应用于这5种上下文中的某些种；

 

配置指令：

1、server {}

定义一个虚拟主机；

 

    server {

//监听IP和端口,ip可以省略listen 80

        listen 172.16.37.10:80;

//主机名称

        server_name www.lixin.com;

//设置访问日志位置 和 日志格式

        access_log /var/log/nginx/access.log combined;

 

        location /{

//设置html页面存放位置

root /web;

//设置默认首页文件，从左到右，若找不到index.html就去找index.htm

index index.html index.htm

        }

     }                                

 

2、server_name NAME […];

后可跟多个主机；名称还可以使用正则表达式(~)或通配符；

 

(1) 先做精确匹配检查；

(2) 左侧通配符匹配检查：*.lixin.com

(3) 右侧通配符匹配检查：如mail.*

(4) 正则表达式匹配检查：如 ~^.*\.lixin\.com$

(5) default_server；

 

 

server {

server_name www.lixin.com;

}

 

server {

server_name *.lixin.com;

}

 

server {

server_name mail.*

}

 

3、location [ = | ~ | ~* | ^~ ] uri { … }

功能：允许根据用户请求的URI来匹配定义的各location；匹配到时，此请求将被相应的location配置块中的配置所处理，例如做访问控制等功能；

 

=：精确匹配检查；

^~：URI的前半部分匹配，不支持正则表达式；

~: 正则表达式模式匹配检查，区分字符大小写；

~*: 正则表达式模块匹配检查，不区分字符大小写；

 

匹配的优先级：精确匹配(=)、^~、~、~*、不带任何符号的location；

 

server {

listen 80;

server_name www.lixin.com;

location / {

root “/vhosts/web1”;

}

 

location /bbs/ {

             root   /;

             index  index.html index.htm;

}

 

location ~*/bbs {

root “/”;

}

}

 

http://www.lixin.com/index.html   –>  /vhosts/web1/index.html

http://www.lixin.com/bbs/index.html   –> /bbs/index.html 匹配到第3个location，以表示把http://www.lixin.com/bbs/ 当做 /

 

 

4、alias path;

用于location配置段，定义路径别名

 

location /p_w_picpaths/ {

root “/vhosts/web1”;

}

http://www.lixin.com/p_w_picpaths/a.jpg —>/vhosts/web1/p_w_picpaths/a.jpg

 

location /p_w_picpaths/ {

alias “/www/pictures”;

}

http://www.lixin.com/p_w_picpaths/a.jpg —>/www/picuter/a.jpg

 

注意：root表示指明路径为对应的location “/” URL; alias表示路径映射，即location指令后定义的URL是相对于alias所指明的路径而言；

 

5、error_page code […] [=code] URI | @name

根据http响应状态码来指明特用的错误页面；

 

error_page 404 /404_customed.html

 

[=code]：以指定的响应码进行响应，而不是默认的原来的响应；默认表示以新资源的响应码为其响应码；

 

6、基于IP的访问控制

allow IP/Network;

deny IP/Network;

例：

allow 172.16.0.0/16;

deny all;

7、基于用户的访问控制

auth_basic “显示提示信息“;

auth_basic_user_file “/PATH/TO/PASSWORD_FILE”;

账号密码文件建议使用htpasswd来创建；

例：

auth_basic “Input passwd”;

auth_basic_user_file /usr/local/nginx/.htpasswd;

htpasswd -c /usr/local/nginx/.htpasswd lx

 

8、https服务

 

生成私钥，生成证书签署请求，并获得证书；

 

    server {

        listen       443 ssl;

        server_name  www.lixin.com;

 

        ssl_certificate      /etc/nginx/ssl/nginx.crt;

        ssl_certificate_key  /etc/nginx/ssl/nginx.key;

 

        ssl_session_cache    shared:SSL:1m;

        ssl_session_timeout  5m;

 

        ssl_ciphers  HIGH:!aNULL:!MD5;

        ssl_prefer_server_ciphers  on;

 

        location / {

            root   /vhosts/web1;

            index  index.html index.htm;

        }

    }                                        

 

9、stub_status {on|off};

开启状态页

仅能用于location上下文；

 

        location /status {

            stub_status on;

            allow 172.16.0.0/16;

            deny all;

        }

 

结果示例：                

Active connections: 6   # 当前所有处于打开状态的连接数；

server accepts handled requests 

 241 241 431

 (1) 已经接受过的连接数

 (2) 已经处理过的连接数

 (3) 已经处理过的请求数；在“保持连接”模式下，请求数量可能会多于连接数量；

Reading: 0 Writing: 1 Waiting: 5         

Reading：正处于接收请求状态的连接数；

Writing: 请求已经接收完成，正处于处理请求或发送响应的过程中的连接数；

Waiting：保持连接模式，且处于活动状态的连接数；

 

10、URL重写

语法：rewrite 正则表达式 替换 flag;

例如：

…

rewrite ^/p_w_picpaths/(.*\.jpg)$ /imgs/$1 break;

rewrite ^/imgs/(.*\.jpg)$ /p_w_picpaths/$1 break;

….

 

http://www.lixin.com/p_w_picpaths/a/b/c/1.jpg –> http://www.lixin.com/imgs/a/b/c/1.jpg

 

flag:

last：一旦此rewrite规则重写完成后，就不再被后面其它的rewrite规则进行处理；而是由User Agent重新对重写后的URL再一次发起请求，并从头开始执行类似的过程

break：一旦此rewrite规则重写完成后，由User Agent对新的URL重新发起请求，且不再会被当前locatrion内的任何rewrite规则所检查；

redirect：以302响应码（临时重定向）返回新的URL；

permanent：以301响应码（永久重定向）返回新的URL；

 

11、if

语法：if (condition) {…}

应用环境：server, location

 

condition：

(1) 变量名；

变量值为空串，或者以“0”开始，则为false；其它的均为true;

(2) 以变量为操作数构成的比较表达式

可使用=, !=类似的比较操作符进行测试；

(3) 正则表达式的模式匹配操作

~: 区分大小写的模式匹配检查

~*: 不区分大小写的模式匹配检查

!~和!~*：对上面两种测试取反

(4) 测试路径为文件可能性：-f, !-f

(5) 测试指定路径为目录的可能性：-d, !-d

(6) 测试文件的存在性：-e, !-e

(7) 检查文件是否有执行权限：-x, !-x

 

例如：

if ($http_user_agent ~* MSIE) {

rewrite ^(.*)$ /msie/$1 break;

}

 

12、防盗链

location ~* \.(jpg|gif|jpeg|png)$ {

# 允许www.lixin.com这个网站对这些种类图片的引用是合法的

valid_referer none blocked www.lixin.com;    

# $invalid_referer表示除了上面定义的合法的引用，其他都被归为$invalid_refere这个不合法的引用

if ($invalid_referer) {

rewrite ^/ http://www.lixin.com/403.html;

}

}

 

13、自定义访问日志格式

    log_format  main  ‘$remote_addr – $remote_user [$time_local] “$request” ‘

                      ‘$status $body_bytes_sent “$http_referer” ‘

                      ‘”$http_user_agent” “$http_x_forwarded_for”‘;

 

    access_log  logs/access.log  main;

 

注意：此处可用变量为nginx各模块内建变量；

 

网络连接相关的配置：

1、keepalive_timeout #;

长连接的超时时长，默认75s;

 

2、keepalive_requests #;

在一个长连接上所能够允许请求的最大资源数；

 

3、keepalive_disable [msie6|safari|none];

为指定类型的User Agent禁用长连接；

 

4、tcp_nodelay on|off;

是否对长连接使用TCP_NODELAY选项；

 

5、client_header_timeout #;

读取http请求报文首部的超时时长；

 

6、client_body_timeout #;

读取http请求报文body部分的超时时长；

 

7、send_timeout #;

发送响应报文的超时时长；

 

fastcgi的相关配置：

LNMP：php启用fpm模型；

location ~ \.php$ {

    root           /var/www/html;

    fastcgi_pass   127.0.0.1:9000;

    fastcgi_index  index.php;

    fastcgi_param  SCRIPT_FILENAME /var/www/html$fastcgi_scri    pt_name;

   # fastcgi_params在/etc/nginx/下  ，若编译时没指定配置文件则在/usr/local/nginx/conf/下

    include        fastcgi_params;  

}