Nginx反向代理、负载均衡、缓存、URL重写及读写分离

2017年3月3日23:21:33 发表评论 3,154 ℃

IO复用

单进程:阻塞

多进程:每个进程响应一个请求

进程量,进程切换次数过多

每个进程的地址空间是独立,很多空间是重复的数据,所以内存使用效率较低

线程:thread

Light Weight Process

Linux 支持多少种类型的线程库?如何切换线程库?

每个线程响应一个请求:

线程依然切换:切换较之进程属于轻量级

同一个进程的线程可共享进程的诸多资源,比如打开的文件

对内存的需求较之进程略有下降

快速切换时会带来线程抖动

多进程多线程

多线程:N个请求

一个线程响应多个请求

Nginx

web服务器

反向代理

web

mail

模块化

Tengine

varnish,squid

nginx:cache(disk)

httpd:cache(disk,memory)

memcached

nginx:

server{}: 虚拟主机

location /URI/{

root "/web/htdocs"

}

httpd

<DocumentRoot>

</DocumentRoot>


<Location "/bbs">

</Location>

location[=|~|~*|^~|]uri{...}

location URI{}: 

对当前路径及子路径下的所有对象都生效

locati URI {}:

精确匹配指定的路径,不包括子路径,因此,只对当前资源生效

location ~URI{}:

location ~*URI{}:

模式匹配URI,此处的URI可使用正则表达式,~区分字符大小写,~*不区分字符大小写

location ^~URI{}:

不使用正则表达式

htpasswd :第二次不能使用-选项

Stub Status模块

已经接受连接的个数,已经处理的连接的个数,已经处理的请求的个数

reading :Nginx正在读取其首部请求的个数

writing:Nginx正在读取其主体的请求的个数、正处理着其请求的个数或者正在向其客户发送响应的个数

waiting:长连接模式的保持的连接个数

传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等。这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降。

在设计的最初阶段,nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制,nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构,并大量采用了多路复用及事件通知机制。在nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理,而每个worker可以并行处理数千个的并发连接及请求。

如果负载以CPU密集型应用为主,如SSL或压缩应用,则worker数应与CPU数相同;如果负载以IO密集型为主,如响应大量内容给客户端,则worker数应该为CPU个数的1.5或2倍。

Nginx会按需同时运行多个进程:一个主进程(master)和几个工作进程(worker),配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程,并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行,而worker、cache loader和cache manager均应以非特权用户身份运行。

主进程主要完成如下工作:

1. 读取并验正配置信息;

2. 创建、绑定及关闭套接字;

3. 启动、终止及维护worker进程的个数;

4. 无须中止服务而重新配置工作特性;

5. 控制非中断式程序升级,启用新的二进制程序并在需要时回滚至老版本;

6. 重新打开日志文件,实现日志滚动;

7. 编译嵌入式perl脚本;

worker进程主要完成的任务包括:

1. 接收、传入并处理来自客户端的连接;

2. 提供反向代理及过滤功能;

3. nginx任何能完成的其它任务;

cache loader进程主要完成的任务包括:

1. 检查缓存存储中的缓存对象;

2. 使用缓存元数据建立内存数据库;

cache manager进程的主要任务:

1. 缓存的失效及过期检验;

Nginx的配置有着几个不同的上下文:main、http、server、upstream和location(还有实现邮件服务反向代理的mail)。配置语法的格式和定义方式遵循所谓的C风格,因此支持嵌套,还有着逻辑清晰并易于创建、阅读和维护等优势。

Nginx的代码是由一个核心和一系列的模块组成, 核心主要用于提供Web Server的基本功能,以及Web和Mail反向代理的功能;还用于启用网络协议,创建必要的运行时环境以及确保不同的模块之间平滑地进行交互。不过,大多跟协议相关的功能和某应用特有的功能都是由nginx的模块实现的。这些功能模块大致可以分为事件模块、阶段性处理器、输出过滤器、变量处理器、协议、upstream和负载均衡几个类别,这些共同组成了nginx的http功能。事件模块主要用于提供OS独立的(不同操作系统的事件机制有所不同)事件通知机制如kqueue或epoll等。协议模块则负责实现nginx通过http、tls/ssl、smtp、pop3以及imap与对应的客户端建立会话。

在nginx内部,进程间的通信是通过模块的pipeline或chain实现的;换句话说,每一个功能或操作都由一个模块来实现。例如,压缩、通过FastCGI或uwsgi协议与upstream服务器通信,以及与memcached建立会话等。

LEMP:

Enginx (FastCGI) + php-fpm

location ~* \.php$ {

fastcgi_pass 127.0.0.1:9000;

}


fastcgi


Nginx配置文件

main, 

worker_process

error_log

user

group

events {

}

事件驱动相关


httpd {

}

关于http相关的配置


server {

}

虚拟主机


location URI {

directive <parameters>;

}


URI访问属性;


上下文


server {

listen 80;

server_name www.test.com;

location / {

后端服务器;

}

}

GET、POST、HEAD、PUT、TRACE、OPTIONS、CONNECTION、DELETE

nginx:

round-robin

ip_hash

least_conn

Nginx

cache:共享内存(存储键和缓存对象元数据)

磁盘空间:存储数据

proxy_cache_path: 不能定义在server{}上下文中;

缓存目录:子目录级别

proxy_cache_path /nginx/cache/first levels=1:2:1 keys_z max_size=1G;

cache_manager: LRU

WebDAV (Web-based Distributed Authoring and Versioning) 一种基于 HTTP 1.1协议的通信协议。它扩展了HTTP 1.1,在GET、POST、HEAD等几个HTTP标准方法以外添加了一些新的方法,使应用程序可直接对Web Server直接读写,并支持写文件锁定(Locking)及解锁(Unlock),还可以支持文件的版本控制。


另外常用的三种缓存:
open_log_cache:日志缓存
open_file_cache:
fastcgi_cache:

而nginx的limit限制也基于共享内存实现。

nginx: gzip

upstream phpsrvs {

server 

server

}

upstream imgsrvs {

server

server 

}

upstream staticfilesrvs {

server

server

}

location / {

root /web/htdocs;

index index.php index.html;

}

location ~* \.php$ {

fastcgi_pass http://phpsrvs;

}

location ~* "\.(jpg|jpeg|gif|png)$" {

proxy_pass http://imgsrvs;

}

rewirte: URL重写模块

if (condition) {

}

测试:

双目测试:

~, !~

=, !=

~*, !~*

if ($request_method="POST") {

}

if ($request_uri ~* "/forum") {

}

单目测试:

location /images/ {

rewrite http://172.16.100.19/images/

}

支持正则表达式:

location / {

root html;

index index.html;

rewrite "^/bbs/(.*)/images/(.*)\.jpg$" http://www.test.com/bbs/$2/images/$1.jpg last;

}

http://www.test.com/bbs/a/images/b.jpg --> http://www.test.com/bbs/b/images/a.jpg --> http://www.test.com/bbs/a/images/b.jpg

http://www.test.com/bbs/index.html --> http://www.test.com/forum/index.html

last: 本次重写完成之后,重启下一轮检查;

break: 本次重写完成之后,直接执行后续操作;

memcached: 缓存服务器,但本身无法决定缓存任何数据

一半依赖于客户端,一半依赖于服务器

set key 5 60 hello

lazy: 惰性, LRU,最近最少使用

内存缓存服务器:

48bytes

1MB

buddy system: 伙伴系统

避免内存外碎片

slab allocator: slab分配器

避免内存内碎片

memcached: 不通信分布式缓存服务器


event-driven:

libevent

【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: