IO复用
单进程:阻塞
多进程:每个进程响应一个请求
进程量,进程切换次数过多
每个进程的地址空间是独立,很多空间是重复的数据,所以内存使用效率较低
线程:thread
Light Weight Process
Linux 支持多少种类型的线程库?如何切换线程库?
每个线程响应一个请求:
线程依然切换:切换较之进程属于轻量级
同一个进程的线程可共享进程的诸多资源,比如打开的文件
对内存的需求较之进程略有下降
快速切换时会带来线程抖动
多进程多线程
多线程:N个请求
一个线程响应多个请求
Nginx
web服务器
反向代理
web
模块化
Tengine
varnish,squid
nginx:cache(disk)
httpd:cache(disk,memory)
memcached
nginx:
server{}: 虚拟主机
location /URI/{
root "/web/htdocs"
}
httpd
<DocumentRoot>
</DocumentRoot>
<Location "/bbs">
</Location>
location[=|~|~*|^~|]uri{...}
location URI{}:
对当前路径及子路径下的所有对象都生效
locati URI {}:
精确匹配指定的路径,不包括子路径,因此,只对当前资源生效
location ~URI{}:
location ~*URI{}:
模式匹配URI,此处的URI可使用正则表达式,~区分字符大小写,~*不区分字符大小写
location ^~URI{}:
不使用正则表达式
htpasswd :第二次不能使用-选项
Stub Status模块
已经接受连接的个数,已经处理的连接的个数,已经处理的请求的个数
reading :Nginx正在读取其首部请求的个数
writing:Nginx正在读取其主体的请求的个数、正处理着其请求的个数或者正在向其客户发送响应的个数
waiting:长连接模式的保持的连接个数
传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等。这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降。
在设计的最初阶段,nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制,nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构,并大量采用了多路复用及事件通知机制。在nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理,而每个worker可以并行处理数千个的并发连接及请求。
如果负载以CPU密集型应用为主,如SSL或压缩应用,则worker数应与CPU数相同;如果负载以IO密集型为主,如响应大量内容给客户端,则worker数应该为CPU个数的1.5或2倍。
Nginx会按需同时运行多个进程:一个主进程(master)和几个工作进程(worker),配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程,并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行,而worker、cache loader和cache manager均应以非特权用户身份运行。
主进程主要完成如下工作:
1. 读取并验正配置信息;
2. 创建、绑定及关闭套接字;
3. 启动、终止及维护worker进程的个数;
4. 无须中止服务而重新配置工作特性;
5. 控制非中断式程序升级,启用新的二进制程序并在需要时回滚至老版本;
6. 重新打开日志文件,实现日志滚动;
7. 编译嵌入式perl脚本;
worker进程主要完成的任务包括:
1. 接收、传入并处理来自客户端的连接;
2. 提供反向代理及过滤功能;
3. nginx任何能完成的其它任务;
cache loader进程主要完成的任务包括:
1. 检查缓存存储中的缓存对象;
2. 使用缓存元数据建立内存数据库;
cache manager进程的主要任务:
1. 缓存的失效及过期检验;
Nginx的配置有着几个不同的上下文:main、http、server、upstream和location(还有实现邮件服务反向代理的mail)。配置语法的格式和定义方式遵循所谓的C风格,因此支持嵌套,还有着逻辑清晰并易于创建、阅读和维护等优势。
Nginx的代码是由一个核心和一系列的模块组成, 核心主要用于提供Web Server的基本功能,以及Web和Mail反向代理的功能;还用于启用网络协议,创建必要的运行时环境以及确保不同的模块之间平滑地进行交互。不过,大多跟协议相关的功能和某应用特有的功能都是由nginx的模块实现的。这些功能模块大致可以分为事件模块、阶段性处理器、输出过滤器、变量处理器、协议、upstream和负载均衡几个类别,这些共同组成了nginx的http功能。事件模块主要用于提供OS独立的(不同操作系统的事件机制有所不同)事件通知机制如kqueue或epoll等。协议模块则负责实现nginx通过http、tls/ssl、smtp、pop3以及imap与对应的客户端建立会话。
在nginx内部,进程间的通信是通过模块的pipeline或chain实现的;换句话说,每一个功能或操作都由一个模块来实现。例如,压缩、通过FastCGI或uwsgi协议与upstream服务器通信,以及与memcached建立会话等。
LEMP:
Enginx (FastCGI) + php-fpm
location ~* \.php$ {
fastcgi_pass 127.0.0.1:9000;
}
fastcgi
Nginx配置文件
main,
worker_process
error_log
user
group
events {
}
事件驱动相关
httpd {
}
关于http相关的配置
server {
}
虚拟主机
location URI {
directive <parameters>;
}
URI访问属性;
上下文
server {
listen 80;
server_name www.test.com;
location / {
后端服务器;
}
}
GET、POST、HEAD、PUT、TRACE、OPTIONS、CONNECTION、DELETE
nginx:
round-robin
ip_hash
least_conn
Nginx
cache:共享内存(存储键和缓存对象元数据)
磁盘空间:存储数据
proxy_cache_path: 不能定义在server{}上下文中;
缓存目录:子目录级别
proxy_cache_path /nginx/cache/first levels=1:2:1 keys_z max_size=1G;
cache_manager: LRU
WebDAV (Web-based Distributed Authoring and Versioning) 一种基于 HTTP 1.1协议的通信协议。它扩展了HTTP 1.1,在GET、POST、HEAD等几个HTTP标准方法以外添加了一些新的方法,使应用程序可直接对Web Server直接读写,并支持写文件锁定(Locking)及解锁(Unlock),还可以支持文件的版本控制。
另外常用的三种缓存:
open_log_cache:日志缓存
open_file_cache:
fastcgi_cache:
而nginx的limit限制也基于共享内存实现。
nginx: gzip
upstream phpsrvs {
server
server
}
upstream imgsrvs {
server
server
}
upstream staticfilesrvs {
server
server
}
location / {
root /web/htdocs;
index index.php index.html;
}
location ~* \.php$ {
fastcgi_pass http://phpsrvs;
}
location ~* "\.(jpg|jpeg|gif|png)$" {
proxy_pass http://imgsrvs;
}
rewirte: URL重写模块
if (condition) {
}
测试:
双目测试:
~, !~
=, !=
~*, !~*
if ($request_method="POST") {
}
if ($request_uri ~* "/forum") {
}
单目测试:
location /images/ {
rewrite http://172.16.100.19/images/
}
支持正则表达式:
location / {
root html;
index index.html;
rewrite "^/bbs/(.*)/images/(.*)\.jpg$" http://www.test.com/bbs/$2/images/$1.jpg last;
}
http://www.test.com/bbs/a/images/b.jpg --> http://www.test.com/bbs/b/images/a.jpg --> http://www.test.com/bbs/a/images/b.jpg
http://www.test.com/bbs/index.html --> http://www.test.com/forum/index.html
last: 本次重写完成之后,重启下一轮检查;
break: 本次重写完成之后,直接执行后续操作;
memcached: 缓存服务器,但本身无法决定缓存任何数据
一半依赖于客户端,一半依赖于服务器
set key 5 60 hello
lazy: 惰性, LRU,最近最少使用
内存缓存服务器:
48bytes
1MB
buddy system: 伙伴系统
避免内存外碎片
slab allocator: slab分配器
避免内存内碎片
memcached: 不通信分布式缓存服务器
event-driven:
libevent