CentOS7 -- Tomcat + Nginx配置反向代理及负载均衡

【一、Nginx简述】

Nginx 是由俄罗斯软件工程师 Igor Sysoev 开发的一个高性能的 HTTP 和反向代理服务器，具备 IMAP/POP3 和 SMTP 服务器功能。

作为 Web 服务器：相比较与 Apache， Nginx 使用更少的资源，支持更多的并发连接，体现更高的效率，这点使 Nginx 尤为受到虚拟主机提供商的欢迎，能够支持高达 50000 个并发的连接数的响应。

作为负载均衡服务器： Nginx 既可以在内部直接支持 Rails 和 PHP,也可以支持作为 HTTP代理服务器对外惊醒服务， Nginx 用 C 语言编写，不论是系统资源开销还是 CPU 使用效率都比 Perlbal 要好的多。

作为邮件代理服务器： Nginx 同时也是一个非常优秀的邮件代理服务器。（最早开发这个产品的目的之一也是作为邮件代理服务器）

【二、CentOS7下安装部署】

1.配置epel yum 源

wget /packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpmrpm -ivh nginx-release-centos-7-0.el7.ngx.noarch.rpmyum install nginx -y

2.查看是否安装

[root@localhost ~]# rpm -qa | grep nginxnginx-1.10.2-1.el7.x86_64nginx-mod-stream-1.10.2-1.el7.x86_64nginx-mod-http-geoip-1.10.2-1.el7.x86_64nginx-all-modules-1.10.2-1.el7.noarchnginx-mod-http-perl-1.10.2-1.el7.x86_64nginx-mod-http-image-filter-1.10.2-1.el7.x86_64nginx-mod-mail-1.10.2-1.el7.x86_64nginx-filesystem-1.10.2-1.el7.noarchnginx-mod-http-xslt-filter-1.10.2-1.el7.x86_64

3.查看 安装nginx 所生成的文件

[root@localhost ~]# rpm -ql nginx /etc/logrotate.d/nginx/etc/nginx/fastcgi.conf/etc/nginx/fastcgi.conf.default/etc/nginx/fastcgi_params/etc/nginx/fastcgi_params.default/etc/nginx/koi-utf/etc/nginx/koi-win/etc/nginx/mime.types/etc/nginx/mime.types.default/etc/nginx/nginx.conf/etc/nginx/nginx.conf.default/etc/nginx/scgi_params/etc/nginx/scgi_params.default/etc/nginx/uwsgi_params/etc/nginx/uwsgi_params.default/etc/nginx/win-utf/usr/bin/nginx-upgrade/usr/lib/systemd/system/nginx.service/usr/lib64/nginx/modules/usr/sbin/nginx/usr/share/doc/nginx-1.10.2/usr/share/doc/nginx-1.10.2/CHANGES/usr/share/doc/nginx-1.10.2/README/usr/share/doc/nginx-1.10.2/README.dynamic/usr/share/doc/nginx-1.10.2/UPGRADE-NOTES-1.6-to-1.10/usr/share/licenses/nginx-1.10.2/usr/share/licenses/nginx-1.10.2/LICENSE/usr/share/man/man3/nginx.3pm.gz/usr/share/man/man8/nginx-upgrade.8.gz/usr/share/man/man8/nginx.8.gz/usr/share/nginx/html/404.html/usr/share/nginx/html/50x.html/usr/share/nginx/html/index.html/usr/share/nginx/html/nginx-logo.png/usr/share/nginx/html/poweredby.png/usr/share/vim/vimfiles/ftdetect/nginx.vim/usr/share/vim/vimfiles/indent/nginx.vim/usr/share/vim/vimfiles/syntax/nginx.vim/var/lib/nginx/var/lib/nginx/tmp/var/log/nginx

4.启动与开机自启

#启动nginx systemctl start nginx#设置开机启动 systemctl enable nginx#查看nginx 启动状态systemctl status nginx#查看是否监听ss -tnl | grep 80 LISTEN 0128 *:80 *:* LISTEN 0128 :::80 :::*

停止nginx:#systemctl stop nginx 重启nginx(配置文件变动后需要重启才能生效):#systemctl restart nginx 检查配置文件是否正确:# nginx -t 查看nginx版本# nginx -v 回头看编译配置# nginx -V

5.测试Nginx

在浏览器中输入 nginx 服务器的ip 地址 【备注：如果不能正常访问，关闭防火墙】

systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

6.nginx 的配置文件/etc/nginx/nginx.conf详细说明

# For more information on configuration, see:# * Official English Documentation: /en/docs/# * Official Russian Documentation: /ru/docs/user nginx;worker_processes auto;#启动进程,通常设置成和 cpu 的数量相等error_log /var/log/nginx/error.log;pid /run/nginx.pid;# Load dynamic modules. See /usr/share/nginx/README.dynamic.include /usr/share/nginx/modules/*.conf;events {worker_connections 1024;#单个后台 worker process 进程的最大并发链接数# 并发总数是 worker_processes 和 worker_connections 的乘积# 即 max_clients = worker_processes * worker_connections# 在设置了反向代理的情况下， max_clients = worker_processes * worker_connections / 4# 为什么上面反向代理要除以 4，应该说是一个经验值# 根据以上条件，正常情况下的 Nginx Server 可以应付的最大连接数为： 4 * 8000 = 32000# worker_connections 值的设置跟物理内存大小有关# 因为并发受 IO 约束， max_clients 的值须小于系统可以打开的最大文件数# 而系统可以打开的最大文件数和内存大小成正比，一般 1GB 内存的机器上可以打开的文件数大约是10 万左右# 我们来看看 360M 内存的 VPS 可以打开的文件句柄数是多少：# $ cat /proc/sys/fs/file-max# 输出 34336# 32000 < 34336，即并发连接总数小于系统可以打开的文件句柄总数，这样就在操作系统可以承受# 的范围之内# 所以， worker_connections 的值需根据 worker_processes 进程数目和系统可以打开的最大文# 件总数进行适当地进行设置# 使得并发总数小于操作系统可以打开的最大文件数目# 其实质也就是根据主机的物理 CPU 和内存进行配置# 当然，理论上的并发总数可能会和实际有所偏差，因为主机还有其他的工作进程需要消耗系统资源。}http {log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log /var/log/nginx/access.log main;sendfile on;tcp_nopushon;tcp_nodelay on;keepalive_timeout 65;types_hash_max_size 2048;include /etc/nginx/mime.types;default_type application/octet-stream;# Load modular configuration files from the /etc/nginx/conf.d directory.# See /en/docs/ngx_core_module.html#include# for more information.include /etc/nginx/conf.d/*.conf;upstream mycluster{#负载均衡配置#集群有几台服务器即可配置几台，weight表示权重，权重越大被访问到的几率越大#这里添加的是上面启动好的两台Tomcat服务器server 192.168.8.225:8080 weight=50;server 192.168.8.231:8080 weight=50;#nginx的upstream目前支持4种方式的分配#1、轮询（默认）#每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。#2、weight#指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。#例如：#upstream bakend {# server 192.168.0.14 weight=10;# server 192.168.0.15 weight=10;#}#2、ip_hash#每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。#例如：#upstream bakend {# ip_hash;# server 192.168.0.14:88;# server 192.168.0.15:80;#}#3、fair（第三方）#按后端服务器的响应时间来分配请求，响应时间短的优先分配。#upstream backend {# server server1;# server server2;# fair;#}#4、url_hash（第三方）#按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。#例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法#upstream backend {# server squid1:3128;# server squid2:3128;# hash $request_uri;# hash_method crc32;#}#tips:#upstream bakend{#定义负载均衡设备的Ip及设备状态}{# ip_hash;# server 127.0.0.1:9090 down;# server 127.0.0.1:8080 weight=2;# server 127.0.0.1:6060;# server 127.0.0.1:7070 backup;#}#在需要使用负载均衡的server中增加 proxy_pass http://bakend/;#每个设备的状态设置为:#1.down表示单前的server暂时不参与负载#2.weight为weight越大，负载的权重就越大。#3.max_fails：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误#4.fail_timeout:max_fails次失败后，暂停的时间。#5.backup： 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。#nginx支持同时设置多组的负载均衡，用来给不用的server来使用。#client_body_in_file_only设置为On 可以讲client post过来的数据记录到文件中用来做debug#client_body_temp_path设置记录文件的目录 可以设置最多3层目录#location对URL进行匹配.可以进行重定向或者进行新的代理 负载均衡}server {#设定虚拟主机配置listen 80 default_server;#侦听 80 端口listen [::]:80 default_server;server_name 192.168.8.221;#可以用IP也可以用域名，域名可以有多个，用空格隔开charset utf-8;# root /usr/share/nginx/html;# Load configuration files for the default server block.include /etc/nginx/default.d/*.conf;location / {proxy_next_upstream http_502 http_504 error timeout invalid_header;proxy_pass http://mycluster;}error_page 404 /404.html;location = /40x.html {}error_page 500 502 503 504 /50x.html;location = /50x.html {}}# Settings for a TLS enabled server.## server {# listen 443 ssl http2 default_server;# listen [::]:443 ssl http2 default_server;# server_name _;# root /usr/share/nginx/html;## ssl_certificate "/etc/pki/nginx/server.crt";# ssl_certificate_key "/etc/pki/nginx/private/server.key";# ssl_session_cache shared:SSL:1m;# ssl_session_timeout 10m;# ssl_ciphers HIGH:!aNULL:!MD5;# ssl_prefer_server_ciphers on;## # Load configuration files for the default server block.# include /etc/nginx/default.d/*.conf;## location / {# }## error_page 404 /404.html;# location = /40x.html {# }## error_page 500 502 503 504 /50x.html;# location = /50x.html {# }# }}

【三、反向代理】

正向代理：一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个 请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端才能使用正向代理。

正向代理好比，你去找工作，首先你不知道哪里有工作，但是你可以把你的要求信息告诉别人，这时别人知道你想找什么样 的工作了。他就帮你问，然后又合适的工作后，别人告诉你这里有符合你要求的工作，你就可以去试试了。

正向代理总结就一句话：代理端代理的是客户端。

反向代理：反向代理（Reverse Proxy）是指以代理服务器来接受internet上的连接请求，然后将请求，发给内部网络上 的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。

反向代理好比，你去超市或者购物中心购物，超市、购物中心就好比一个代理。你只关心你去超市、购物中心购买你想买的 商品，具体商品从哪里来你并不关心。但是超市本没有商品，所以超市、购物中心自身去进货，这个过程你并不知道，没有 感知。这时代理端代理的是超市、购物中心，你并看不到供货商。

反向代理总结就一句话：代理端代理的是服务端。

nginx反向代理其实主要通过配置nginx.conf中的proxy_pass参数即可代理到某个服务器

vim /etc/nginx/nginx.conf

user nginx;worker_processes 1;error_log /var/log/nginx/error.log warn;pid /var/run/nginx.pid;events {worker_connections 1024;}http {include /etc/nginx/mime.types;default_type application/octet-stream;log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log /var/log/nginx/access.log main;sendfile on;#tcp_nopushon;keepalive_timeout 65;#gzip on;#include /etc/nginx/conf.d/*.conf;server {listen 80;server_name localhost;location / {#proxy_set_header real_ip $remote_addr; //real_ip 设置变量名，可以通过web端获取proxy_pass http://192.168.3.159:8080;}}}

重启nginx后，浏览器访问http://192.168.3.159按理显示的应该是159:8080的网页内容。如果报错，查看日志：

#vi /var/log/nginx/error.log/11/03 05:23:53 [crit] 1331#1331: *12 connect() to 192.168.3.159:8080 failed (13: Permission denied) while connecting to upstream, client: 192.168.5.65, server: localhost,request: "GET / HTTP/1.1", upstream: "http://192.168.3.159:8080/", host: "192.168.3.159"

百度中搜“(13: Permission denied) while connecting to upstream, client:”就找到原因：

type=AVC msg=audit(1509701033.988:119): avc: denied { name_connect } for pid=1331 comm="nginx" dest=8080 scontext=system_u:system_r:httpd_t:s0 tcontext=system_u:object_r:http_cache_port_t:s0 tclass=tcp_socket

处理命令：

#setsebool -P httpd_can_network_connect 1

【四、负载均衡】

负载均主要衡解决网络拥塞问题，提高服务器响应速度，服务就近提供，达到更好的访问质量，减少后台服务器大并发压力。主要根据算法策略将请求分摊到多台后台服务器处理。我们以ip_hash(表示每个请求按访问ip的hash结果分配)和weight(权重)策略为例：

nginx实现负载均衡主要通过upstream,以同一服务器下的两个tomcat为例：127.0.0.1:8080和127.0.0.1:8090，打开/etc/nginx/nginx.conf配置文件

在http选项配置如下：

upstream balance {#weight 值越大,负载权重越大,请求次数越多#max_fails 允许请求失败的次数，超过失败次数后，转发到下一个服务器，当有max_fails个请求失败，就 表示后端的服务器不可用，默认为1，将其设置为0可以关闭检查 #fail_timeout 指定时间内无响应则失败, 在以后的fail_timeout时间内nginx不会再把请求发往已检查出 标记为不可用的服务器 #down 表示当前server不参与负载#backup 其他非backup server都忙的时候，backup server作为备用服务器，将请求转发到backup服务器 server 127.0.0.1:8080 weight=1 max_fails=2 fail_timeout=30s; server 127.0.0.1:8090 weight=1 max_fails=2 fail_timeout=30s;server 192.168.58.152:8080 down;#server 192.168.58.152:8080 backup;}

location / { #设置真实ip proxy_set_header real_ip $remote_addr; #real_ip 设置变量名，可以通过web端获取 proxy_pass http://balance; //配置上面添加的负载服务器 }

在这里笔者利用另一种方式引入配置：

user nginx;worker_processes 1;error_log /var/log/nginx/error.log warn;pid /var/run/nginx.pid;events {worker_connections 1024;}http {include /etc/nginx/mime.types;default_type application/octet-stream;log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log /var/log/nginx/access.log main;sendfile on;#tcp_nopushon;keepalive_timeout 65;#gzip on;#引入/etc/nginx/conf.d下以.conf结尾的文件include /etc/nginx/conf.d/*.conf;}

在/etc/nginx/conf.d下新建default.conf文件，配置一下内容：

upstream mycluster{#集群有几台服务器即可配置几台，ip_hash表示每个请求按访问ip的hash结果分配ip_hash;server 127.0.0.1:8080 ;server 127.0.0.1:8090 ;}server {listen 80;server_name localhost;#可以是服务器IP或者域名#charset koi8-r;#access_log /var/log/nginx/host.access.log main;location / {root /usr/share/nginx/html;index index.html index.htm;proxy_next_upstream http_502 http_504 error timeout invalid_header;proxy_pass http://mycluster;}#error_page 404 /404.html;# redirect server error pages to the static page /50x.html#error_page 500 502 503 504 /50x.html;location = /50x.html {root /usr/share/nginx/html;}# proxy the PHP scripts to Apache listening on 127.0.0.1:80##location ~ \.php$ {# proxy_pass http://127.0.0.1;#}# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000##location ~ \.php$ {# root html;# fastcgi_pass 127.0.0.1:9000;# fastcgi_index index.php;# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;# include fastcgi_params;#}}

配置到这里，nginx的负载均衡就算是配置成功了，这时浏览器访问服务器IP地址就可以访问负载服务器下的网页内容了。

【五、动态资源、静态资源分离】

动态资源、静态资源分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路。

动态资源、静态资源分离简单的概括是：动态文件与静态文件的分离。

为什么要做动 、静分离？

在我们的软件开发中，有些请求是需要后台处理的（如：.jsp,.do等等），有些请求是不需要经过后台处理的（如：css、html、jpg、js等等文件），这些不需要经过后台处理的文件称为静态文件，否则动态文件。因此我们后台处理忽略静态文件。这会有人又说那我后台忽略静态文件不就完了吗。当然这是可以的，但是这样后台的请求次数就明显增多了。在我们对资源的响应速度有要求的时候，我们应该使用这种动静分离的策略去解决。

动、静分离将网站静态资源（HTML，JavaScript，CSS，img等文件）与后台应用分开部署，提高用户访问静态代码的速度，降低对后台应用访问。这里我们将静态资源放到nginx中，动态资源转发到tomcat服务器中。

将以上反向代理的配置：

location / {root /usr/share/nginx/html;index index.html index.htm;proxy_next_upstream http_502 http_504 error timeout invalid_header;proxy_pass http://mycluster;}

修改为：

//动态资源location ~ \.(jsp|jspx|do|action)(\/.*)?$ { //动态请求转发到tomcat服务器，匹配方式可自定义 #设置真实ip proxy_set_header real_ip $remote_addr; //real_ip 设置变量名，可以通过web端获取 proxy_next_upstream http_502 http_504 error timeout invalid_header;proxy_pass http://mycluster; } //静态资源 location ~ .*\(js|css|htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$ { //静态资源到nginx服务器下static（具体目录自定义）获取 root static; }