Flask项目部署云服务器 CentOS7.3+Redis+MySQL+Flask+Nginx+Gunicorn +Supervisorctl
项目运行环境
阿里云(单核CPU, 2G内存, CentOS7.3 x64 带宽1Mbps), 具体购买和ssh连接阿里云本文不做描述。
实用工具
首先进入阿里云后先要升级下apt-get, CentOS采用的是yum管理工具 ,并下载所需软件
sudo apt-get updatesudo apt-get install vim git wget tmux mysql-devel gcc gcc-devel python-devel libffi-devel bzip2-devel
或者
sudo yum updatesudo yum install vim git wget tmux mysql-devel gcc gcc-devel python-devel libffi-devel bzip2-devel
我还会使用zsh和oh-my-zsh来替换bash
sudo apt-get install zsh或yum install zsh
替换bash为zsh
chsh -s /bin/zsh #只对当前用户
重新连接阿里云就可以看到效果, 具体主题可以根据自己喜好更改主目录下的.zshrc即可
redis
1.获取redis资源
wget http://download.redis.io/releases/redis-5.0.8.tar.gz
2.解压
tar xzvf redis-5.0.8.tar.gz
3.安装
cd redis-5.0.8makecd srcmake install PREFIX=/usr/local/redis
(如果有执行出错,先安装gcc。安装命令为:yum -y install gcc automake autoconf libtool make 。
若出现【zmalloc.h:50:31: 致命错误:jemalloc/jemalloc.h:没有那个文件或目录】,则运行命令make MALLOC=libc)
4.移动配置文件到安装目录下
cd ../mkdir /usr/local/redis/etcmv redis.conf /usr/local/redis/etc
5.配置redis为后台启动
vi /usr/local/redis/etc/redis.conf (:/daemonize查找到daemonize 将daemonize no 改成daemonize yes)#如果要设置远程访问把bind=127.0.0.1注释掉(如果想设置密码在redis.conf中加上:requirepass:密码即可)protected-mode 要设置成no(默认是设置成yes的, 防止了远程访问,在redis3.2.3版本后)
6.将redis加入到开机启动
vi /etc/rc.local #在里面添加内容:/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf #(意思就是开机调用这段开启redis的命令)
7.开启redis
/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf
8.建立快捷指令
#临时有效alias redis-cli='/usr/local/redis/bin/redis-cli'
要想永久有效
vim ~/.bashrc#加入alias redis-cli='/usr/local/redis/bin/redis-cli'# 立即生效source ~/.bashrc#之后就可以使用redis-cli进入redis
注意:
自定义指令写入~/.bashrc只对当前用户永久生效,所用用户永久生效要写入/etc/bashrc。
常用指令
打开redis命令:redis-server关闭redis命令:redis-cli shutdown设为开机启动:chkconfig redis on设为开机关闭:chkconfig redis off
【注意】
正常服务器重启之后Redis数据是会丢失的,为防止数据丢失,做以下设置:
找到 /etc/sysctl.conf
vim /etc/sysctl.conf
在最后一行添加
vm.overcommit_memory = 1
wq保存,用sysctl -p 使配置生效
sysctl -p
会返回添加的那一行,说明添加成功。
以后linux服务器在重启,redis的数据就不会丢了
MySQL
CentOS7.3 安装mysql数据库5.7
国内服务器可以使用国内镜像
安装Python3
Linux 安装python3.7.6
虚拟环境
使用python的pip包管理工具
sudo apt-get install python-setuptoolssudo apt-get install python-pip
pip 安装到指定目录 sudo pip2 install numpy --target=/usr/local/lib/python2.7/site-packages
安装虚拟环境的命令 :
sudo pip install virtualenvsudo pip install virtualenvwrapper
安装完虚拟环境后,如果提示找不到mkvirtualenv命令,须配置环境变量:
# 1、创建目录用来存放虚拟环境mkdir $HOME/.virtualenvs# 2、打开~/.bashrc文件,并添加如下:export WORKON_HOME=$HOME/.virtualenvs#export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3source /usr/local/bin/virtualenvwrapper.sh# 3、运行source ~/.bashrc
如果采用了zsh替换bash
# 1、创建目录用来存放虚拟环境mkdir $HOME/.virtualenvs# 2、打开~/.zshrc文件,并添加如下:export WORKON_HOME=$HOME/.virtualenvssource /usr/local/bin/virtualenvwrapper.sh# 3、运行source ~/.zshrc
如果报错 -bash:/root/.zshrc:source:2: no such file or directory: /usr/local/bin/virtualenvwrapper.sh
说明文件没在这个路径下,
可以通过which 命令查看(which是用来查看当前要执行的命令所在的路径)
[root@localhost ~]$ which virtualenvwrapper.sh/usr/bin/virtualenvwrapper.sh
重新修改 ~/.bashr或 ~/.zshrc对应的路径即可:
export WORKON_HOME=$HOME/.virtualenvssource /usr/bin/virtualenvwrapper.sh# 然后重新运行以下命令source ~/.bashrc
创建虚拟环境的命令 :
提示:如果不指定python版本,默认安装的是python2的虚拟环境
在python2中,创建虚拟环境
mkvirtualenv 虚拟环境名称例 :mkvirtualenv py_flask
在python3中,创建虚拟环境
mkvirtualenv -p python3 虚拟环境名称#也可以使用mkvirtualenv py3_venv --python=python3.7例 :mkvirtualenv -p python3 py3_flask
如果报错:ImportError: No module named zipp。解决方法:pip install zipp==1.2.0
pthon 2.7 如果报错:无法从from backports.configparser import ConfigParser导入configparser,是因为缺少configparser文件,可以在/configparser/3.5.0/configparser/ 将缺少的configparser文件准备好,放入backports文件夹,即可解决
如果报错:Error while finding module specification for ‘virtualenvwrapper.hook_loader’ (ModuleNotFoundError: No module named ‘virtualenvwrapper’)
解决办法:python -m pip install --user virtualenvwrapper --upgrade
如果virtualenvwrapper装好后, 发现使用mkvirtualenv XX时, 又找不到virtualenv了:
which: no virtualenv in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
ERROR: virtualenvwrapper could not find virtualenv in your path
解决办法:
将python环境下的virtualenv拷贝至/usr/bin/目录下:ln /usr/local/python3/bin//virtualenv /usr/bin/virtualenv
提示 :
创建虚拟环境需要联网创建成功后, 会自动工作在这个虚拟环境上工作在虚拟环境上, 提示符最前面会出现 “虚拟环境名称”
关于虚拟环境的其他用法:
查看虚拟环境
workon 两次tab键
使用虚拟环境的命令 :
workon 虚拟环境名称例 :使用python2的虚拟环境workon py_flask例 :使用python3的虚拟环境workon py3_flask
退出虚拟环境的命令:
deactivate
删除虚拟环境的命令:
rmvirtualenv 虚拟环境名称#例 :删除虚拟环境py3_flask#先退出:deactivate#再删除:rmvirtualenv py3_flask
项目部署
安装依赖
用pip freeze查看当前安装版本
pip freeze
导出依赖包
pip freeze > requirements.txt
这将会创建一个 requirements.txt 文件,其中包含了当前环境中所有包及 各自的版本的简单列表。您可以使用 “pip list”在不产生requirements文件的情况下, 查看已安装包的列表。这将会使另一个不同的开发者(或者是您,如果您需要重新创建这样的环境) 在以后安装相同版本的相同包变得容易。
安装依赖包
pip install -r requirements.txt
这能帮助确保安装、部署和开发者之间的一致性。
安装Gunicorn
Gunicorn是一个wsgi服务器, 我们将通过它来启动我们的web服务。
# 注意我们是通过pip来安装,所以该模块所有文件都是在venv里面pip install gunicorn
安装成功就可以直接使用了。
运行一下manage.py
# 不适用gunicorn运行python manage.py runserver# 使用gunicorn 运行# 这里需要注意一下, 冒号前面的是文件名也就是manage.py而后面的是应用的名称。我在这里载过跟头。因为服务器需要接受一个wsgi的应用而manager = Manager(app)不是一个wsgi应用所以报错gunicorn manage:app
我们创建一个gunicorn配置文件gunicorn.py并把他放到code目录下
## gunicorn.py# encoding: utf-8import multiprocessing# 监听端口bind = '0.0.0.0:5000'# 工作模式worker_class = 'gevent' #必须先安装gevent# 并行工作进程数(我采用跟CPU核心数一致)workers = multiprocessing.cpu_count() * 1#线程#threads=8000keepalive=1#在keep-alive连接上等待请求的秒数,默认情况下值为2。一般设定在1~5秒之间。worker_connections=1000000#worker_connections最大客户端并发数量,默认情况下这个值为1000。此设置将影响gevent和eventlet工作模式graceful_timeout=0#graceful_timeout优雅的人工超时时间,默认情况下,这个值为30。收到重启信号后,工作人员有那么多时间来完成服务请求。在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死limit_request_line=8048#limit_request_line HTTP请求行的最大大小,此参数用于限制HTTP请求行的允许大小,默认情况下,这个值为4094。值是0~8190的数字。此参数可以防止任何DDOS攻击backlog=8048chdir = './'proc_name='gunicorn.pid' # 设置守护进程 True为后台运行daemon = False#显示现在的配置,默认值为False,即显示。check_config = True# 设置日志记录水平loglevel = 'debug'#记录PID pidfile='debug.log'access_log_format = '%(t)s %(p)s %(h)s "%(r)s" %(s)s %(L)s %(b)s %(f)s" "%(a)s"'# 设置错误信息日志路径 ,设置里错误日志路径后将不再屏幕打印调试信息errorlog = './logs/error.log'# 设置访问日志路径accesslog = './logs/access.log'
启动程序
#-c 指定配置文件运行。-D后台运行gunicorn manage:app -c gunicorn.py
查看状态
pstree -ap|grep gunicorn
杀死gunicorn进程
ps -ef |grep gunicorn|grep -v grep|awk '{print $2}'| xargs kill -9
安装Nginx
我们通过nginx来反向代理我们的服务。
# 首先下载一个nginxsudo apt-get install nginx
我们可以访问我们的域名或IP地址,如果出现Nginx的提示就表示安装成功了。
nginx安装在/usr/local/nginx/目录下,我们把项目的配置文件放到/usr/local/nginx/conf/nginx.conf
(新版本的Nginx 安装在/etc/nginx目录下)
这是nginx配置文件nginx.conf详解:
########### 每个指令必须有分号结束。##################user administrator administrators; #配置用户或者组,默认为nobody nobody。#worker_processes 2; #允许生成的进程数,默认为1#pid /nginx/pid/nginx.pid; #指定nginx进程运行文件存放地址error_log log/error.log debug; #制定日志路径,级别。这个设置可以放入全局块,http块,server块,级别以此为:debug|info|notice|warn|error|crit|alert|emergevents {accept_mutex on; #设置网路连接序列化,防止惊群现象发生,默认为onmulti_accept on; #设置一个进程是否同时接受多个网络连接,默认为off#use epoll;#事件驱动模型,select|poll|kqueue|epoll|resig|/dev/poll|eventportworker_connections 1024; #最大连接数,默认为512}http {include mime.types; #文件扩展名与文件类型映射表default_type application/octet-stream; #默认文件类型,默认为text/plain#access_log off; #取消服务日志 log_format myFormat '$remote_addr–$remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $http_x_forwarded_for'; #自定义格式access_log log/access.log myFormat; #combined为日志格式的默认值sendfile on; #允许sendfile方式传输文件,默认为off,可以在http块,server块,location块。sendfile_max_chunk 100k; #每个进程每次调用传输数量不能大于设定的值,默认为0,即不设上限。keepalive_timeout 65; #连接超时时间,默认为75s,可以在http,server,location块。upstream mysvr {server 127.0.0.1:7878;server 192.168.10.121:3333 backup; #热备}error_page 404 ; #错误页server {keepalive_requests 120; #单连接请求上限次数。listen 4545; #监听端口server_name 127.0.0.1; #监听地址 location ~*^.+$ {#请求的url过滤,正则匹配,~为区分大小写,~*为不区分大小写。#root path; #根目录#index vv.txt; #设置默认页proxy_pass http://mysvr; #请求转向mysvr 定义的服务器列表deny 127.0.0.1; #拒绝的ipallow 172.18.5.54; #允许的ip } }}
注意:
屏蔽IP的配置文件既可以屏蔽单个IP,也可以屏蔽IP段,或者只允许某个IP或者某个IP段访问。
# 屏蔽单个IP访问deny IP;# 允许单个IP访问allow IP;# 屏蔽所有IP访问deny all;# 允许所有IP访问allow all;# 屏蔽整个段即从123.0.0.1到123.255.255.254访问的命令deny 123.0.0.0/8;# 屏蔽IP段即从123.45.0.1到123.45.255.254访问的命令deny 124.45.0.0/16;# 屏蔽IP段即从123.45.6.1到123.45.6.254访问的命令deny 123.45.6.0/24;# 如果想实现这样的应用,除了几个IP外,其他全部拒绝,# 那需要在 nginx_limit中这样写allow 1.1.1.1;allow 1.1.1.2;deny all;
单独网站屏蔽IP的方法,把 include /etc/nginx/conf.d/nginx_limit; 放到网址对应的在server{}语句块,
所有网站屏蔽IP的方法,把 include /etc/nginx/conf.d/nginx_limit; 放到http {}语句块。
搭建站点:
server{gzip on;gzip_buffers 32 4K;gzip_comp_level 6;gzip_min_length 100;gzip_types application/javascript text/css text/xml;gzip_disable "MSIE [1-6]\."; #配置禁用gzip条件,支持正则。此处表示ie6及以下不启用gzip(因为ie低版本不支持) gzip_vary on;listen 8088;server_name localhost;# nginx log信息, 需要创建logs目录access_log /home/slp/Project/WYTT/nginx_log/access.log;error_log /home/slp/Project/WYTT/nginx_log/error.log;location / {root /var/www/static/dist;index index.html index.htm;}location /api/ {proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header HOST $host;proxy_redirect off;proxy_pass http://127.0.0.1:5000/;}}server {#SSL 访问端口号为 443listen 443 ssl; #填写绑定证书的域名server_name ; #证书文件名称ssl_certificate _bundle.crt; #私钥文件名称ssl_certificate_key .key; ssl_session_timeout 5m;#请按照以下协议配置ssl_protocols TLSv1 TLSv1.1 TLSv1.2; #请按照以下套件配置,配置加密套件,写法遵循 openssl 标准。ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE; ssl_prefer_server_ciphers on;location / {#网站主页路径。此路径仅供参考,具体请您按照实际目录操作。root html; index index.html index.htm;}}
#建立快捷指令vim ~/.zshrc#加入alias nginx='/usr/local/nginx/sbin/nginx'# 然后检查nginx有没有错误nginx -t # 重新启动服务nginx -s reload
nginx常用指令
#启动nginxnginx -c /path/to/nginx.conf#关闭nginx:nginx -s stop :快速停止nginx quit :完整有序的停止nginx#重启nginx:nginx -s reload :修改配置后重新加载生效 nginx -s reopen :重新打开日志文件 nginx -t -c /path/to/nginx.conf 测试nginx配置文件是否正确#其他的停止nginx 方式:ps -ef | grep nginxkill -HUP 主进程号 :平滑重启nginxkill -QUIT 主进程号:从容停止Nginx kill -TERM 主进程号:快速停止Nginx pkill -9 nginx:强制停止Nginx
安装Supervisor
supervisor用来监控进程,并在进程挂掉的时候自动重启它。
# 这里需要把它安装到系统中sudo pip install supervisor# 生成配置文件sudo echo_supervisord_conf > /etc/supervisord.conf
编辑/etc/supervisord.conf,并在最后一行加入一下字段
# 编辑/etc/supervisord.conf,并在最后一行加入一下字段# 这样配置文件会将/etc/supervisor/conf.d下所有.conf结尾的都会导入进来[include]files = /etc/supervisor/conf.d/*.conf# 在创建一个配置文件到/etc/supervisor/conf.d/WYTT.conf[program:WYTT]directory=/root/project/WYTTenvironment=PATH="/root/.virtualenvs/py3_venv/bin/" ;指定虚拟环境command = gunicorn manage:app -c /root/project/WYTT/gunicorn.py ; 程序启动命令autostart=true ; 在supervisord启动的时候也自动启动startsecs=10 ; 启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒autorestart=true; 程序退出后自动重启,可选值:[unexpected,true,false],默认为unexpected,表示进程意外杀死后才重启startretries=3 ; 启动失败自动重试次数,默认是3user=root; 用哪个用户启动进程,默认是rootpriority=999 ; 进程启动优先级,默认999,值小的优先启动redirect_stderr=true ; 把stderr重定向到stdout,默认falsestdout_logfile_maxbytes=100MB ; stdout 日志文件大小,默认50MBstdout_logfile_backups = 20 ; stdout 日志文件备份数,默认是10; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)stdout_logfile=/root/supervisor_logs/wytt.outstopasgroup=false;默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程killasgroup=false;默认为false,向进程组发送kill信号,包括子进程,如果出现无法彻底杀死进程时,改为True
通过supervisorctl工具用来管理supervisor维护的进程
# reread来重新加载的配置内容, update来更新supervisorctl reload#或supervisorctl update
centos上常用的命令
supervisorctl status:查看所有进程的状态supervisorctl stop :停止supervisorctl start :启动supervisorctl restart 或者使用supervisorctl reload: 重启supervisorctl update :配置文件修改后可以使用该命令加载新的配置supervisorctl reload: 重新启动配置中的所有程序supervisorctl restart all: 启动全部(你想重启的单个应用名字也可以)
但是在centos上使用supervisorctl reload会报错error: <class ‘socket.error’>, [Errno 2] No such file or directory: file: /usr/lib64/python2.7/socket.py line: 224
可以通过下面指令来启动
mkdir /etc/supervisor#supervisor安装成功之后,没有提供默认的配置文件,可以通过运行echo_supervisord_conf程序生成supervisor的初始化配置文件echo_supervisord_conf > /etc/supervisor/supervisord.conf#使用supervisord 来启动supervisord -c /etc/supervisor/supervisord.conf :启动supervisorctl shutdown :关闭
当我使用 supervisorctl start WYTT时,一直显示:
WYTT: ERROR (no such process)
几番周折才发现,/etc/supervisor/supervisord.conf 一直还是原来的。我们之前改的是/etc/supervisord.conf。所以我们只要将/etc/supervisor/supervisord.conf中被注释掉的 [include] 解开,并改为:
[include]files = /etc/supervisor/conf.d/*.conf
就可以了。
WEBUI 管理进程
supervisord 默认是没有开启WEB服务的,需将配置文件/etc/supervisor/supervisord.conf中
;[inet_http_server] ; inet (TCP) server disabled by default;port=127.0.0.1:9001 ; ip_address:port specifier, *:port for all iface;username=user ; default is no username (open server);password=123; default is no password (open server)
中注释解开,重启supervisord就可以通过http://127.0.0.1:9001打开web界面了。如果是linux服务器,127.0.01是不允许外部访问的,可以通过nginx转发,或者更改host地址为0.0.0.0:9001。就可以使用外部访问了。
[inet_http_server] ; inet (TCP) server disabled by defaultport=0.0.0.0:9001; ip_address:port specifier, *:port for all ifaceusername=user ; default is no username (open server)password=123; default is no password (open server)
每当云服务器重启之后,需要重新启动:
1.Redis
/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf
设置快捷启动
vim ~/.bashrc#加入alias redis-cli='/usr/local/redis/bin/redis-cli'# 立即生效source ~/.bashrc#之后就可以使用redis-cli进入redis
2.Nginx
nginx -s reload
出现错误:nginx: [error] open() “/run/nginx.pid” failed (2: No such file or directory)
解决方案:
sudo nginx -c /etc/nginx/nginx.conf # 指定nginx配置文件sudo nginx -s reload # 重新启动nginx
3 .MySQL
出现ONLY_FULL_GROUP_BY错误
set sql_mode=(select replace(@@sql_mode,'ONLY_FULL_GROUP_BY','')); set @@global.sql_mode=(select replace(@@sql_mode,'ONLY_FULL_GROUP_BY',''));
4.Supervisorctl
启动supervisorctl(为防止受到权限限制,最好通过root用户启动supervisord)
supervisord -c /etc/supervisor/supervisord.conf