文档章节

Python Web框架Tornado运行和部署

lalamina
 lalamina
发布于 2016/04/14 20:57
字数 2170
阅读 3895
收藏 137

运行和部署

因为Tornado内置了自己的HTTPServer,运行和部署它与其他Python web框架不太一样。你需要写一个main()函数来启动服务,而不是配置一个WSGI容器来运行你的应用:

def main():
    app = make_app()
    app.listen(8888)
    IOLoop.current().start()

if __name__ == '__main__':
    main()

配置你的操作系统或者进程管理器来运行这个程序以启动服务。注意,增加每个进程允许打开的最大文件句柄数是可能是必要的(为了避免“Too many open files” 的错误)。为了增加这个上限(例如设置为50000 ) 你可以使用ulimit命令,修改/etc/security/limits.conf 或者设置minfds 在你的supervisord配置中。

进程和端口

由于Python的GIL(全局解释器锁),为了充分利用多CPU的机器,运行多个Python 进程是很有必要的。通常,最好是每个CPU运行一个进程。

Tornado包含了一个内置的多进程模式来一次启动多个进程,这需要一个在main 函数上做点微小的改变:

def main():
    app = make_app()
    server = tornado.httpserver.HTTPServer(app)
    server.bind(8888)
    server.start(0)  # forks one process per cpu
    IOLoop.current().start()

这是最简单的方式来启动多进程并让他们共享同样的端口,虽然它有一些局限性。首先,每个子进程将有它自己的IOLoop,所以fork之前,不接触全局 IOLoop 实例是重要的(甚至是间接的)。其次,在这个模型中,很难做到零停机 (zero-downtime)更新。最后,因为所有的进程共享相同的端口,想单独监控它们就更加困难了。

对更复杂的部署,建议启动独立的进程,并让它们各自监听不同的端口, supervisord 的“进程组(process groups)”功能是一个很好的方式。当每个进程使用不同的端口,一个外部的负载均衡器,例如HAProxy或nginx通常需要对外向访客提供一个单一的地址。

运行在负载均衡器后面

当运行在一个负载均衡器例如nginx,建议传递xheaders=TrueHTTPServer 的构造器。这将告诉Tornado使用类似 X-Real-IP 这样的HTTP头来获取用户的IP地址而不是把所有流量都认为来自于负载均衡器的IP地址。

这是一份原始的nginx配置文件,在结构上类似于我们在FriendFeed所使用的配置。这是假设nginx和Tornado server运行在同一台机器上的,并且四个 Tornado server 正运行在8000 - 8003端口:

user nginx;
worker_processes 1;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
    worker_connections 1024;
    use epoll;
}

http {
    # Enumerate all the Tornado servers here
    upstream frontends {
        server 127.0.0.1:8000;
        server 127.0.0.1:8001;
        server 127.0.0.1:8002;
        server 127.0.0.1:8003;
    }

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    access_log /var/log/nginx/access.log;

    keepalive_timeout 65;
    proxy_read_timeout 200;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    gzip on;
    gzip_min_length 1000;
    gzip_proxied any;
    gzip_types text/plain text/html text/css text/xml
               application/x-javascript application/xml
               application/atom+xml text/javascript;

    # Only retry if there was a communication error, not a timeout
    # on the Tornado server (to avoid propagating "queries of death"
    # to all frontends)
    proxy_next_upstream error;

    server {
        listen 80;

        # Allow file uploads
        client_max_body_size 50M;

        location ^~ /static/ {
            root /var/www;
            if ($query_string) {
                expires max;
            }
        }
        location = /favicon.ico {
            rewrite (.*) /static/favicon.ico;
        }
        location = /robots.txt {
            rewrite (.*) /static/robots.txt;
        }

        location / {
            proxy_pass_header Server;
            proxy_set_header Host $http_host;
            proxy_redirect off;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Scheme $scheme;
            proxy_pass http://frontends;
        }
    }
}

静态文件和文件缓存

Tornado中,你可以通过在应用程序中指定特殊的 static_path 来提供静态文件服务:

settings = {
    "static_path": os.path.join(os.path.dirname(__file__), "static"),
    "cookie_secret": "__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__",
    "login_url": "/login",
    "xsrf_cookies": True,
}
application = tornado.web.Application([
    (r"/", MainHandler),
    (r"/login", LoginHandler),
    (r"/(apple-touch-icon\.png)", tornado.web.StaticFileHandler,
     dict(path=settings['static_path'])),
], **settings)

这些设置将自动的把所有以 /static/ 开头的请求交由static目录,例如http://localhost:8888/static/foo.png 将会通过指定的static目录提供 foo.png 文件。我们也会自动从static目录提供 /robots.txt/favicon.ico (尽管它们并没有以 /static/ 前缀开始)。

在上面的设置中,我们明确的配置Tornado从 StaticFileHandler 根下获取 apple-touch-icon.png 文件,虽然文件在static文件目录中。(正则表达式捕获组必须告诉 StaticFileHandler 请求的文件名,调用捕获组把文件名作为方法的参数传递给处理程序) 你可以做同样的事情,比如从网站的根提供 sitemap.xml 文件。 当然,你也可以通过在你的HTML中使用 <link /> 标签来避免伪造根目录的 apple-touch-icon.png

为了改善性能,通常情况下,让浏览器主动缓存静态资源是个好主意, 这样浏览器就不会发送不必要的可能在渲染页面时阻塞的 If-Modified-SinceEtag 请求了, Tornado使用 静态内容版本(static content versioning) 来支持此项功能。

为了使用这些功能,在你的模板中使用 static_url 方法,而不是直接在你的HTML中输入静态文件的URL:

<html>
    <head>
        <title>FriendFeed - {{ _("Home") }}</title>
    </head>
    <body>
        <div><img src="{{ static_url("images/logo.png") }}"/></div>
    </body>
</html>

static_url() 函数将把相对路径翻译成一个URI类似于 /static/images/logo.png?v=aae54.其中的 v 参数是 logo.png 内容的哈希(hash),并且它的存在使得Tornado服务向用户的浏览器发送缓存头,这将使浏览器无限期的缓存内容。

因为参数 v 是基于文件内容的,如果你更新一个文件并重启服务,它将发送一个新的 v 值,所以用户的浏览器将会自动的拉去新的文件。如果文件的内容没有改变,浏览器将会继续使用本地缓存的副本,而不会从服务器检查更新,显著的提高了渲染性能。

在生产中,你可能想提供静态文件通过一个更优的静态服务器, 比如nginx,你可以配置任何web服务器识别通过 static_url() 提供的版本标签并相应的设置缓存头。下面是我们在 FriendFeed 使用的nginx相关配置的一部分:

location /static/ {
    root /var/friendfeed/static;
    if ($query_string) {
        expires max;
    }
 }

Debug模式和自动重载

如果传递 debug=True 配置给 Application 的构造函数,应用程序将会运行在debug/开发模式。 在这个模式下,为了方便于开发的一些功能将被启用( 每一个也可以作为独立的标签使用,如果它们都被专门指定,那它们都将获得独立的优先级):

  • autoreload=True: 应用程序将会观察它的源文件是否改变,并且当任何文件改变的时候便重载它自己。这减少了在开发中需要手动重启服务的需求。然而,在debug模式下,某些错误(例如import的时候有语法错误)会导致服务 关闭,并且无法自动恢复。
  • compiled_template_cache=False: 模板将不会被缓存。
  • static_hash_cache=False: 静态文件哈希 (被 static_url 函数使用) 将不会被缓存。
  • serve_traceback=True: 当一个异常在 RequestHandler 中没有捕获,将会生成一个包含调用栈信息的错误页。

自动重载(autoreload)模式和 HTTPServer 的多进程模式不兼容,你不能给 HTTPServer.start 传递 1 以外的参数(或者调用 tornado.process.fork_processes) 当你使用自动重载模式的时候。

debug模式的自动重载功能可作为一个独立的模块位于 tornado.autoreload。以下两者可以结合使用,在语法错误之时提供额外的健壮性: 设置 autoreload=True 可以在app运行时检测文件修改,还有启动 python -m tornado.autoreload myserver.py 来捕获任意语法错误或者其他的启动时错误。

重载会丢失任何Python解释器命令行参数(-u). 因为它使用 sys.executablesys.argv 重新执行Python。此外,修改这些变量将造成重载错误。

在一些平台(包括Windows 和Mac OSX 10.6之前),进程不能被“原地”更新,所以当检测到代码更新,旧服务就会退出然后启动一个新服务。这已经被公知来混淆一些IDE。

WSGI和Google App Engine

Tornado通常是独立运行的,不需要一个WSGI容器。然而,在一些环境中 (例如Google App Engine),只运行WSGI,应用程序不能独立运行自己的服务。在这种情况下,Tornado支持一个有限制的操作模式,不支持异步操作但允许一个Tornado’s功能的子集在仅WSGI环境中。以下功能在WSGI模式下是不支持的,包括协程,@asynchronous 装饰器,AsyncHTTPClientauth 模块和WebSockets。

你可以使用 tornado.wsgi.WSGIAdapter 把一个Tornado Application 转换成WSGI应用。在这个例子中, 配置你的WSGI容器发 现 application 对象:

import tornado.web
import tornado.wsgi

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello, world")

tornado_app = tornado.web.Application([
    (r"/", MainHandler),
])
application = tornado.wsgi.WSGIAdapter(tornado_app)

EN:http://www.tornadoweb.org/en/stable/guide/running.html

© 著作权归作者所有

共有 人打赏支持
lalamina
粉丝 15
博文 22
码字总数 12786
作品 0
杭州
程序员
私信 提问
加载中

评论(4)

洛阳码农
多年前用过
jun冥想
jun冥想
79点赞
JRoger_
JRoger_
还是没有明白怎么独立部署
平果
平果
赞一个
深入理解 Python WSGI:一起写一个 Web 服务器

导读: 本系列深入浅出的讲述了如何用 Python 从 0 开始,写一个 web 服务器,并让其与业界流行的 web 框架协同工作,最后还进一步完善了开头的 web 服务器 demo,让其可以支持多并发请求的处...

大数据之路
2015/08/03
0
0
Go 和 Python Web 服务器性能对比

我通常使用 Python 来构建 Web 应用。一年前,在兴趣的驱使下,我开始学习 Go。 在此期间,我重写了一些原本由 C 开发的 CGI 应用,包括运行于 chroot 环境下的同 thttpd 服务器一起的应用。...

renwofei423
2011/04/27
10.7K
9
Tornoda使用相关

本文档意在帮助Tornado初学者快速搭建Tornado环境,安装所需的依赖包。由于Unix版本众多,所以文档中的安装方法不可能适用于所有系统,仅供参考,谢谢。 版本要求 Python-2.6.9 (< 3.X) to...

boatgm
2015/04/24
1
0
如何在Mopaas上,创建部署WSGI类型的(Django, Tornado, Flask)Python应用 ?

第一部分:安装必要工具。 1.因为这是部署Python开发环境,所以安装pip可以简化一些软件的安装过程。(PIP对应Lua的luarocks) 安装三个Python框架 2.安装Gunicorn,这是运行Python的WSGI HT...

糖果L5Q
2015/09/09
534
2
全面解读python web 程序的9种部署方式

python有很多web 开发框架,代码写完了,部署上线是个大事,通常来说,web应用一般是三层结构 web server ---->application -----> DB server 主流的web server 一个巴掌就能数出来,apache,...

不必在乎朕是谁
2013/11/22
0
1

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 没时间 没头发 但有钱

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @开源中国总经办主任 :分享齐一的单曲《这个年纪》 《这个年纪》- 齐一 手机党少年们想听歌,请使劲儿戳(这里) @肿肿卷 :我真的可以睡一天...

小小编辑
8分钟前
0
0
Django进阶 1.1 ORM基础—ORM 1.2.1 增删改查之查询 1.2.2 删改增 (1) 1.2.3 删改增 (2)

ORM基础 ORM是Django操作数据库的API,Django的作者将sql语句封装在里面供我们使用。 我们前面还提到过Django提供一个模拟数据库的工具,sqlite,供我们学习测试使用。 如果我们想使用mysql...

隐匿的蚂蚁
今天
1
0
Windows 上安装 Scala

在安装 Scala 之前需要先安装 Java 环境,具体安装的详细方法就不在这里描述了。 您可以自行搜索我们网站中的内容获得其他网站的帮助来获得如何安装 Java 环境的方法。 接下来,我们可以从 ...

honeymose
今天
3
0
数据库篇多表操作

第1章 多表操作 实际开发中,一个项目通常需要很多张表才能完成。例如:一个商城项目就需要分类表(category)、商品表(products)、订单表(orders)等多张表。且这些表的数据之间存在一定的关系...

stars永恒
今天
3
0
nginx日志自动切割

1.日志配置(Nginx 日志) access.log----记录哪些用户,哪些页面以及用户浏览器,IP等访问信息;error.log------记录服务器错误的日志 #配置日志存储路径:location / {      a...

em_aaron
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部