自己動手開發一個 Web 服務器（二）

jopen 8年前發布 | 23K 次閱讀 WSGI Web服務器

在《自己動手開發一個 Web 服務器（一）》中，我給大家留了一個問題：如何在不對服務器代碼作任何修改的情況下，通過該服務器運行Djando應用、Flask應用和Pyramid應用，同時滿足這些不同網絡框架的要求？讀完這篇文章，你就可以回答這個問題了。

以前，你選擇的Python網絡框架將會限制所能夠使用的 Web 服務器，反之亦然。如果框架和服務器在設計時就是可以相互匹配的，那你就不會面臨這個問題：

但是如果你試圖將設計不相匹配的服務器與框架相結合，那么你肯定就會碰到下面這張圖所展示的這個問題：

這就意味著，你基本上只能使用能夠正常運行的服務器與框架組合，而不能選擇你希望使用的服務器或框架。

那么，你怎樣確保可以在不修改 Web 服務器代碼或網絡框架代碼的前提下，使用自己選擇的服務器，并且匹配多個不同的網絡框架呢？為了解決這個問題，就出現了Python Web 服務器網關接口 （ Web Server Gateway Interface，WSGI ） 。

WSGI 的出現，讓開發者可以將網絡框架與 Web 服務器的選擇分隔開來，不再相互限制。現在，你可以真正地將不同的 Web 服務器與網絡開發框架進行混合搭配，選擇滿足自己需求的組合。例如，你可以使用Gunicorn或Nginx/uWSGI或Waitress服務器來運行Django、Flask或Pyramid應用。正是由于服務器和框架均支持WSGI，才真正得以實現二者之間的自由混合搭配。

所以，WSGI就是我在上一篇文章中所留問題的答案。你的 Web 服務器必須實現一個服務器端的WSGI接口，而目前所有現代Python網絡框架都已經實現了框架端的WSGI接口，這樣開發者不需要修改服務器的代碼，就可以支持某個網絡框架。

Web 服務器和網絡框架支持WSGI協議，不僅讓應用開發者選擇符合自己需求的組合，同時也有利于服務器和框架的開發者，因為他們可以將注意力集中在自己擅長的領域，而不是相互傾軋。其他編程語言也擁有類似的接口：例如Java的Servlet API和Ruby的Rack。

口說無憑，我猜你肯定在想：“無代碼無真相！”既然如此，我就在這里給出一個非常簡單的WSGI服務器實現：

# Tested with Python 2.7.9, Linux & Mac OS X
import socket
import StringIO
import sys


class WSGIServer(object):

    address_family = socket.AF_INET
    socket_type = socket.SOCK_STREAM
    request_queue_size = 1

    def __init__(self, server_address):
        # Create a listening socket
        self.listen_socket = listen_socket = socket.socket(
            self.address_family,
            self.socket_type
        )
        # Allow to reuse the same address
        listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        # Bind
        listen_socket.bind(server_address)
        # Activate
        listen_socket.listen(self.request_queue_size)
        # Get server host name and port
        host, port = self.listen_socket.getsockname()[:2]
        self.server_name = socket.getfqdn(host)
        self.server_port = port
        # Return headers set by Web framework/Web application
        self.headers_set = []

    def set_app(self, application):
        self.application = application

    def serve_forever(self):
        listen_socket = self.listen_socket
        while True:
            # New client connection
            self.client_connection, client_address = listen_socket.accept()
            # Handle one request and close the client connection. Then
            # loop over to wait for another client connection
            self.handle_one_request()

    def handle_one_request(self):
        self.request_data = request_data = self.client_connection.recv(1024)
        # Print formatted request data a la 'curl -v'
        print(''.join(
            '< {line}\n'.format(line=line)
            for line in request_data.splitlines()
        ))

        self.parse_request(request_data)

        # Construct environment dictionary using request data
        env = self.get_environ()

        # It's time to call our application callable and get
        # back a result that will become HTTP response body
        result = self.application(env, self.start_response)

        # Construct a response and send it back to the client
        self.finish_response(result)

    def parse_request(self, text):
        request_line = text.splitlines()[0]
        request_line = request_line.rstrip('\r\n')
        # Break down the request line into components
        (self.request_method,  # GET
         self.path,            # /hello
         self.request_version  # HTTP/1.1
         ) = request_line.split()

    def get_environ(self):
        env = {}
        # The following code snippet does not follow PEP8 conventions
        # but it's formatted the way it is for demonstration purposes
        # to emphasize the required variables and their values
        #
        # Required WSGI variables
        env['wsgi.version']      = (1, 0)
        env['wsgi.url_scheme']   = 'http'
        env['wsgi.input']        = StringIO.StringIO(self.request_data)
        env['wsgi.errors']       = sys.stderr
        env['wsgi.multithread']  = False
        env['wsgi.multiprocess'] = False
        env['wsgi.run_once']     = False
        # Required CGI variables
        env['REQUEST_METHOD']    = self.request_method    # GET
        env['PATH_INFO']         = self.path              # /hello
        env['SERVER_NAME']       = self.server_name       # localhost
        env['SERVER_PORT']       = str(self.server_port)  # 8888
        return env

    def start_response(self, status, response_headers, exc_info=None):
        # Add necessary server headers
        server_headers = [
            ('Date', 'Tue, 31 Mar 2015 12:54:48 GMT'),
            ('Server', 'WSGIServer 0.2'),
        ]
        self.headers_set = [status, response_headers + server_headers]
        # To adhere to WSGI specification the start_response must return
        # a 'write' callable. We simplicity's sake we'll ignore that detail
        # for now.
        # return self.finish_response

    def finish_response(self, result):
        try:
            status, response_headers = self.headers_set
            response = 'HTTP/1.1 {status}\r\n'.format(status=status)
            for header in response_headers:
                response += '{0}: {1}\r\n'.format(*header)
            response += '\r\n'
            for data in result:
                response += data
            # Print formatted response data a la 'curl -v'
            print(''.join(
                '> {line}\n'.format(line=line)
                for line in response.splitlines()
            ))
            self.client_connection.sendall(response)
        finally:
            self.client_connection.close()


SERVER_ADDRESS = (HOST, PORT) = '', 8888


def make_server(server_address, application):
    server = WSGIServer(server_address)
    server.set_app(application)
    return server


if __name__ == '__main__':
    if len(sys.argv) < 2:
        sys.exit('Provide a WSGI application object as module:callable')
    app_path = sys.argv[1]
    module, application = app_path.split(':')
    module = __import__(module)
    application = getattr(module, application)
    httpd = make_server(SERVER_ADDRESS, application)
    print('WSGIServer: Serving HTTP on port {port} ...\n'.format(port=PORT))
    httpd.serve_forever()

上面的代碼比第一部分的服務器實現代碼要長的多，但是這些代碼實際也不算太長，只有不到150行，大家理解起來并不會太困難。上面這個服務器的功能也更多——它可以運行你使用自己喜歡的框架所寫出來的網絡應用，無論你選擇Pyramid、Flask、Django或是其他支持WSGI協議的框架。

你不信？你可以自己測試一下，看看結果如何。將上述代碼保存為 webserver2.py ，或者直接從我的 Github倉庫 下載。如果你運行該文件時沒有提供任何參數，那么程序就會報錯并退出。 

$ python webserver2.py
Provide a WSGI application object as module:callable

上述程序設計的目的，就是運行你開發的網絡應用，但是你還需要滿足一些它的要求。要運行服務器，你只需要安裝Python即可。但是要運行使用Pyramid、Flask和Django等框架開發的網絡應用，你還需要先安裝這些框架。我們接下來安裝這三種框架。我傾向于使用 virtualenv 安裝。請按照下面的提示創建并激活一個虛擬環境，然后安裝這三個網絡框架。 

$ [sudo] pip install virtualenv
$ mkdir ~/envs
$ virtualenv ~/envs/lsbaws/
$ cd ~/envs/lsbaws/
$ ls
bin  include  lib
$ source bin/activate
(lsbaws) $ pip install pyramid
(lsbaws) $ pip install flask
(lsbaws) $ pip install django

接下來，你需要創建一個網絡應用。我們首先創建Pyramid應用。將下面的代碼保存為 pyramidapp.py 文件，放至 webserver2.py 所在的文件夾中，或者直接從 我的Github倉庫 下載該文件： 

from pyramid.config import Configurator
from pyramid.response import Response


def hello_world(request):
    return Response(
        'Hello world from Pyramid!\n',
        content_type='text/plain',
    )

config = Configurator()
config.add_route('hello', '/hello')
config.add_view(hello_world, route_name='hello')
app = config.make_wsgi_app()

現在，你可以通過自己開發的 Web 服務器來啟動上面的Pyramid應用。

(lsbaws) $ python webserver2.py pyramidapp:app
WSGIServer: Serving HTTP on port 8888 ...

在運行 webserver2.py 時，你告訴自己的服務器去加載 pyramidapp 模塊中的 app 可調用對象（callable）。你的服務器現在可以接收HTTP請求，并將請求中轉至你的Pyramid應用。應用目前只能處理一個路由（route）：/hello。在瀏覽器的地址欄輸入 http://localhost:8888/hello ，按下回車鍵，觀察會出現什么情況：

你還可以在命令行使用 curl 命令，來測試服務器運行情況： 

$ curl -v http://localhost:8888/hello
...

接下來我們創建Flask應用。重復上面的步驟。

from flask import Flask
from flask import Response
flask_app = Flask('flaskapp')


@flask_app.route('/hello')
def hello_world():
    return Response(
        'Hello world from Flask!\n',
        mimetype='text/plain'
    )

app = flask_app.wsgi_app

將上面的代碼保存為 flaskapp.py ，或者直接從 我的Github倉庫 下載文件，并運行： 

(lsbaws) $ python webserver2.py flaskapp:app
WSGIServer: Serving HTTP on port 8888 ...

然后在瀏覽器地址欄輸入 http://localhost:8888/hello ，并按下回車：

同樣，在命令行使用 curl 命令，看看服務器是否會返回Flask應用生成的信息： 

$ curl -v http://localhost:8888/hello
...

這個服務器是不是也能支持Django應用？試一試就知道了！不過接下來的操作更為復雜一些，我建議大家克隆整個倉庫，并使用其中的 djangoapp.py 文件。下面的代碼將一個名叫 helloworld 的Django應用添加至當前的Python路徑中，然后導入了該項目的WSGI應用。 

import sys
sys.path.insert(0, './helloworld')
from helloworld import wsgi


app = wsgi.application

將上面的代碼保存為 djangoapp.py ，并使用你開發的服務器運行這個Django應用。 

(lsbaws) $ python webserver2.py djangoapp:app
WSGIServer: Serving HTTP on port 8888 ...

同樣，在瀏覽器中輸入 http://localhost:8888/hello ，并按下回車鍵：

接下來，和前面幾次一樣，你通過命令行使用 curl 命令進行測試，確認了這個Djando應用成功處理了你發出的請求： 

$ curl -v http://localhost:8888/hello
...

你有沒有按照上面的步驟測試？你做到了讓服務器支持全部三種框架嗎？如果沒有，請盡量自己動手操作。閱讀代碼很重要，但這系列文章的目的在于重新開發，而這意味著你需要自己親自動手。最好是你自己重新輸入所有的代碼，并確保代碼運行結果符合預期。

經過上面的介紹，你應該已經認識到了WSGI的強大之處：它可以讓你自由混合搭配 Web 服務器和框架。WSGI為Python Web 服務器與Python網絡框架之間的交互提供了一個極簡的接口，而且非常容易在服務器端和框架端實現。下面的代碼段分別展示了服務器端和框架端的WSGI接口：

def run_application(application):
    """Server code."""
    # This is where an application/framework stores
    # an HTTP status and HTTP response headers for the server
    # to transmit to the client
    headers_set = []
    # Environment dictionary with WSGI/CGI variables
    environ = {}

    def start_response(status, response_headers, exc_info=None):
        headers_set[:] = [status, response_headers]

    # Server invokes the ‘application' callable and gets back the
    # response body
    result = application(environ, start_response)
    # Server builds an HTTP response and transmits it to the client
    …

def app(environ, start_response):
    """A barebones WSGI app."""
    start_response('200 OK', [('Content-Type', 'text/plain')])
    return ['Hello world!']

run_application(app)

下面給大家解釋一下上述代碼的工作原理：

  1. 網絡框架提供一個命名為 application 的可調用對象（WSGI協議并沒有指定如何實現這個對象）。
  2. 服務器每次從HTTP客戶端接收請求之后，調用 application 。它會向可調用對象傳遞一個名叫 environ 的字典作為參數，其中包含了WSGI/CGI的諸多變量，以及一個名為 start_response 的可調用對象。
  3. 框架/應用生成HTTP狀態碼以及HTTP 響應報頭 （ response headers ） ，然后將二者傳遞至 start_response ，等待服務器保存。此外，框架/應用還將返回響應的正文。
  4. 服務器將狀態碼、響應報頭和響應正文組合成HTTP響應，并返回給客戶端（這一步并不屬于WSGI協議）。

下面這張圖直觀地說明了WSGI接口的情況：

有一點要提醒大家，當你使用上述框架開發網絡應用的時候，你處理的是更高層級的邏輯，并不會直接處理WSGI協議相關的要求，但是我很清楚，既然你正在看這篇文章，你一定對框架端的WSGI接口很感興趣。所以，我們接下來在不使用Pyramid、Flask或Djando框架的前提下，自己開發一個極簡的WSGI網絡應用/網絡框架，并使用WSGI服務器運行該應用：

def app(environ, start_response):
    """A barebones WSGI application.

    This is a starting point for your own Web framework :)
    """
    status = '200 OK'
    response_headers = [('Content-Type', 'text/plain')]
    start_response(status, response_headers)
    return ['Hello world from a simple WSGI application!\n']

將上述代碼保存為 wsgiapp.py 文件，或者直接從 我的Github倉庫 下載，然后利用 Web 服務器運行該應用： 

(lsbaws) $ python webserver2.py wsgiapp:app
WSGIServer: Serving HTTP on port 8888 ...

在瀏覽器中輸入下圖中的地址，然后按回車鍵。結果應該是這樣的：

你剛剛自己編寫了一個極簡的WSGI網絡框架！太不可思議了。

接下來，我們重新分析服務器返回給客戶端的對象。下面這張圖展示的是你通過HTTP客戶端調用Pyramid應用后，服務器生成的HTTP響應：

上圖中的響應與你在第一篇中看到的有些類似，但是也有明顯不同之處。舉個例子，其中就出現了你之前沒有看到過的4個HTTP報頭：Content-Type，Content-Length，Date和Server。這些事 Web 服務器返回的響應對象通常都會包含的報頭。不過，這四個都不是必須的。報頭的目的是傳遞有關HTTP請求/響應的額外信息。

既然你已經對WSGI接口有了更深的理解，下面這張圖對響應對象的內容進行了更詳細的解釋，說明了每條內容是如何產生的。

到目前為止，我還沒有介紹過 environ 字典的具體內容，但簡單來說，它是一個必須包含著WSGI協議所指定的某些WSGI和CGI變量。服務器從HTTP請求中獲取字典所需的值。下面這張圖展示的是字典的詳細內容：

網絡框架通過該字典提供的信息，根據指定的路由和請求方法等參數來決定使用哪個 視圖 （ views ） ，從哪里讀取請求正文，以及如何輸出錯誤信息。

截至目前，你已經成功創建了自己的支持WSGI協議的 Web 服務器，還利用不同的網絡框架開發了多個網絡應用。另外，你還自己開發了一個極簡的網絡框架。本文介紹的內容不可謂不豐富。我們接下來回顧一下WSGI Web 服務器如何處理HTTP請求：

  • 首先，服務器啟動并加載網絡框架/應用提供的 application 可調用對象
  • 然后，服務器讀取一個請求信息
  • 然后，服務器對請求進行解析
  • 然后，服務器使用請求數據創建一個名叫 environ 的字典
  • 然后，服務器以 environ 字典和 start_response 可調用對象作為參數，調用 application ，并獲得應用生成的響應正文。
  • 然后，服務器根據調用 application 對象后返回的數據，以及 start_response 設置的狀態碼和響應標頭，構建一個HTTP響應。
  • 最后，服務器將HTTP響應返回至客戶端。

以上就是第二部分的所有內容。你現在已經擁有了一個正常運行的WSGI服務器，可以支持通過遵守WSGI協議的網絡框架所寫的網絡應用。最棒的是，這個服務器可以不需要作任何代碼修改，就可以與多個網絡框架配合使用。

最后，我再給大家留一道思考題：怎樣讓服務器一次處理多個請求？

來自： http://linux.cn/article-6816-1.html

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！