Python根據url獲取網頁內容

em7 9年前發布 | 3K 次閱讀 Python

    #! /usr/bin/python

# -*- coding:utf-8 -*-  
''''' 
Created on 2013-11-5 

@author: Java 
'''  
import urllib2  
import time  
import socket  
from sgmllib import SGMLParser  

class WebUtil():  
    def __init__(self):  
        self.trytims = 3  
        pass  

#讀取Url 內容  
#     timeout=10  
#     socket.setdefaulttimeout(timeout)#這里對整個socket層設置超時時間。后續文件中如果再使用到socket,不必再設置  
#     sleep_download_tine=10  
#     time.sleep(sleep_download_tine)  
    def readUrl(self,url):  
        try:  
            request = urllib2.Request(url,headers = {'User-Agent':'Magic Browser'})  
            webpage = urllib2.urlopen(url)  
            content = webpage.read()  

            return content  
            request.close()  
        except Exception,errmg:  
            print '讀取失敗:%s'%errmg  
            return None  

if __name__=='__main__':  
    web = WebUtil()  
    content = web.readUrl('http://www.baiduhome.net')  
    print content  
      </pre> 


 本文由用戶 em7 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!