PythonBeautifulSoupBeautifulSoup是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.BeautifulSoup提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱,通過解析文檔為用戶提供需要抓取的數據,因為簡單,所以不需要多少代碼就可以寫出一個完整的應用程序。
selenium 技術元素定位的幾種方法: WebDriver API ,selenium IDE,selenium grid python 技術函數、類、方法;讀寫文件,unitest單元測試框架,HTMLTestRunner.py,發郵件模塊,多線程技術等。
Fiddler是最強大最好用的Web調試工具之一,它能記錄所有客戶端和服務器的http和https請求,允許你監視,設置斷點,甚至修改輸入輸出數據,Fiddler包含了一個強大的基于事件腳本的子系統
藍牙設備之間可互相探查,進行連接形成自組網 48位的設備地址BD_ADDR 發起連接的那個設備叫主單元,其余被連接的為從單元 從單元被暫時分配一個3位的活躍成員地址AM_ADDR 由一個主單元和一個或多個從單元組成的自組網稱為微微網 ,一個微微網最多只可以有7個從單元 由多個這種微微網結合形成了散射網
課程目標: 掌握程序設計語言開發的一般步驟 編譯并運行Java應用程序 理解并使用Java的在線幫助文檔 理解Java語言的語法元素和結構特點 理解面向對象程序設計的一般特性,并且能使用這些特性 理解并使用Java異常處理機制
JSP全稱是Java Server Pages,它和servle技術一樣,都是SUN公司定義的一種用于開發動態web資源的技術。 JSP這門技術的最大的特點在于,寫jsp就像在寫html,但: 它相比html而言,html只能為用戶提供靜態數據,而Jsp技術允許在頁面中嵌套java代碼,為用戶提供動態數據。 相比servlet而言,servlet很難對數據進行排版,而jsp除了可以用java代碼產生動態數據的同時,也很容易對數據進行排版。 Jsp快速入門:在jsp頁面中輸出當前時間。
Python爬蟲許超英python爬蟲基礎知識:Python基礎知識Python中urllib和urllib2庫的用法Python正則表達式Python爬蟲框架ScrapyPython爬蟲更高級的功能Python中urllib2庫的用法urllib2是爬取網頁非常重要的一個庫:importurllib2response=urllib2.urlopen(“http://www.baidu.com”)urllib2.urlopen()printresponse.read()urllib2庫的高級應用1.設置Headers有些網站不會同意程序直接用上面的方式進行訪問,如果識別有問題,那么站點根本不會響應,所以為了完全模擬瀏覽器的工作,需要設置一些Headers的屬性。agent就是請求的身份,如果沒有寫入請求身份,那么服務器不一定會響應,所以可以在headers中設置agent。urllib2庫的高級應用headers的一些屬性,下面的需要特別注意一下:User-Agent:有些服務器或Proxy會通過該值來判斷是否是瀏覽器發出的請求Content-Type:在使用REST接口時,服務器會檢查該值,用來確定HTTPBody中的內容該怎樣解析。application/xml:在XMLRPC,如RESTful/SOAP調用時使用application/json:在JSONRPC調用時使用application/x-www-form-urlencoded:瀏覽器提交Web表單時使用在使用服務器提供的RESTful或SOAP服務時,Content-Type設置錯誤會導致服務器拒絕服務urllib2庫的高級應用2.Proxy(代理)的設置urllib2默認會使用環境變量http_proxy來設置HTTPProxy。假如一個網站它會檢測某一段時間某個IP的訪問次數,如果訪問次數過多,它會禁止你的訪問。所以你可以設置一些代理服務器來幫助你做工作,每隔一段時間換一個代理,網站君都不知道是誰在搗鬼了,這酸爽!3.Timeout設置urlopen方法中,第三個參數就是timeout的設置,可以設置等待多久超時,為了解決一些網站實在響應過慢而造成的影響。importurllib2response=urllib2.urlopen('http://www.baidu.com',timeout=10)4.使用HTTP的PUT和DELETE方法http協議有六種請求方法,get,head,put,delete,post,options,我們有時候需要用到PUT方式或者DELETE方式請求。PUT:這個方法比較少見。HTML表單也不支持這個。本質上來講,PUT和POST極為相似,都是向服務器發送數據,但它們之間有一個重要區別,PUT通常指定了資源的存放位置,而POST則沒有,POST的數據存放位置由服務器自己決定。DELETE:刪除某一個資源。基本上這個也很少見,不過還是有一些地方比如amazon的S3云服務里面就用的這個方法來刪除資源。5.使用DebugLog可以通過下面的方法把DebugLog打開,這樣收發包的內容就會在屏幕上打印出來,方便調試,這個也不太常用importurllib2httpHandler=urllib2.HTTPHandler(debuglevel=1)httpsHandler=urllib2.HTTPSHandler(debuglevel=1)opener=urllib2.build_opener(httpHandler,httpsHandler)urllib2.install_opener(opener)response=urllib2.urlopen('http://www.baidu.com')URLError首先解釋下URLError可能產生的原因:網絡無連接,即本機無法上網連接不到特定的服務器服務器不存在HTTPERRORHTTPError是URLError的子類,在你利用urlopen方法發出一個請求時,服務器上都會對應一個應答對象response,其中它包含一個數字”狀態碼”。舉個例子,假如response是一個”重定向”,需定位到別的地址獲取文檔,urllib2將對此進行處理。其他不能處理的,urlopen會產生一個HTTPError,對應相應的狀態嗎,HTTP狀態碼表示HTTP協議所返回的響應的狀態。下面將狀態碼歸結如下:100:繼續客戶端應當繼續發送請求。客戶端應當繼續發送請求的剩余部分,或者如果請求已經完成,忽略這個響應。101:轉換協議在發送完這個響應最后的空行后,服務器將會切換到在Upgrade消息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該采取類似措施。102:繼續處理由WebDAV(RFC251
HTML(Hyper Text Markup Language 超文本標識語言) 是一種用來制作超文本文檔的簡單標記語言。 用HTML編寫的超文本文件稱為HTML文件,也稱Web文件。 萬維網(亦作“Web”、“WWW”、“W3”,英文全稱為“World Wide Web”),是一個由許多互相鏈接的超文本文檔組成的系統,通過互聯網訪問。 在這個系統中,每個有用的事物,稱為一樣“資源”;并且由一個全域“統一資源標識符”(URI)標識;這些資源通過超文本傳輸協議(HTTP)傳送給使用者,而后者通過點擊鏈接來獲得資源。 萬維網常被當成互聯網的同義詞,這是一種誤解,萬維網是靠著互聯網運行的一項服務。
Servlet是Java技術對CGI編程的實現。Servlet程序在服務器端運行,動態地生成Web頁面。與傳統的CGI和許多其他類似CGI的技術相比,Java Servlet具有更高的效率,更容易使用,功能更強大,具有更好的可移植性,更節省投資。 高效 方便 可移植性好 節省投資
如果某個類要成為Servlet,則它應該從HttpServlet 繼承, 根據數據是通過GET還是POST發送,重載doGet、doPost方法之一或全部。 doGet和doPost方法都有兩個參數,分別為HttpServletRequest 類型和HttpServletResponse 類型。 HttpServletRequest提供訪問有關請求的信息的方法,例如表單數據、HTTP請求頭等等。 HttpServletResponse除了提供用于指定HTTP應答狀態(200,404等)、應答頭(Content-Type,Set-Cookie等)的方法之外,最重要的是它提供了一個用于向客戶端發送數據的PrintWriter 。 對于簡單的Servlet來說,它的大部分工作是通過println語句生成向客戶端發送的頁面。 必須導入java.io包(要用到PrintWriter等類)、javax.servlet包(要用到HttpServlet等類)以及javax.servlet.http包(要用到HttpServletRequest類和HttpServletResponse類)。 doGet和doPost這兩個方法是由service方法調用的,有時你可能需要直接重載service方法,比如Servlet要處理GET和POST兩種請求時
J2EE角色組成開發工具商:提供組件開發工具、應用程序集成工具、應用程序部署工具、界面編輯工具。應用服務器提供商:負責設計和開發J2EE應用服務器(依據J2EE規范)應用開發人員:負責開發組件、寫部署描述文件、設計界面(顯示數據)應用集成人員:負責將各種界面、組件、描述文件、驅動程序、其他屬性文件集成部署人員:負責將J2EE集成文件部署的應用服務器系統管理員:負責調整服務器的運行參數、監視服務器的運行情況J2EE應用開發編寫和編譯組件代碼Servlet,JSP,EJB編寫組件的部署描述符把組件裝配成可部署的軟件包將軟件包部署到J2EE應用服務器上開發工具JBuilder商用功能完備EclipseOpenSource插件豐富
LINUX/UNIX簡介是一套免費使用和自由傳播的類UNIX系統主要基于INTELX86系列CPU的計算機.由全世界各地的成千上萬程序員設計和實現.
全稱Representational State Transfer(表述性狀態移交) 由Roy Fielding在其2000年的博士論文Architectural Styles and the Design of Network-based Software Architectures(架構風格與基于網絡應用軟件的架構設計)中提出 有兩種理解方式 REST是一種抽象的架構風格(architectural style) REST是一種為 面向互聯網的應用軟件 量身定制的架構風格 REST是Web自身的架構風格,是Web取得巨大成功在技術層面的原因和理論基礎 REST在Web上是普適的,同時適用于Web應用和Web API REST是一種分布式應用的架構設計方法
XSS 試講部分
第1章服務器基礎1.1網絡服務器概述1.2網絡服務器主要技術與指標1.3網絡服務器產品介紹1.4網絡服務器選型小結習題與思考1.1網絡服務器概述 服務器是指在網絡環境下運行相應的應用軟件,為網上用戶提供共享信息資源和各種服務的一種高性能計算機,英文名稱叫做Server。 說到服務器,就不得不提客戶/服務器(Client/Server)網絡計算機模式,如圖1.1所示。其中,客戶請求服務,服務器處理和提供服務。服務可以是數據庫服務、文件服務、檢索服務和其他各種各樣的應用服務等。服務器包括服務器硬件和服務器軟件。