MongoDB 查詢超時異常 SocketTimeoutException

jopen 9年前發布 | 53K 次閱讀 MongoDB NoSQL數據庫

在對超過百萬條記錄的集合進行聚合操作。

DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");
DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}");
AggregationOutput output = logCollection.aggregate(match,group);

偶爾會發生Read timed out 異常。

com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable
    at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)
    at com.mongodb.DB.command(DB.java:261)
    at com.mongodb.DB.command(DB.java:243)    ...
Caused by: java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(SocketInputStream.java:152)

通過多次測試,發現執行一次聚合平均時間為5s,超過5s時就會報錯!

然后查看MongoDB的配置信息:

socket-timeout="5000"   //5s

socket-timeout的默認配置為0,也就是沒有限制。

沒有超時限制,系統出了問題也不容易發現,應該根據實際情況,給出合理的超時時間。

通過多次測試發現最長執行時間為6秒,就把超時時間設置成了10000。

socket-timeout="10000"   //10s

注意:MongoDB在與Spring整合時,如果要配置多個MongDB源,只會啟用最后一個<mongo:options>配置。

應該把參數配置信息存儲在properties文件中。

<mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">
    <mongo:options connections-per-host="200"
        threads-allowed-to-block-for-connection-multiplier="100"
        connect-timeout="1000" 
        max-wait-time="1000" 
        auto-connect-retry="true"
        socket-keep-alive="true" 
        socket-timeout="10000" 
        slave-ok="true"
        write-number="1" 
        write-timeout="0"
        write-fsync="true" />
</mongo:mongo>

通過Java API獲取配置參數

DBCollection logCollection = mongoTemplate.getCollection(collName);
MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions();
System.out.println(mongoOptions.getSocketTimeout());

最后一點:  ConnectionTimeOut和SocketTimeOut的區別:

   一次完整的請求包括三個階段:1、建立連接 2、數據傳輸 3、斷開連接

  如果與服務器(這里指數據庫)請求建立連接的時間超過ConnectionTimeOut,就會拋 ConnectionTimeOutException,即服務器連接超時,沒有在規定的時間內建立連接。

    如果與服務器連接成功,就開始數據傳輸了。

    如果服務器處理數據用時過長,超過了SocketTimeOut,就會拋出SocketTimeOutExceptin,即服務器響應超時,服務器沒有在規定的時間內返回給客戶端數據。

來自:http://my.oschina.net/gooke/blog/382722

</div>

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!