solr數據增量更新思路

chyx413332087 11年前發布 | 9K 次閱讀 5.2.1版本發布

solr 可以將數據源 在solr服務器上建立索引,已提供企業查詢
 數據源:可以是文本,pdf,數據庫等
 這里只初探數據庫
1: 首先是配置 數據庫的連接
2:在配置文件里面 作相應的entry實體 處理語句
下面是對應的含義

query:獲取數據元的數據

deletedpkquery:增量刪除,更新solr刪除文檔

deltaQuery語句是用于增量導入(Delta Import)中獲取符合增量導入標準的數據的主鍵的SQL,供deltaImportQuery查詢使用。它將數據表中每一筆記錄執行寫操作的時候更新字段last_index_time為當前系統時間,這句sql是從數據表中取出更新字段比solr上次更新時間晚的記錄,加入或更新到solr索引。

deltaImportQuery語句增量導入(Delta Import)中獲取需要增量索引數據(document)的字段(field)

solr 是根據配置的語句 去作相應的事,可以理解為 solr根據我們自己配置的sql,去數據庫取出數據,再更新索引文檔,
如何保證增量呢 ,  1:首頁要有數據庫方面的字段設計,一般字段設計會有 一個字段表示 最后更新時間
然后 通過 where last_index_time 與數據庫中的最后更新時間,作比較,就能取出增量更新數據 ,
last_index_time  是solr服務器,在全量或者增量導入數據是,每個對應的最后導入時間,在solr\collection1\conf\dataimport.properties文件里面

 本文由用戶 chyx413332087 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!