solr數據增量更新思路
solr 可以將數據源 在solr服務器上建立索引,已提供企業查詢
數據源:可以是文本,pdf,數據庫等
這里只初探數據庫
1: 首先是配置 數據庫的連接
2:在配置文件里面 作相應的entry實體 處理語句
下面是對應的含義
query:獲取數據元的數據
deletedpkquery:增量刪除,更新solr刪除文檔
deltaQuery語句是用于增量導入(Delta Import)中獲取符合增量導入標準的數據的主鍵的SQL,供deltaImportQuery查詢使用。它將數據表中每一筆記錄執行寫操作的時候更新字段last_index_time為當前系統時間,這句sql是從數據表中取出更新字段比solr上次更新時間晚的記錄,加入或更新到solr索引。
deltaImportQuery語句增量導入(Delta Import)中獲取需要增量索引數據(document)的字段(field)
solr 是根據配置的語句 去作相應的事,可以理解為 solr根據我們自己配置的sql,去數據庫取出數據,再更新索引文檔,
如何保證增量呢 , 1:首頁要有數據庫方面的字段設計,一般字段設計會有 一個字段表示 最后更新時間
然后 通過 where last_index_time 與數據庫中的最后更新時間,作比較,就能取出增量更新數據 ,
last_index_time 是solr服務器,在全量或者增量導入數據是,每個對應的最后導入時間,在solr\collection1\conf\dataimport.properties文件里面
本文由用戶 chyx413332087 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!