基于Solr的淘寶商家交易數據實時查詢方法

`

這個字段的意義就是，一個id為222的用戶在2015年雙11當天購買了3筆價值345元的商品，在雙12當天在這個商家處又購買了一筆價值627.5元的商品。

`

之所以在Solr上進行快速數據查詢的原因是，Solr的數據源是一個已經聚合好的一份數據，數據庫上執行的join操作會耗費大量IO，在Solr查詢省去了這部分時間。

`

寬表數據從多個分表聚合，數據的語義沒有變化，只是組織形式發生了變化，如果一個SAAS的服務提供上同時為十幾萬個大賣家提供篩選服務，而每個大賣家又積累的交易數據是非常大的，全部加在一起，要將數據進行聚合化操作，有非常大的CPU和IO開銷，好在在云服務時代有強大的離線計算工具如hadoop，ODPS可以將大數據如同肉面粉一般揉（處理）成任何你想要的結構，分分鐘不在話下。

Solr引擎端數據處理

準備好全量源數據，之后就是將其轉化為Lucene的索引文件了，這個過程請查閱Solr Wiki便可，這里不進行闡述。這里要重點描述的是Solr服務端如何響應用戶的查詢請求，返回給用戶需要的查詢結果。

`

處理用戶在時間段內購買量或購買額度進行過濾，需要構建一個QParser的插件，這個插件的作用是遍歷和查參數中匹配的條件項生成命中的DocSet命中結果集。

Qparser代碼實現

下面是QparserPlugin.java節選：

for (LeafReaderContext leaf : readerContext.leaves()) {
                docBase = leaf.docBase;
                reader = leaf.reader();
                liveDocs = reader.getLiveDocs();
                terms = reader.terms("dynamicinfo");
                termEnum = terms.iterator();
                String prefixStart = sellerId + "" + startTime;
                String prefixEnd = sellerId + "_" + endTime;
                String termStr = null;
                int docid = -1;
                if ((termEnum.seekCeil(new BytesRef(prefixStart))) != SeekStatus.END) {


                do {
                    Matcher matcher = DYNAMIC_INFO
                            .matcher(termStr = termEnum.term()
                                    .utf8ToString());

                    if (!matcher.matches()) {
                        continue;
                    }

                    posting = termEnum.postings(posting);
                    docid = posting.nextDoc();


if (!(docid != PostingsEnum.NO_MORE_DOCS
    && (liveDocs == null || (liveDocs != null && liveDocs.get(docid))))) {
        continue;
}

                    if ((matcher.group(1) + "_" + matcher.group(2))
                            .compareTo(prefixEnd) > 0) {
                        break;
                    }

                    addStatis(buyerStatis, docBase, docid, matcher);

                } while (termEnum.next() != null);
            }

        }</code></pre><code data-language="java"> 

以上代碼的執行邏輯是，截取prefixStart和prefixEnd之間的term序列，進行分析如果符合過濾條件就將對應docid插入buyerStatis收集器中。
`
等第一輪數據處理過程中就在對聚合結果進行增量累加，代碼如下：
private static StaticReduce addStatis(
            Map<Integer, StaticReduce> buyerStatis, int docBase, int docid,
            Matcher matcher) {
        StaticReduce statis = buyerStatis.get(docBase + docid);
        if (statis == null) {
            statis = new StaticReduce(docBase + docid, Long.parseLong(matcher
                    .group(3))/ buyerid /);
            buyerStatis.put(docBase + docid, statis);
        }


    if (statis.buyerId != Long.parseLong(matcher.group(3))) {
        return statis;
    }

    try {
        statis.addPayCount(Integer.parseInt(matcher.group(5)));
    } catch (Exception e) {

    }
    try {
        statis.addPayment(Float.parseFloat(matcher.group(4)));
    } catch (Exception e) {

    }
    return statis;
}</code></pre><code data-language="java"> 

同時對購買數量，和購買金額進行累加。
`
最后對累加結果進行過濾，符合過濾條件的，將docid插入到bitset中：
for (StaticReduce statis : buyerStatis.values()) {
                // TODO 這里自己判斷是否要收集這條記錄
        if (statis.payCount > Integer.MAX_VALUE
                || statis.paymentSum > 1) {
            System.out.println("count:" + statis.payCount + ",sum:"


                    + statis.paymentSum);
                bitSet.set(statis.luceneDocId);
    }


}
BitDocIdSet docIdSet = new BitDocIdSet(bitSet);
            DocIdSetIterator it = docIdSet.iterator();
            final BitQuery bitquery = new BitQuery(it);
            return new QParser(qstr, localParams, params, req) {
                @Override
                public Query parse() throws SyntaxError {

                return bitquery;
            }
        };</code></pre><code data-language="java"> 

最后將bitSet包裝成BitQuery作為Qparser的parse函數的返回值，返回有solr進一步和其他結果集進行過濾。
`
Solrconfig配置實現
需要將以上的QparserPlugin插件注入到solr中，需要在solrconfig中寫以下配置：
  <queryParser name="timesegstats" class="com.xxx.qp.TimeSegStatsQParserPlugin" >                                  
      <str name="buyerField">buyer_id</str>                                                                                                              
      <str name="compoundField">dynamic_info </str>                                                                          
      <str name="countField">emailSendCount</str>                                                                                              
<str name="statsFields"></str>                                                                                                                  
  </queryParser> 
 
 
Solr查詢語句Q參數設置：

q={!multiqp q.op=AND}seller_id:1441097932588 
AND {!timesegstats sellerId=1441097932588 statsField=buyActivity startTime=20150901 endTime=20150924 startValue=1 endValue=200}
AND {!timesegstats sellerId=1441097932588 statsField=paycount startTime=20140901 endTime=20150924 startValue=2 endValue=100}  
 
 
總結

以上是一個用Solr搜索引擎解決數據庫查詢瓶頸的實例，其實搜索引擎的使用場景非常廣泛，不僅可以用在像百度這樣的大規模非結構化的數據查詢，可以定制比較復雜的排序規則。Solr更可以解決像本文講到的數據庫加速的場景，使得原本在數據庫上沒有無法實現的SQL查詢，可以通過Solr搜索引擎上輕松實現。
`
本文講到的需求，也可以使用像hive這樣的離線處理工具來實現，每次處理完成后將結果再導入到mysql中，業務端通過讀取數據庫表中的數據來向用戶展示處理結果。這樣做雖然可行，但是，沒有辦法將處理結果的實時性沒有辦法保證，而且，離線處理結果的數據結構是固化的，沒有辦法做到將處理結果靈活調整。而用Solr做到數據的查詢出口，可以很好地解決以上兩個問題。
`
 </code></code></code></code></code></code></code></code></div>