美國“監控門”情報收集系統 X-Keyscore 技術揭秘

              美國“棱鏡”監控計劃曝光者愛德華·斯諾登近日再度爆出猛料，曝光了美國國家安全局的情報收集系統X-Keyscore 的相關技術細節。

        根據資料顯示，美國情報機構分析人員可以通過X-Keyscore 對個人的互聯網活動進行實時監控。據悉，2012 年X-Keyscore 在 1 個月內存儲的各類監控數據記錄高達 410 億條。

        斯諾登曝光了 NSA（美國國家安全局）內部關于X-Keyscore 的培訓幻燈片，從中你可以看出這個系統有多么強大。幻燈片內容編譯如下：

        什么是X-Keyscore

• DNI（國家情報局）采集系統/分析框架
• 可針對郵件、內容等執行強大的查詢操作
• 提供實時的目標活動信息
• 所有未過濾的數據可在X-Keyscore 緩沖區存放 3 天（通過X-Keyscore，可存儲所監控網站的完整數據，并為元數據建立索引，并可以為通用數據類型提供一系列視圖）

        這是一個聯合查詢系統——執行 1 次查詢將會掃描所有網站，并通過挖掘元數據，來找到你之前聞所未聞的目標事件。

        系統相關細節

• 大規模分布式 Linux 集群
• 超過 700 臺服務器分布在世界各地
• 系統可以線性擴展——只需添加新的服務器即可
• 服務器群集
• 聯合查詢機制

        X-Keyscore查詢層級

        X-Keyscore 部署在哪？

        X-Keyscore 部署在 150 多個地點，擁有超過 700 個服務器。（注意地圖上中國境內的紅點）

        X-Keyscore 的獨特功能

        你可以執行淺顯分析，作用是：

• 你可以看更多數據
• 如果數據率過高， X-Keyscore 也能被配置為淺顯分析

        也可以執行深入分析，理由和作用是：

• Strong Selection 本身只提供了一個非常有限的能力
• 人們在網上執行的大部分活動基本上都是匿名的
• 可以使用這個通信量及時發現異常情況，然后指導我們去做情報工作，或針對傳統任務執行 strong selectors

        X-Keyscore 可以在收集到的會話上做什么？

        X-Keyscore 可以通過插件來提取信息，并索引元數據到表中。

        X-Keyscore 中包含了如下插件：

• E-mail 地址插件：通過用戶名和域名來索引會話中的所有E-mail 地址
• 提取文件插件：通過文件名和擴展來索引會話中的任何文件
• 完整日志插件：索引收集到的每個 DNI 會話。通過標準的N-tupple（IP、端口、Casenotation）來索引數據
• HTTP 解析器插件：索引客戶端 HTTP 流量（然后跟蹤）
• 電話號碼插件：索引會話中的每個電話號碼（例如電話本或簽名處的號碼）
• 用戶活動信息插件：索引 Webmail 和聊天內容，包括用戶名、在線好友、特定 cookies 等

        X-Keyscore 可以存儲哪些信息？

        可以存儲所有你希望提取的內容，你只需選擇你的元數據，進行存儲設置后，交給 HTTP 解析器即可。

        可以使用X-Keyscore 來做什么？

        1. 找到目標

        如何通過 strong-selectors 來找到一個已知目標？如何找到一個 strong-selectors 中沒有相關信息的恐怖分子？

        你可以通過查找異常事件和人，比如：

• 那些所使用的語言不是所在地區的人
• 使用加密技術的人
• 搜索網絡中可疑東西的人

        2. 查找加密信息

        比如：

• 顯示來自伊朗的所有加密的 word 文檔
• 顯示伊朗的所有加密軟件使用情況

        這些查詢數據量可能太大，也不可能返回所有信息，無法使用 strong-selector，這種情況可以執行追溯查詢，然后從相應的網站上找到你感興趣的內容。

        3. 技術偵查

        比如顯示X國家中的所有 V*N 啟動數據，并顯示出能夠找到用戶的一些信息。

        這些事件在X-Keyscore 中很容易瀏覽到。X-Keyscore 可以提取并存儲許多主要文檔類型的作者信息，然后執行追溯調查，來跟蹤文檔起源，這種元數據通常可保存 30 天。

        4. 收集個人會話

        方法如下：

• 傳統上可通過 strong-selector 事件觸發，但這不是唯一途徑
• 反向 PSC——將異常事件返回到 strong selector。當數據首次被強力查詢時，你不能執行這種分析
• 配合 Marina——允許在事件發生后執行 PSC 收集

        5. 語言跟蹤

        比如：如何找到在巴基斯坦講德語的人？

        你可以通過X-Keyscore 的 HTTP 活動插件提取和存儲所有能夠被搜索的 HTML 語言標簽，然后進行分析。

        6. Web 搜索事件跟蹤

        比如：我追蹤的人使用了 Google Maps 服務來查找位置，我能通過這個信息找到他的郵件地址嗎？或者能否從他的 Web 搜索信息中找到可疑信息？

        X-Keyscore 可以提取和存儲所有基于 Web 的搜索事件，你可以使用回顧性查詢來找到感興趣的內容

        7. 文檔跟蹤

        比如：我發現了一個關于“圣戰”的文檔，但已經經過無數人之手，如何找出這是誰寫的，他們在哪里？具體的方法在幻燈片中已經刪除，因為這涉及國家安全局的特定操作。

        8. 發現感興趣的文檔

        比如：能否顯示所有包含來自伊拉克的 MAC 地址的微軟 Excel 電子表格，以便我可以執行網絡映射？

        X-Keyscore 中新的提取器允許在文檔/電子郵件的正文中執行不同的字典，這些復雜的字典可以生成并存儲這些信息，針對特定的數據類型有多個字典

        9. 分析指紋信息

        可以從 TAO 中加載指紋信息到 X-Keyscore 的應用/指紋引擎中進行分析。這種操作需要復雜的布爾運算和正則表達式。

        10. 發現新的 Web 服務目標

        每天都會有新的 Web 服務，X-Keyscore 可以根據用戶 ID 來掃描服務而不是執行 strong selection，這意味著你可以檢測之前所不知道的應用程序相關活動信息。

        11. 實體提取

        X-Keyscore 擁有針對英語、阿拉伯語和中文的技術，允許你查詢：

• 顯示所有涉及 IAEO（伊朗原子能組織）的 word 文檔
• 顯示所有涉及奧薩馬·本·拉登的文檔
• 還可以查詢顯示“類似于 xxx 的 xxx”

        X-Keyscore 的成功案例

        通過X-Keyscore 生成的情報，成功捕獲了 300 多名恐怖分子。

        X-Keyscore 的創新點：

• 高速查詢
• 工具欄
• 集成 Marina
• 集成 GPRS、WLAN
• SSO CRDB
• 工作流
• 多級別字典

        X-Keyscore 的未來計劃

• 再次提速（算法和單元處理器）
• 更好地呈現
• 實體提取
• VoIP（網絡語音電話業務）
• 更多的網絡協議
• 更多類型的元數據（Google-Earth、EXIF 標記、CES-AppProcs 等）
• 更易于安裝、維護和升級

        這個幻燈片是 2008 年 NSA 內部的培訓資料，從上面顯示的內容可知，該系統無孔不入，基本上只要你在網上有相關的活動，相關信息即有可能被監控。

        斯諾登稱，他受雇于 NSA 時，曾有機會使用X-Keyscore，他形容，只要有相應的電子郵件地址，他可以對任何人進行監控，下至平民百姓，上至法官總統。

        外界對如此大規模的監控計劃普遍感到擔憂。