OSS無縫數據遷移方案

眾所周知，云計算的出現改變了IT世界的格局，更低廉的成本和更加易于擴展的特點都成為了傳統軟件行業改變的動力。而阿里云在此基礎上提供了更加完善的服務，更高的可靠性，以及更加低廉的價格，成為了業界值得優先考慮的品牌。

如果您有成千上萬的文檔、圖片、音視頻文件需要上傳到OSS上來，或者從其他的云存儲產品上遷移過來，如何才能應對規模如此龐大的數據遷移，如何處理遷移過程中業務上的新增數據？

OSS有一套完整的無縫數據遷移方案可以幫您解決這些問題。

</div>

方案

整個遷移過程分為下面幾個步驟：

• 配置Bucket回源屬性，配置好數據在OSS讀取miss之后回源的地址。配置好之后如果訪問某Object miss的時候你的客戶端可以根據OSS返回的302重定向去配置的地址讀取文件。
• 配置遷移工具，從源端向OSS遷移數據，這一步不影響您的業務，異步的從源站將數據搬遷到OSS。
• 數據搬遷接近完成的時候，將業務上的讀寫從之前的源站切換到OSS。
• 等待遷移工具從源搬遷完所有的老數據（這種場景下如果您的業務有對數據的覆蓋寫是需要注意的，可能會造成老數據覆蓋新數據）

如上所說，我們有兩種方式Bucket回源屬性可以做到無縫遷移，即鏡像和重定向：

上圖是“利用鏡像做無縫數據遷移示意圖”，圖中帶有數字標記的箭頭就是數據訪問miss時的數據流向。在鏡像回源的方式下用戶訪問OSS如果Object miss，那么OSS會替用戶從源站讀回文件，并寫入到OSS，這樣一來，如果用戶的請求可以遍歷所有的文件，那么這個異步的遷移過程其實是可以省略掉的（當然，這也會帶來一些新的問題，后文我們會提到）。

上圖是“利用重定向做無縫遷移示意圖”，圖中有數字標記的箭頭就是數據訪問miss時的數據流向。在配置重定向回源的方式下，如果Object miss，那么需要您的客戶端去源站去讀取一次數據。這就要求您的客戶端要能理解http協議中的3xx重定向語義（OSS的重定向回源是通過3xx重定向來實現的）。需要注意的是，在這種回源方式下，OSS不能自動幫用戶搬遷數據，用戶的數據必須依靠遷移工具/服務來異步的搬遷到OSS上面來。

縱觀上面的兩張圖，在您配置Bucket的回源屬性之后，再開啟數據遷移過程，在業務數據大部分都搬遷到OSS之后，再將整個業務的讀寫全部切換到OSS。這個時候回源功能就能幫您處理那些尚未搬遷過來的數據，無需停服，無縫銜接。等到所有的數據都搬遷完畢之后就可以關閉回源，停掉數據遷移，整個向OSS遷移數據的方式就完成了。

配置步驟

本部分主要包含Bucket回源屬性的配置，以及遷移工具/服務的使用方法。

配置Bucket回源屬性

要配置Bucket的回源屬性，要在Bucket屬性的“回源設置”里面添加規則。如下圖：

這里的規則分為兩種：鏡像回源和重定向回源。

• 鏡像回源：用戶訪問OSS上的Object，如果文件不存在，就按照鏡像回源里的Url向源站去取數據，回寫到OSS，回寫完成之后Object就自動搬遷到了OSS上面，下一次訪問就不會再出現Object不存在的情況。
• 重定向回源：用戶訪問OSS上的Object，如果文件不存在，按照配置向用戶的客戶端返回一個302重定向跳轉，用戶客戶端從配置的源站讀取數據，這種方式下OSS不會從用戶的源站拉取數據回來回寫到OSS，下一次訪問仍然會向用戶客戶端返回一次302重定向跳轉，直到用戶自己把這個Object寫入到OSS為止。

使用遷移工具/服務

• 遷移工具可以將您本地或者第三方云存儲服務上的文件同步到OSS上。 我們的遷移工具有以下主要特性：