現時，Amazon MSK 提供了一種稱為 Express Brokers（快車代理）的新類型代理。相比使用Apache Kafka的傳統代理（即 Standard Brokers），這種新的代理每台可以達到最高三倍的吞吐量，擴容速度提升二十倍，并且將恢復時間減少百分之九十。
快熟代理已根據 Kafka 的最佳做法预先設定好，支持 Kafka API ，並且提供了跟Amazon MSK 相同的低延迟表现，使得客户可以继续使用现有的客户端应用程序而不必进行任何修改。该快熟代理无需额外设置就能提供无限存储空间。用户可以通过 Amazon MSK 迁移工具将现有MSK集群中的所有数据和元数据复制到一个新的、基于快熟代理构建的集群中。
在我們接下來的部分裡，我們會簡述利用 MSK Replicator 進行轉移時需要考量的因素，並提供一種方法來把資料從一般的代理MSK集群複製到Express代理MSK集群。若想深入了解全部細節的讀者可以查看 詳情原文 。
規劃遷移到快速代理的需求與方法
由常規代理轉換至高效能代理需進行周詳計劃及審慎考量各項要素。首先，使用者須檢視來源群集的架構及其具體要求，在此過程中應注意的因素涵蓋CPU利用率、網路流量、資料傳輸量（volume throughput）以及均衡分割（balanced partitions）。接下來，使用者亦要對目的地群集的資源配置和所需條件作出評估。利用同類別的擴容工具，可估算出移動到高效能代理群集中所需的規模。一般來說，相較於普通代理，在處理同等工作負荷時，高效的代理可能會因單個實例（instance）尺寸的不同而使入口吞吐能力最多提升三倍，因此往往只需要部署較少量的高效代理解決方案即可滿足需求。
完成需求分析後，用戶需設定Express Broker並設置客戶端和目標叢集之間的連接。接著，用戶可選取一次性遷移或是逐步遷移的方式。一次性遷移操作相對簡便，然而一旦出錯可能會給客戶端造成重大影響。相比之下，逐漸遷移能夠更有效地控制風險，不過這要求有詳細周密的計劃。此外，在決定使用消費者優先還是生產者優先的策略時也應慎重考量，每種方法都各有利弊，用戶可以根據具體情況作出適當的选择。 遷移案例 ，又或尋找本地可靠的雲端遷移專家了解更多。
最後，當用戶做好壓縮類型配置，制定切換計劃(cutover plan)，以及確保原有的 schema 註冊表可繼續使用之後，便可以開始部署遷移。
解決方案概述
如圖所示，設置了兩套Amazon MSK預配叢集：一套採用標準代理（源）模式，另一套則使用高效能代理（目的）模式。這雙重佈局處在同一AWS區域及虛擬私有雲(VPC)內，且已激活IAM認證功能。Amazon MSK Replicator工具負責把主題、資料與設定從原簇群同步至新簇群中。此復制過程維持著各主題的相同命名，在不調整客戶端的情況下實現平滑轉換。
在 MSK Replicator 完成原始資料向目標叢集的複製之後，使用者需檢查目标叢集的状态是否正常运行。若一切顺利，则可选择是使用生產者優先還是消費者的優先方式進行轉移過程。如下的流程採用了以消费者优先的方式：你應該暫停現有的Consumer，調整設定使其能從新的目的地叢集中獲取信息，完成這些設置後再啓用他們。
遷移全部Consumer至目標叢集之後，需終止原始叢集中運作的所有Producer。讓MSK Replicator有足夠時間去完成從原叢集向新叢集聚合剩餘未完數據的工作。最終步驟是調整這些生產者使其能於新的目標叢集中發布消息，然後重啓他們，詳見下圖示意。
總結
利用 MSK Replicator 由傳統代理人管理的 MSK 群集轉移至高速代理人管理的 MSK 群集，可以達到平滑且高效的切換過程，並且最大限度地減少中斷時間。此過程中涉及許多考量因素及必要的操作步驟，感興趣者請深入了解。 閱讀全文 以了解更多。
相關文章:
Amazon Redshift 推出新整合方式零 ETL，讓企業處理分析紀錄資料更加輕鬆便捷。 Amazon OpenSearch 對向量數據庫的優化以提升營運效能，從而有效地降低AI業務的成本。 AWS 在線免費課程從基礎到高級實戰AI應用 第六節：精通流式數據管理 技術利用人工智能突破限制
The post 剖析 Amazon MSK 迅捷代理轉移方案，其拓展速率比普通代理高出 20 倍 appeared first on 香港 玩生活．樂科技 .