Flink 的網(wǎng)絡(luò)協(xié)議棧是組成 flink-runtime 模塊的核心組件之一，是每個 Flink 作業(yè)的核心。它連接所有 TaskManager 的各個子任務(wù)(Subtask)，因此，對于 Flink 作業(yè)的性能包括吞吐與延遲都至關(guān)重要。與 TaskManager 和 JobManager 之間通過基于 Akka 的 RPC 通信的控制通道不同，TaskManager 之間的網(wǎng)絡(luò)協(xié)議棧依賴于更加底層的 Netty API。
本文將首先介紹 Flink 暴露給流算子(Stream operator)的高層抽象，然后詳細(xì)介紹 Flink 網(wǎng)絡(luò)協(xié)議棧的物理實現(xiàn)和各種優(yōu)化、優(yōu)化的效果以及 Flink 在吞吐量和延遲之間的權(quán)衡。
Apache Flink的網(wǎng)絡(luò)協(xié)議棧詳細(xì)介紹
1.邏輯視圖
Flink 的網(wǎng)絡(luò)協(xié)議棧為彼此通信的子任務(wù)提供以下邏輯視圖，例如在 A 通過 keyBy() 操作進(jìn)行數(shù)據(jù) Shuffle ：
這一過程建立在以下三種基本概念的基礎(chǔ)上：
主站蜘蛛池模板： 建平县| 天台县| 昂仁县| 横山县| 定南县| 嘉荫县| 青浦区| 中超| 江西省| 贺州市| 合水县| 武陟县| 军事| 长宁区| 星子县| 中超| 越西县| 额敏县| 兴宁市| 建阳市| 乌恰县| 浠水县| 泽普县| 大洼县| 德阳市| 澎湖县| 剑河县| 改则县| 韶山市| 八宿县| 巴青县| 枣庄市| 门源| 简阳市| 汤阴县| 怀仁县| 郑州市| 阳西县| 仲巴县| 德昌县| 焦作市|