yadcc C++分布式編譯系統

yadcc（Yet Another Distributed C++ Compiler）是一套騰訊廣告自研的分布式編譯系統，用于支撐騰訊廣告的日常開發及流水線。相對于已有的同類解決方案，其針對實際的工業生產環境做了性能、可靠性、易用性等方面優化。

yadcc 目前在騰訊 1700+ 核的集群中每天編譯 300,0000+ 個目標文件，產出約 3~5TB，已經持續穩定運營 8 個月。取決于代碼邏輯及本地機器配置，yadcc 可以利用幾百乃至 1000+ 核同時編譯（騰訊內部使用 512 并發編譯），大大加快構建速度。

具體簡介及技術細節可以參考技術文檔。

系統要求

• Linux 3.10 及以上內核，暫不支持其他操作系統；
• x86-64 處理器；
• 編譯yadcc需要GCC 8 及以上版本的編譯器，基于yadcc進行分布式編譯時可以支持其他更低版本編譯器。

基本原理

和ccache、distcc、icecc等工具類似；

• 客戶端偽裝成編譯器（通常是通過ln -sf yadcc g++創建的符號鏈接）
• 通過將客戶端偽裝的編譯器加入PATH頭部，這樣構建系統就會實際執行yadcc來編譯
• yadcc會按照命令行對源代碼進行預處理，得到一個自包含的的預處理結果
• 以預處理結果、編譯器簽名、命令行參數等為哈希，查詢緩存，如果命中，直接返回結果
• 如果不命中，就請求調度器獲取一個編譯節點，分發過去做編譯
• 等待直到從編譯集群中得到編譯結果，并更新緩存

由于預處理時間通常遠小于編譯時間，因此這樣可以降低單個文件的本地開銷。同時，由于等待編譯結果時本地無需進行操作，因此可以增大本地的編譯并發度（如8核機器通?？梢?code>make -j100），以此實現更高的吞吐。

需要注意的是，分布式編譯通常只能提高吞吐，但是不能降低單個文件的編譯耗時（假設不命中緩存）。因此，對于無法并發編譯的工程，除非命中緩存，否則分布式編譯通常不能加快編譯，反而可能有負面效果。

設計特點

系統由調度器、緩存服務器、守護進程及客戶端組成：

• 對上層的構建系統（Make、CMake，Blade、Bazel 等）透明，方便適配各種構建系統。
• 調度器全局共享，所有請求均由調度節點統一分配。這樣，低負載時可允許客戶端盡可能提交更多的任務，集群滿載時可阻塞新請求避免過載。
• 中心的調度節點也避免了需要客戶機感知編譯集群的列表的需要，降低運維成本。
• 編譯機向調度器定期心跳，這樣我們不需要預先在調度器處配置編譯機列表，降低運維成本。
• 分布式緩存避免不必要的重復編譯。同時本地守護進程處會維護緩存的布隆過濾器，避免無意義的緩存查詢引發不必要的網絡延遲。
• 使用本地守護進程和外界通信，這避免了每個客戶端均反復進行TCP啟動等操作，降低開銷。另外這也允許我們在守護進程處維護一定的狀態，提供更多的優化可能。
• 客戶端會和本地守護進程通信，綜合控制本地任務并發度避免本地過載。
• 通過編譯器哈希區分版本，這允許我們的集群中存在多個不同版本的編譯器。

同時，做了多層重試，確保不會因為網絡抖動、編譯機異常離線等工業場景常見的問題導致的不必要的失敗。