欧美一区二区三区,国内熟女精品熟女A片视频小说,日本av网,小鲜肉男男GAY做受XXX网站

在業內如何率先完成計算架構的全新升級

呂致盈2年前17瀏覽0評論

在業內如何率先完成計算架構的全新升級?

隨著快手日活量不斷增加,用戶數據不斷豐富,模型的數量越來越多,越來越復雜,在空間的占用上呈幾何級數增長。

快手擁有超過2億的日活量,超過130億條的庫存短視頻,仍以每日超過1500萬條短視頻上傳的速度新增,擁有海量超大數據應用場景。快手基礎設施的規模已經處于國內頂級互聯網公司頭部行列。目前快手服務器規模已經超過十萬臺,數據總量達到EB級別,每天新增數據超過5PB。

為保障千億級別數據量的處理和基礎設施穩定、高效運行,快手服務器選型和業務優化團隊(以下簡稱“快手SAT團隊”)布署業界最先進GPU計算平臺,選用合作伙伴NVIDIATesla V100GPU和新一代Turing架構的NVIDIA T4GPU,在業內率先完成計算架構的全新升級。

目前快手SAT團隊正在做幾件事:引入大容量低成本NVM與GPU組成異構計算+異構存儲服務器;搭配100G/200G/400G RDMA,做CPU offload的架構,提高分布式計算的效率;將存儲資源和計算資源解耦分離。

據快手SAT團隊研發人員介紹,快手大數據應用場景如視頻推薦平臺、音視頻理解、風控、商業化廣告、強化學習等都是公司的核心業務,多個業務場景數據處理需求量大,NVIDIA推出新的Tesla產品之后,SAT團隊將T4和TeslaV100 GPU的引入列為首要任務,使用新一代的GPU,搭配現有的計算平臺,第一時間將T4引入到新的套餐上,同時以最快速度適配給公司內的核心業務,保障硬件基礎架構走在業界前列。

快手選型上線流程和NVIDIA企業級技術支持團隊已經有了一年多的合作經驗,以最新的GPU引入為契機,快手SAT團隊整理規范了GPU服務器引入和應用優化一整套的科學體系,并在實踐中獲得了極佳的業務收益,為快手節省了大量的時間成本,同時計算力更加出色的GPU計算架構也為未來快手關鍵業務線上線更加復雜的模型打下了堅實的基礎。