抖音服務(wù)器帶寬有多大,為什么能夠供那么多人同時(shí)刷?
聽(tīng)說(shuō)抖音月活躍用戶達(dá)到五個(gè)億了,超清視頻流量都那么大,怎么做到的
- Leng 評(píng)論
抖音,百度,阿里云,騰訊都是自建的數(shù)據(jù)中心,都是T級(jí)別出口帶寬(總出口帶寬),也就是達(dá)到1T=1024G/s的出口帶寬,服務(wù)器總署基本都在20萬(wàn)臺(tái)以上,甚至阿里云都超過(guò)了100萬(wàn)臺(tái)。
字節(jié)跳動(dòng)的數(shù)據(jù)中心總帶寬,可能在10TB級(jí)別左右,預(yù)期突破15TB級(jí)別不遠(yuǎn)了。
一般情況下:總出口帶寬1TB,實(shí)際機(jī)房出口帶寬可能只有100G上下,這是采用雙(多)鏈路設(shè)計(jì),雙出口實(shí)現(xiàn)動(dòng)態(tài)流量分擔(dān),總的出口帶寬可以達(dá)到T級(jí)別。
大型數(shù)據(jù)中心
想要同一時(shí)間有數(shù)億人在線,TB級(jí)別帶寬,CDN加速和多節(jié)點(diǎn),負(fù)載均衡等等技術(shù)缺一不可。(這個(gè)設(shè)計(jì)技術(shù)過(guò)于復(fù)雜,有相關(guān)專業(yè)朋友,可以評(píng)論簡(jiǎn)要概述)
CDN加速
字節(jié)跳動(dòng)有多少臺(tái)服務(wù)器?
根據(jù)網(wǎng)絡(luò)數(shù)據(jù)整理,2017年2-3萬(wàn)臺(tái)服務(wù)器,這個(gè)時(shí)候主要是租用服務(wù)器為主。2018年,字節(jié)跳動(dòng)自己建設(shè)了數(shù)據(jù)中心,最大的數(shù)據(jù)中心在河北懷來(lái)官?gòu)d湖新媒體產(chǎn)業(yè)園,一期5萬(wàn)臺(tái)服務(wù)器。二期9萬(wàn)臺(tái)服務(wù)器。
2018年,租用+自建的服務(wù)器數(shù)量達(dá)到17萬(wàn)臺(tái)服務(wù)器。
2020年,根據(jù)字節(jié)跳動(dòng)招聘公告的數(shù)據(jù),顯示有42萬(wàn)臺(tái)服務(wù)器。比2018年增長(zhǎng)了1.5倍。(數(shù)據(jù)來(lái)自網(wǎng)絡(luò))
一個(gè)機(jī)柜中10-20臺(tái)服務(wù)器
這部分服務(wù)器都是給中國(guó)區(qū)域使用,主要應(yīng)用國(guó)內(nèi)的抖音,西瓜視頻,今日頭條,飛書(shū)等產(chǎn)品。
在美國(guó)的TIKTOK是獨(dú)立出來(lái)的運(yùn)營(yíng),數(shù)據(jù)在美國(guó)當(dāng)?shù)卮鎯?chǔ)和分發(fā)。
2020年TIktok在美國(guó)也租用了近10萬(wàn)臺(tái)服務(wù)器
據(jù)Business Insider公布數(shù)據(jù),2020年上半年,字節(jié)跳動(dòng)在美國(guó)弗吉尼亞州北部租用了能耗達(dá)53兆瓦的數(shù)據(jù)中心。可以容納數(shù)十萬(wàn)臺(tái)服務(wù)器,占地面積可達(dá)數(shù)十萬(wàn)平方英尺。
Tiktok在印度,新加坡都在投資建設(shè)數(shù)據(jù)中心。
聊完了服務(wù)器數(shù)量,那么咱們來(lái)點(diǎn)硬核的東西:字節(jié)跳動(dòng)大型的數(shù)據(jù)中心出口帶寬是多少?
知識(shí)點(diǎn):所謂的出口帶寬,其實(shí)就是咱們普通人所說(shuō)的下載帶寬。就是服務(wù)器給每一個(gè)手機(jī)分發(fā)數(shù)據(jù)總速度。
一般情況下,小型的IDC公司自建機(jī)房,比如一些網(wǎng)站公司,租用聯(lián)通,移動(dòng),電信的機(jī)房,可能總體出口帶寬只有5G。超過(guò)30G那都是具備一定規(guī)模的企業(yè)。網(wǎng)絡(luò)公司營(yíng)收少說(shuō)也是幾千萬(wàn)的企業(yè)。
所以,經(jīng)常能夠看到,一些規(guī)模還不錯(cuò)的企業(yè),基本上都不再自建機(jī)房,都是使用云主機(jī)。例如阿里云的ECS,騰訊云,百度云,AWS(亞馬遜)。
一般一個(gè)企業(yè)網(wǎng)站(企業(yè)官網(wǎng)),20M帶寬,4G內(nèi)存,100G硬盤(pán),一年價(jià)格也就4000-5000塊錢(qián)就足夠了,趕上做活動(dòng)價(jià)格可能更便宜。
這里面就是帶寬最貴,當(dāng)然增加帶寬,達(dá)到一定等級(jí),例如訪問(wèn)量增大,必須要增加內(nèi)存和硬盤(pán)。相比來(lái)說(shuō),帶寬增加的話,費(fèi)用更貴一些?!具@里就跟你說(shuō)明一下:帶寬比較昂貴,屬于稀缺資源】
我們來(lái)看中國(guó)移動(dòng)的一個(gè)機(jī)房:中國(guó)移動(dòng)(河北石家莊)數(shù)據(jù)中心的數(shù)據(jù):
占地面積174畝,總建筑面積13萬(wàn)平方米,規(guī)劃10棟單體建筑,全部建成后可提供約3萬(wàn)個(gè)機(jī)架的裝機(jī)能力。3個(gè)IDC機(jī)房共可提供3.1萬(wàn)架機(jī)柜,15T帶寬資源。
一個(gè)機(jī)柜,全1U設(shè)備部署數(shù)量一般不超過(guò)16臺(tái),全2U設(shè)備一般不超過(guò)12臺(tái),全4U設(shè)備一般4到7臺(tái)。
我們?nèi)「咝阅艿?U和4U服務(wù)器進(jìn)行平均折中,各算一半(畢竟移動(dòng)也算是有錢(qián)的大戶,不能買(mǎi)低端的1U設(shè)備)。那么3.1萬(wàn)架機(jī)柜就可以安裝,最多21-36萬(wàn)臺(tái)服務(wù)器。
這里粗略取一個(gè)平均值:30萬(wàn)臺(tái)服務(wù)器。享受15T的出口帶寬資源。當(dāng)然作為電信的干路網(wǎng),移動(dòng)拿帶寬資源肯定是要比字節(jié)跳動(dòng)更有優(yōu)勢(shì)的。
所以,我們粗略地估計(jì)字節(jié)跳動(dòng)自建的17萬(wàn)臺(tái)服務(wù)器的數(shù)據(jù)中心。總出口帶寬可能在7Tb-10TB上下?;旧峡隙〞?huì)采用雙出口流量設(shè)計(jì),再加上多鏈路的部署方式:可以做到實(shí)際出口帶寬在800G-1TG就可以實(shí)現(xiàn)10T左右的總出口帶寬?!具@是技術(shù)方式】
字節(jié)跳動(dòng)2018年河北懷化數(shù)據(jù)中心
T級(jí)別出口帶寬是什么概念,如果我告訴你2009年,整個(gè)上海的出口帶寬才1140G,也就是剛剛達(dá)到1TB。在短短的10年后,一個(gè)企業(yè)的數(shù)據(jù)中心的出口帶寬就超過(guò)1Tb,這個(gè)速度真的不可想象。
要知道2009年,雖然智能手機(jī)不發(fā)達(dá),但是個(gè)人PC銷量已經(jīng)非常龐大了。
CDN加速,讓大眾刷抖音,看視頻都不在卡
知識(shí)點(diǎn):CDN(Content Delivery Network,內(nèi)容分發(fā)網(wǎng)絡(luò))
將服務(wù)端的內(nèi)容發(fā)布到最接近用戶的邊緣節(jié)點(diǎn),使用戶可以就近取得所需的內(nèi)容。
解決Internet網(wǎng)絡(luò)擁塞狀況,提高用戶訪問(wèn)網(wǎng)站的響應(yīng)速度。多種加速的方案集合。
用通俗的話解釋CDN就是:會(huì)把一些頁(yè)面,專門(mén)壓縮,有的壓縮為靜態(tài)頁(yè)面,靜態(tài)頁(yè)面直接分發(fā)速度快。用戶可以在2s內(nèi)看到內(nèi)容,體驗(yàn)感更好?!具@是靜態(tài)傳輸】
對(duì)于動(dòng)態(tài)視頻,首先通過(guò)智能路由,尋找最佳路徑,然后協(xié)議優(yōu)化將長(zhǎng)連接,內(nèi)容進(jìn)行壓縮,去除冗余?!具@就是動(dòng)態(tài)壓縮】
給你們看一下2015年騰訊5億日活,集合了音樂(lè),即時(shí)通訊等等產(chǎn)品的CDN的級(jí)別,達(dá)到了10TB帶寬。每天請(qǐng)求萬(wàn)億次。
2015年騰訊CDN的級(jí)別
因此,我這里說(shuō)字節(jié)跳動(dòng)整體服務(wù)器有10TB應(yīng)該只少不多。畢竟抖音日活有6億,西瓜視頻+今日頭條我們粗略算是2億,總計(jì)有8億的日活。
就是這么大的帶寬和技術(shù)實(shí)力,才能讓我們看視頻這么順暢。
【原創(chuàng):機(jī)器人觀察,帶你詳細(xì)了解互聯(lián)網(wǎng)世界】
2年前 - yh123456 評(píng)論
回答大部分都提到了服務(wù)器集群,CDN等技術(shù),這方面肯定是硬性要求,基本都是視頻行業(yè)的標(biāo)配了,抖音肯定也不例外。
但是我想大家忽略了一個(gè)問(wèn)題,好好思考一下,刷抖音和你看視頻有什么不同??匆曨l更多的是用戶主動(dòng)搜索,點(diǎn)擊觀看,而抖音就不一樣了,全是算法推薦,提前給你準(zhǔn)備好了,你自己是無(wú)法決定你的下一個(gè)視頻是什么的。
因此,算法的不同意味著今日頭條可以實(shí)時(shí)優(yōu)化帶寬,使得帶寬最大程度利用,也可以對(duì)數(shù)據(jù)進(jìn)行整理,可以優(yōu)化的空間很大。
相比之下,應(yīng)該是比傳統(tǒng)視頻行業(yè)要省些帶寬的吧。
2年前 - zc839465113 評(píng)論
這不難,用戶發(fā)布視頻后,視頻立刻會(huì)被分發(fā)到省市區(qū)的節(jié)點(diǎn)服務(wù)器,即所謂的cdn,它有一套完整的內(nèi)容刷新機(jī)制,
用戶獲取視頻,都是從自己的節(jié)點(diǎn)獲取,全國(guó)只要放1萬(wàn)個(gè)節(jié)點(diǎn),就能滿足大家不停的刷。
做這玩意的廠家很多。用cdn當(dāng)關(guān)鍵詞能搜出一堆,我就不做廣告了。
2年前 - muyang 評(píng)論
不在抖音,純粹猜測(cè),僅供參考
一 分布式服務(wù)器群
二 負(fù)載均衡等技術(shù)
三 CDN來(lái)做內(nèi)容分發(fā)
四 算法推薦,使得帶寬最大程度利用
總結(jié)來(lái)說(shuō),抖音,頭條抗高并發(fā),高流量的能力,確實(shí)讓人佩服!
回答完畢謝謝??!
————————————————————————-
本人專注數(shù)據(jù)采集,數(shù)據(jù)處理,數(shù)據(jù)治理,后端服務(wù),希望多多交流??!
2年前 - 帥氣一個(gè)人 評(píng)論
最新數(shù)據(jù)顯示,抖音在的日均視頻播放量超過(guò)10億次,日均活躍用戶數(shù)超過(guò)1.5億,月度活躍用戶數(shù)超過(guò)5億。
視頻上傳需要存儲(chǔ),并進(jìn)行合規(guī)性檢查;視頻播放需要編解碼,這需要消耗大量的計(jì)算資源;用戶體驗(yàn)需要恰當(dāng)?shù)耐扑]系統(tǒng)與CDN……等等,這些都對(duì)抖音背后的IT系統(tǒng)帶來(lái)了前所未有的挑戰(zhàn)。
這也使得其原有的數(shù)據(jù)中心租賃模式徹底不可行,必須自建數(shù)據(jù)中心,且速度要快。字節(jié)跳動(dòng)在懷來(lái)?yè)碛辛说谝粋€(gè)屬于自己的數(shù)據(jù)中心,一系列新技術(shù)的采用讓這個(gè)數(shù)據(jù)中心擁有多項(xiàng)頭銜:國(guó)內(nèi)首個(gè)大規(guī)模分布式全預(yù)制、國(guó)內(nèi)首個(gè)大平層預(yù)制框架結(jié)構(gòu)、國(guó)內(nèi)首個(gè)整體電源模塊預(yù)制、國(guó)內(nèi)首個(gè)間接蒸發(fā)自然冷卻模塊、國(guó)內(nèi)首個(gè)計(jì)算模塊一體化預(yù)制。
字節(jié)跳動(dòng)首個(gè)已經(jīng)交付使用的數(shù)據(jù)中心坐落在懷來(lái)官?gòu)d湖新媒體產(chǎn)業(yè)園。懷來(lái)是新能源輸出大縣,70%以上的電能都是水力發(fā)電、風(fēng)能發(fā)電和太陽(yáng)能發(fā)電產(chǎn)生的清潔能源,但這之中有50%的清潔能源無(wú)法上網(wǎng),低廉的電價(jià)對(duì)于數(shù)據(jù)中心這種耗電大戶而言,具有莫大的吸引力。
而且,懷來(lái)年均氣溫只有9.6度,空氣質(zhì)量也好,利用新風(fēng)散熱有助于降低數(shù)據(jù)中心的PUE值,有效降低數(shù)據(jù)中心的運(yùn)營(yíng)成本。高效應(yīng)用自然冷卻技術(shù),也是官?gòu)d湖新媒體產(chǎn)業(yè)基地的一大特點(diǎn),也是首個(gè)規(guī)模使用間接新風(fēng)制冷技術(shù)的數(shù)據(jù)中心產(chǎn)業(yè)基地。
字節(jié)跳動(dòng)采用了一系列新銳技術(shù),如大規(guī)模分布式全預(yù)制、整體電源模塊預(yù)制、間接蒸發(fā)自然冷卻模塊、計(jì)算模塊一體化預(yù)制等等技術(shù)。
字節(jié)跳動(dòng)數(shù)據(jù)中心采用大量預(yù)制和模塊化產(chǎn)品,體現(xiàn)了數(shù)據(jù)中心高度模塊化的未來(lái)發(fā)展趨勢(shì)。鋼平臺(tái)底座、變壓器、配電柜、UPS設(shè)備均采用在原廠設(shè)計(jì)、安裝和調(diào)試在20天內(nèi)分批交付,二次系統(tǒng)連接、監(jiān)控系統(tǒng)集成和電源模塊測(cè)試可以在7天內(nèi)完成,由40尺集裝箱整體運(yùn)輸?shù)浆F(xiàn)場(chǎng),施工現(xiàn)場(chǎng)只需連接電纜,拼裝調(diào)試即可交付使用,這個(gè)過(guò)程需要十天左右。這一系列的細(xì)節(jié)時(shí)間控制,讓字節(jié)跳動(dòng)數(shù)據(jù)中心刷新了國(guó)內(nèi)數(shù)據(jù)中心建設(shè)交付的最短時(shí)間記錄。
數(shù)據(jù)驅(qū)動(dòng)基礎(chǔ)設(shè)施創(chuàng)新
大多數(shù)人對(duì)“今日頭條”的印象似乎都是一家泛媒體平臺(tái),但字節(jié)跳動(dòng)則認(rèn)為自己是一家AI(即人工智能)公司,因?yàn)椴还苁墙袢疹^條也好,抖音也好,字節(jié)跳動(dòng)很少自己生產(chǎn)內(nèi)容,而是鼓勵(lì)用戶進(jìn)行創(chuàng)作,并把用戶創(chuàng)作的內(nèi)容推薦給最適宜的用戶群體。
所以字節(jié)跳動(dòng)最核心的系統(tǒng)實(shí)際包括頭條推薦系統(tǒng)與廣告系統(tǒng)、評(píng)論系統(tǒng),以及內(nèi)容合規(guī)性審核系統(tǒng),這背后實(shí)際上就是AI技術(shù)在不同領(lǐng)域或場(chǎng)景的應(yīng)用。
比如在在推薦系統(tǒng)里面最核心的就是內(nèi)容推薦算法。用AI去做推薦,是字節(jié)跳動(dòng)重要戰(zhàn)略,目前也是應(yīng)用最廣的技術(shù),不管是今日頭條還是抖音等產(chǎn)品,AI都在里面發(fā)揮著重要作用。使用AI進(jìn)行推薦,需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練才能達(dá)到更好的效果,據(jù)介紹,僅今日頭條一款產(chǎn)品30天的訓(xùn)練模型,其數(shù)據(jù)量就會(huì)超過(guò)4PB,而正常訓(xùn)練一個(gè)完整的模型則需要至少一年的數(shù)據(jù)量。而在視頻的合規(guī)性審核方面,字節(jié)跳動(dòng)不但使用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)視頻圖像進(jìn)行分析,同時(shí)利用語(yǔ)音識(shí)別技術(shù)對(duì)音頻進(jìn)行合規(guī)性分析。而這些技術(shù)的大規(guī)模應(yīng)用會(huì)對(duì)系統(tǒng)的基礎(chǔ)設(shè)施帶來(lái)極大的挑戰(zhàn),比如計(jì)算能力、網(wǎng)絡(luò)帶寬以及存儲(chǔ)性能等等。
隨著字節(jié)跳動(dòng)數(shù)據(jù)中心規(guī)模的擴(kuò)大,服務(wù)器數(shù)量的高速增長(zhǎng),為了最大化資源利用率,字節(jié)跳動(dòng)與Intel公司成立了創(chuàng)新實(shí)驗(yàn)室,全部采用Intel最新的可擴(kuò)展處理器平臺(tái),并根據(jù)不同應(yīng)用場(chǎng)景對(duì)軟件堆棧進(jìn)行深層次優(yōu)化。據(jù)介紹,成果非常顯著,能夠?qū)崿F(xiàn)大約30%的能力提升,更好的資源利用率意味著更好的購(gòu)置成本和運(yùn)營(yíng)成本節(jié)省。
并且,不管是推薦系統(tǒng),還是審核系統(tǒng),其每天都會(huì)處理海量的數(shù)據(jù),這對(duì)底層存儲(chǔ)系統(tǒng)的性能有著苛刻的需求,SSD已經(jīng)成為字節(jié)跳動(dòng)的必然選擇。但并不是說(shuō)使用SSD就能直接解決問(wèn)題,尤其NVMe SSD使用,通常會(huì)給計(jì)算、網(wǎng)絡(luò)系統(tǒng)帶來(lái)直接的壓力,將原本存儲(chǔ)的性能瓶頸轉(zhuǎn)移到計(jì)算或者網(wǎng)絡(luò)。
為了提升整體系統(tǒng)的綜合性能表現(xiàn),還需要站在更高層次對(duì)各個(gè)子系統(tǒng)進(jìn)行系統(tǒng)性優(yōu)化,比如在與Intel的合作中,雙方共同針對(duì)人工智能、Cascade Lake,最新64層Nand存儲(chǔ)技術(shù),高速網(wǎng)絡(luò)的產(chǎn)品以及FPGA在不同系統(tǒng)中應(yīng)用進(jìn)行了探索,并與DPDK、SPDK、BigData以及OS kernel等軟件層的優(yōu)化相結(jié)合,取得了極大的進(jìn)展,獲得了極為顯著的成功。
字節(jié)跳動(dòng)所取得的輝煌成績(jī)不僅意味著中國(guó)互聯(lián)網(wǎng)市場(chǎng)的巨大潛力,同時(shí)也意味著中國(guó)數(shù)據(jù)中心技術(shù)的飛速發(fā)展正逐步接近國(guó)際領(lǐng)先水平。
2年前 - dalang0624 評(píng)論
這個(gè)問(wèn)題我大概回答一下,由于我不太清楚字節(jié)跳動(dòng)真正的網(wǎng)絡(luò)是如何組網(wǎng)的,所以我只能告訴你大概的原理。參考其他大型互聯(lián)網(wǎng)企業(yè)的組網(wǎng),應(yīng)該解決的方案是類似的
抖音并不是全國(guó)所有刷視頻用戶都在同一個(gè)地方的數(shù)據(jù)中心接入我們看視頻的流量,如果是這樣的話,那么這個(gè)數(shù)據(jù)數(shù)據(jù)中心所需的帶寬就是過(guò)于巨大。一般來(lái)說(shuō),抖音在全國(guó)各地會(huì)建設(shè)幾個(gè)比較大的數(shù)據(jù)中心,我們刷視頻的請(qǐng)求是就近接入的。
比如張三在北京,那么他接入抖音APP,上傳和瀏覽視頻,就是在北京數(shù)據(jù)中心完成;李四在上海,那么他的上傳視頻和瀏覽視頻就是在上海的數(shù)據(jù)中心完成。如果所有用戶都接入同一個(gè)地方數(shù)據(jù)中心,毫無(wú)疑問(wèn)對(duì)于這個(gè)數(shù)據(jù)中心的負(fù)載太大,這是不可能的。
各個(gè)數(shù)據(jù)中心的視頻數(shù)據(jù),通過(guò)專有的高速互聯(lián)網(wǎng)絡(luò)進(jìn)行同步。也就是你上傳的視頻雖然是上傳到上海的數(shù)據(jù)中心,北京的用戶依然可以看到,就是可能要晚一點(diǎn)刷才看到。抖音需要把你在上海上傳的視頻數(shù)據(jù)通過(guò)高速網(wǎng)絡(luò)傳遞到北京后,北京的用戶才能看到。
一個(gè)數(shù)據(jù)中心包括多個(gè)運(yùn)營(yíng)商的出口,一般是會(huì)和三大運(yùn)營(yíng)商網(wǎng)絡(luò)在本地對(duì)接,同時(shí)會(huì)和一些中小型運(yùn)營(yíng)商對(duì)接,例如廣電。和運(yùn)營(yíng)商網(wǎng)絡(luò)對(duì)接的目的為了接入運(yùn)營(yíng)商的用戶,這也就意味著你是北京移動(dòng)用戶,那么刷出來(lái)抖音的視頻將會(huì)從北京移動(dòng)的網(wǎng)絡(luò)接入抖音
如果發(fā)現(xiàn)某個(gè)區(qū)域的數(shù)據(jù)中心業(yè)務(wù)負(fù)載太重怎么辦?例如湖南春節(jié)大量用戶返鄉(xiāng),導(dǎo)致位于武漢的數(shù)據(jù)中心突然接入不了這么多湖南的用戶了,這個(gè)時(shí)候抖音內(nèi)部就會(huì)調(diào)整用戶的接入路徑,把一部分本來(lái)接到武漢的抖音用戶接入到北京去(因?yàn)榇汗?jié)北京的人少了很多)
所以,這就是互聯(lián)網(wǎng)公司網(wǎng)絡(luò)的基本架構(gòu)。全國(guó)存在多個(gè)數(shù)據(jù)中心,不同地方的用戶刷視頻其實(shí)是接入不同的數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心都會(huì)和三大運(yùn)營(yíng)商網(wǎng)絡(luò)對(duì)接。
這種分布式的網(wǎng)絡(luò)保證了抖音的業(yè)務(wù)不會(huì)都積壓在一個(gè)數(shù)據(jù)中心,由全國(guó)各地抖音數(shù)據(jù)中心和運(yùn)營(yíng)商互聯(lián)的帶寬來(lái)保證用戶刷視頻可以正常瀏覽
那么位于不同位置的抖音的數(shù)據(jù)中心和三大運(yùn)營(yíng)商的互聯(lián)帶寬多大?只能講肯定是T級(jí)別的,1T等于1000G,現(xiàn)在大型互聯(lián)網(wǎng)公司和運(yùn)營(yíng)商對(duì)接的帶寬普遍是1T、2T起步了,而且一般如果發(fā)展互聯(lián)帶寬負(fù)載超過(guò)了30%到50%,就需要擴(kuò)容
很多人提到了CDN,CDN不能從根本上解決這個(gè)帶寬問(wèn)題,CDN只能從運(yùn)營(yíng)商網(wǎng)絡(luò)路由層面上解決一定的擁塞問(wèn)題。不論是騰訊、百度還是抖音、YY,解決游戲、視頻大帶寬的問(wèn)題都是從數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)架構(gòu)解決,都是采用類似的技術(shù),也就是DCN和DCI相關(guān)的技術(shù)
2年前 - Henri53 評(píng)論
大型網(wǎng)站,特別是視頻網(wǎng)站都是分布式的云計(jì)算,就我前面做云計(jì)算的經(jīng)驗(yàn)來(lái)說(shuō),至少他們他們需要在全國(guó)幾大區(qū)域都有服務(wù)器群,例如北上廣四川或者貴州都有云服務(wù)器,這個(gè)不僅僅是某個(gè)服務(wù)器的帶寬來(lái)衡量了,而是整個(gè)機(jī)房的出口帶寬,還有云集群的并發(fā)能力了。當(dāng)然,還會(huì)配合OSS,CDN,SLB等諸多的技術(shù),我估計(jì)目前有這樣的服務(wù)器群級(jí)別的只有阿里云,當(dāng)然他們已經(jīng)發(fā)展這么大了,也有可能使用自己的云計(jì)算技術(shù)。今日頭條還在國(guó)外很大布局,還有眾多的海外服務(wù)器。要做到這樣技術(shù)對(duì)接只有阿里云、AWS或者自主研發(fā)云技術(shù)能夠解決。
2年前 - feizitejiawanju 評(píng)論
大家完全不必?fù)?dān)心抖音服務(wù)器帶寬不夠大,服務(wù)器能不能承受得住的問(wèn)題,而僅僅需要擔(dān)心你的手機(jī)夠不夠電繼續(xù)刷抖音。
事實(shí)上互聯(lián)網(wǎng)大廠的服務(wù)器并不是我們理解的傳統(tǒng)意義上的幾臺(tái)服務(wù)器面對(duì)著數(shù)百萬(wàn)乃至數(shù)億計(jì)算的訪問(wèn)量。
如今互聯(lián)網(wǎng)大廠的服務(wù)器不能簡(jiǎn)單的稱之為服務(wù)器,而應(yīng)該叫做服務(wù)器集群,用于一個(gè)特定領(lǐng)域的軟件部署在多臺(tái)服務(wù)器上并作為一個(gè)整體提供一類服務(wù)。通俗一些講就是有無(wú)數(shù)臺(tái)服務(wù)器構(gòu)成的群組整齊地碼放在一個(gè)或者多個(gè)數(shù)據(jù)中心,軟件客戶端往往能夠連接任意一個(gè)節(jié)點(diǎn)獲得服務(wù),并且當(dāng)集群中的一個(gè)節(jié)點(diǎn)掉線的時(shí)候,其他的節(jié)點(diǎn)能夠自動(dòng)的接替繼續(xù)提供服務(wù)。
將一臺(tái)普通得不能再普通的自行車放在數(shù)據(jù)中心的散熱管道內(nèi),可見(jiàn)一個(gè)數(shù)據(jù)中心的規(guī)模,令人震撼。
一旦訪問(wèn)量增加的時(shí)候,集群會(huì)自主的增加節(jié)點(diǎn),當(dāng)訪問(wèn)量減少的時(shí)候,集群同樣會(huì)自主的減少節(jié)點(diǎn)。這是多對(duì)多的關(guān)系,而不是傳統(tǒng)意義上的少對(duì)多的關(guān)系,所以壓根不需要擔(dān)心抖音服務(wù)器的問(wèn)題。視頻上傳需要存儲(chǔ),進(jìn)行合規(guī)性檢查,視頻播放時(shí)需要編/解碼,需要消耗大量的計(jì)算資源,而用戶體驗(yàn)又需要恰當(dāng)?shù)耐扑]系統(tǒng)和CDN等服務(wù),幾臺(tái)簡(jiǎn)單的服務(wù)器肯定不足以應(yīng)付這些問(wèn)題。
有數(shù)據(jù)顯示字節(jié)跳動(dòng)在2013年3月服務(wù)器數(shù)據(jù)量只有幾十臺(tái),到年底增至一千臺(tái),在2017年年初的時(shí)候只有2~3萬(wàn)臺(tái)服務(wù)器,到了2018年猛增到17萬(wàn)臺(tái),僅用了7個(gè)月的時(shí)間就在懷來(lái)建立了一個(gè)屬于他自己的數(shù)據(jù)中心,從而告別了過(guò)去數(shù)據(jù)中心一直租賃的模式。
在互聯(lián)網(wǎng)公開(kāi)的字節(jié)跳動(dòng)2020年春季招聘廣告中披露,字節(jié)跳動(dòng)公司已經(jīng)擁有42萬(wàn)+臺(tái)服務(wù)器,每天新增存儲(chǔ)30PB,每日線上增加6000+。
PB是個(gè)什么概念?
存儲(chǔ)單位按照這樣的排序B、KB、MB、GB、TB、PB、EB、ZB、YB、BB,它們之間的換算關(guān)系如下:
1KB=1024B;
1MB=1024KB;
1GB=1024MB;
1TB=1024GB;
1PB=1024TB;
后面的以此類推。
而字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)部門(mén)技術(shù)團(tuán)隊(duì)曾經(jīng)在2020年年初發(fā)文介紹過(guò)字節(jié)跳動(dòng)特色的HDFS,支持字節(jié)跳動(dòng)EB級(jí)的數(shù)據(jù)量,可想而知字節(jié)跳動(dòng)存儲(chǔ)的壓力有多大,可能已經(jīng)奔向ZB級(jí)發(fā)展。
互聯(lián)網(wǎng)大廠用的何止是服務(wù)器集群,還涉及到了CDN、對(duì)象存儲(chǔ)、邊緣計(jì)算等等領(lǐng)域
CDN(Content Delivery Network,即內(nèi)容分發(fā)網(wǎng)絡(luò))是將源內(nèi)容分發(fā)至靠近用戶的加速節(jié)點(diǎn),使用戶可以就近地獲得所需的內(nèi)容,從而改善互聯(lián)網(wǎng)網(wǎng)絡(luò)擁擠的狀況,提高用戶訪問(wèn)的響應(yīng)速度和成功率。
據(jù)亞太CDN產(chǎn)業(yè)聯(lián)盟研究中心檢測(cè)統(tǒng)計(jì)到自己挑動(dòng)使用的第三方商業(yè)CDN有阿里云、優(yōu)客得、白山云、京東云、網(wǎng)宿、金山云、華為云、中國(guó)移動(dòng)云等等,CDN峰值總帶寬已經(jīng)超過(guò)100Tbps。
字節(jié)跳動(dòng)也一直在發(fā)力邊沿計(jì)算,將智能集成到邊沿的設(shè)備(或邊沿節(jié)點(diǎn)),運(yùn)行在數(shù)據(jù)收集源附近實(shí)時(shí)的處理核分期數(shù)據(jù)而不需要直接上傳到云或幾種數(shù)據(jù)處理中心。
總結(jié)
所以我們并不需要擔(dān)心抖音的服務(wù)器是不是夠用,帶寬夠不夠大,能不能支持那么多人同時(shí)刷。時(shí)代一直在改變,許多新的技術(shù)也隨之應(yīng)運(yùn)而生,自然而然到以前我們只有MB的U盤(pán)而現(xiàn)在卻有動(dòng)不動(dòng)就幾十GB乃至上百GB的U盤(pán)。
以上個(gè)人淺見(jiàn),歡迎批評(píng)指正。
認(rèn)同我的看法,請(qǐng)點(diǎn)個(gè)贊再走,感謝!
喜歡我的,請(qǐng)關(guān)注我,再次感謝!
2年前 - niumin 評(píng)論
G口寬帶,出口流量1G寬帶,也就是我們說(shuō)的千兆寬帶。然后用云部署+均衡負(fù)載對(duì)全國(guó)進(jìn)行部署,自動(dòng)為用戶選擇距離最近的服務(wù)器,同時(shí)服務(wù)器分為數(shù)據(jù)庫(kù)服務(wù)器、用戶服務(wù)器、存儲(chǔ)服務(wù)器等等。一般來(lái)說(shuō),阿里云會(huì)比較可靠,騰訊云那是競(jìng)爭(zhēng)對(duì)手家里。
2年前 - 抖音網(wǎng)名男2 評(píng)論
每天睡覺(jué)前都會(huì)刷抖音,為什么幾億人同時(shí)刷抖音,依然可以做到非常流暢呢?
首先來(lái)了解一下什么是服務(wù)器和帶寬。
服務(wù)器:
服務(wù)器也稱伺服器,是提供計(jì)算服務(wù)的設(shè)備,由處理器、硬盤(pán)、內(nèi)存、系統(tǒng)總線構(gòu)成,其處理能力、穩(wěn)定性、可靠性、安全性、可擴(kuò)展性等方面要高于普通計(jì)算機(jī)。
隨著大數(shù)據(jù)和云計(jì)算的快速發(fā)展,云服務(wù)器開(kāi)始走上舞臺(tái),很多大中小企業(yè)都開(kāi)始使用云服務(wù)器,其中就包括抖音,
云服務(wù)器顧名思義就是一種提供云計(jì)算服務(wù)的IT技術(shù)產(chǎn)品,整合了互聯(lián)網(wǎng)三大核心要素:計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)。比普通服務(wù)器更具有彈性,并且降低了開(kāi)發(fā)運(yùn)維的難度和整體IT成本。
抖音屬于短視頻類,流量很大、數(shù)據(jù)也很大,對(duì)服務(wù)器的要求也更高,市場(chǎng)上最強(qiáng)的單臺(tái)服務(wù)器可以支持20萬(wàn)IP,5億的日訪問(wèn)量至少要3000臺(tái)服務(wù)器才能夠勉強(qiáng)撐下來(lái)。
如果5億人同時(shí)刷抖音,視頻、直播一起上,就算是全球最牛的數(shù)據(jù)中心也會(huì)直接崩潰!那怎么辦呢?只能多建數(shù)據(jù)中心,多放服務(wù)器!
帶寬:
帶寬應(yīng)用的領(lǐng)域非常多,可以用來(lái)標(biāo)識(shí)信號(hào)傳輸?shù)臄?shù)據(jù)傳輸能力、標(biāo)識(shí)單位時(shí)間內(nèi)通過(guò)鏈路的數(shù)據(jù)量、標(biāo)識(shí)顯示器的顯示能力。在數(shù)字設(shè)備中,帶寬指單位時(shí)間能通過(guò)鏈路的數(shù)據(jù)量。通常以bps來(lái)表示,即每秒可傳輸之位數(shù)。
簡(jiǎn)單來(lái)說(shuō),帶寬是指單位時(shí)間內(nèi)傳輸?shù)臄?shù)據(jù)量。
我們可以把帶寬看成一條路,而數(shù)據(jù)就是來(lái)往的車輛,如果這條路只有4車道,那么每小時(shí)過(guò)往的車輛相對(duì)較少,而達(dá)到了8車道時(shí)候,過(guò)往的車輛會(huì)大大增加,而且8車道比4車道更不容易堵車。帶寬影響訪問(wèn)速度,對(duì)于抖音這類訪問(wèn)量巨大的服務(wù)器來(lái)說(shuō),帶寬非常的重要。
帶寬還分為獨(dú)享帶寬和共享帶寬。
數(shù)據(jù)中心會(huì)對(duì)一條線路配備一定的帶寬資源,然后由享受這條線路的所有機(jī)柜去共同使用這些帶寬。使用共享帶寬的缺點(diǎn)在于一條線路上所有機(jī)柜共用帶寬,可是對(duì)于每個(gè)機(jī)柜應(yīng)用的不同。因此,每個(gè)機(jī)柜對(duì)帶寬的占有率不同,這樣占用率大的機(jī)柜勢(shì)必影響其他機(jī)柜的帶寬使用。
獨(dú)享帶寬即托管用戶獨(dú)自享用一部分機(jī)房帶寬資源,它適用于有較大規(guī)模的數(shù)據(jù)流量和訪問(wèn)量,對(duì)帶寬資源要求保持恒定速率或有特殊要求的網(wǎng)站。如果使用獨(dú)享帶寬的話,租用的服務(wù)器的價(jià)格勢(shì)必會(huì)貴很多,一般的企業(yè)估計(jì)承受不起。所以,如果不是對(duì)帶寬有著嚴(yán)格要求的話,最好還是別租用獨(dú)享帶寬的服務(wù)器。
10M獨(dú)享就意味著給每臺(tái)服務(wù)器一個(gè)10M端口,100M共享就是一個(gè)100M端口的機(jī)柜,提供給若干臺(tái)服務(wù)器。其真實(shí)帶寬取決于服務(wù)器數(shù)量和每臺(tái)服務(wù)器帶寬占用情況。
一般來(lái)說(shuō),100M共享,每臺(tái)服務(wù)器分到的帶寬大約在2—5M左右,因此10M獨(dú)享是優(yōu)于100M共享的。
此外帶寬又分為上行帶寬和下行帶寬
上行寬帶一般是指上傳帶寬,即寬帶上行傳輸速率。是指用戶到電信服務(wù)提供商方向,例如上傳文件
下行寬帶一般是指下載帶寬,即寬帶下行傳輸速率。是指從電信服務(wù)提供商到用戶的方向,例如下載文件
很多網(wǎng)友看到這里,不禁有個(gè)疑問(wèn):帶寬、網(wǎng)速、流量這些究竟是怎么回事呢?
- 帶寬的統(tǒng)計(jì)單位是:比特/秒(bps):100M=100Mbps;
- 網(wǎng)速是數(shù)據(jù)傳輸?shù)乃俣?,單位是:字?jié)/秒(B/s KB/s MB/s):1MB/s=1024KB/s ;1KB/s=1024B/s。
- 流量是用戶上網(wǎng)發(fā)送和接收的數(shù)據(jù)量總和,單位是:字節(jié)(Byte);
比特是信息的最小單位:1字節(jié)=8比特(1B=8bit或者1B=8b);1字節(jié)/秒=8比特/秒(1B/s=8bps)
我們來(lái)看看100M寬帶下載速度是多少?
首先,運(yùn)營(yíng)商所說(shuō)的100M寬帶,其實(shí)是100Mbps,100M寬帶并不代表下載速度就是100Mb/s。我們通過(guò)計(jì)算來(lái)說(shuō)明:
1Mbps=1024Kbps=1024/8KBps=128KB/s
可以得出: 1M 的寬帶下載速度不會(huì)超過(guò) 128KB/s ,理論上每秒可以下載128K的內(nèi)容,實(shí)際上1M寬帶,下載速度100k/s就不錯(cuò)了,畢竟影響因素非常多。
100M寬帶的下載速度理論上為:128KB/s x100 = 12800 KB/s = 12.8MB/s
抖音的服務(wù)器帶寬究竟有多大呢?
通過(guò)估算,抖音數(shù)據(jù)中心總帶寬約為15TB級(jí)別。(因?yàn)闆](méi)有具體的官方數(shù)據(jù))
2015年,騰訊日活躍用戶達(dá)到5億,包含了通訊、語(yǔ)音、音樂(lè)、視頻等,每天請(qǐng)求超過(guò)10萬(wàn)次,帶寬達(dá)到了10TB。而今天的抖音是一款短視頻+直播軟件,其數(shù)據(jù)量要比微信大得多,因此會(huì)達(dá)到15TB級(jí)別。
抖音出現(xiàn)后,越來(lái)越多的人成為了抖音的奴隸,刷起短視頻根本停不下來(lái),搞笑的、賣萌的、悲情的等等,總有一款適合你,但是你有沒(méi)有想過(guò)幾億人同時(shí)刷抖音,是如何做到的呢?服務(wù)器不會(huì)崩潰嗎?這就需要超大的帶寬。
抖音母公司為字節(jié)跳動(dòng),是和百度、阿里、騰訊一樣的互聯(lián)網(wǎng)巨頭,同樣也有自己的數(shù)據(jù)中心,國(guó)內(nèi)海外都有,2020年,公開(kāi)數(shù)據(jù)顯示:字節(jié)跳動(dòng)公司共有服務(wù)器42萬(wàn)臺(tái)。
這些服務(wù)器都有出口帶寬,就是服務(wù)器給我們的手機(jī)分發(fā)的數(shù)據(jù)的總速度。小公司大都租用三大運(yùn)營(yíng)商的機(jī)房和服務(wù)器,出口帶寬也就幾個(gè)G,能達(dá)到幾十個(gè)G都算是中等規(guī)模的公司了,向抖音這樣達(dá)到10T級(jí)別的絕對(duì)是巨頭了。
巨頭當(dāng)然有巨頭的風(fēng)范了,自建數(shù)據(jù)中心,自購(gòu)云服務(wù)器,甚至自研云服務(wù)器。因?yàn)閹掃^(guò)于龐大,需要龐大的資金,穩(wěn)定性和安全性。
2013年3月字節(jié)跳動(dòng)的服務(wù)器數(shù)量只有幾十臺(tái),到年底增至一千臺(tái),此后便是上萬(wàn)臺(tái)的增長(zhǎng)。
2016年字節(jié)開(kāi)始自建數(shù)據(jù)中心,2017年底懷來(lái)數(shù)據(jù)中心開(kāi)始運(yùn)營(yíng),一期投入約5萬(wàn)臺(tái)服務(wù)器,二期投入9萬(wàn)臺(tái)服務(wù)器。但是僅靠一個(gè)數(shù)據(jù)中心遠(yuǎn)不能一勞永逸,字節(jié)開(kāi)始建設(shè)更大的數(shù)據(jù)中心,包括在海外建設(shè)數(shù)據(jù)中心。
在2017年年初的時(shí)候,公司大概有2-3萬(wàn)臺(tái)服務(wù)器,2018年大概有17萬(wàn)臺(tái)服務(wù)器。
2019年字節(jié)跳動(dòng)租用了能耗達(dá)9兆瓦的數(shù)據(jù)中心,成為弗吉尼亞州北部地區(qū)最大的十家“租戶”之一。這些數(shù)據(jù)中心位于弗吉尼亞州阿什本附近,亞馬遜、甲骨文都在該地區(qū)建有數(shù)據(jù)中心。
2020年上半年,字節(jié)跳動(dòng)在弗吉尼亞州北部租用了能耗達(dá)53兆瓦的數(shù)據(jù)中心??扇菁{數(shù)十萬(wàn)臺(tái)服務(wù)器,占地面積可達(dá)數(shù)十萬(wàn)平方英尺。
2020年,字節(jié)跳動(dòng)已經(jīng)擁有42萬(wàn)臺(tái)服務(wù)器。
以三大運(yùn)營(yíng)商為例,一個(gè)數(shù)據(jù)中心占地約150畝,提供3萬(wàn)個(gè)機(jī)架,可以安裝大約30萬(wàn)左右的服務(wù)器,能夠拿到15TB的帶寬資源。
字節(jié)跳動(dòng)在帶寬資源上要比三大運(yùn)營(yíng)商遜色,因此估算42萬(wàn)臺(tái)服務(wù)器帶寬也在15TB級(jí)別。
CDN加速、負(fù)載均衡等等技術(shù)缺一不可。
為了保障幾億人刷視頻時(shí)候不會(huì)出現(xiàn)卡頓,除了配備大量的服務(wù)器和多個(gè)數(shù)據(jù)中心外,還要相關(guān)的技術(shù)支持,例如:CDN加速、負(fù)載均衡等。
CDN加速:
CDN即內(nèi)容分發(fā)網(wǎng)絡(luò),其目的是通過(guò)在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu),將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)“邊緣”,使用戶可以就近取得所需的內(nèi)容,提高用戶訪問(wèn)網(wǎng)站的響應(yīng)速度。從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問(wèn)量大、網(wǎng)點(diǎn)分布不均等問(wèn)題,提高用戶訪問(wèn)網(wǎng)站的響應(yīng)速度。
以抖音為例,需要在全國(guó)甚至全世界建設(shè)幾大數(shù)據(jù)中心,北上廣需要建設(shè)、云貴川也有,歐、美、日等都有布局,當(dāng)我們?cè)谒⒍桃曨l的時(shí)候,并不是使用的同一個(gè)數(shù)據(jù)中心,而是使用的就近的數(shù)據(jù)中心。
北京的用戶優(yōu)先使用北京的數(shù)據(jù)中心,云南的用戶也會(huì)優(yōu)先使用云南的數(shù)據(jù)中心,歐、美、日也是如此,如果全世界都使用同一個(gè)數(shù)據(jù)中心的話,恐怕直接會(huì)崩潰了。
當(dāng)我們把一個(gè)短視頻傳送到北京數(shù)據(jù)中心時(shí)候,使用這個(gè)服務(wù)器的客戶就能刷到這個(gè)短視頻了,然后北京服務(wù)器把這個(gè)視頻采用高速傳輸?shù)姆绞絺鬏數(shù)缴虾?、云南、歐美等地,那么當(dāng)?shù)氐挠脩粢簿湍芸吹竭@個(gè)視頻了,只是在時(shí)間上延遲一些。
負(fù)載均衡
負(fù)載均衡就是分?jǐn)偟蕉鄠€(gè)數(shù)據(jù)中心進(jìn)行執(zhí)行,從而共同完成工作任務(wù),建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上,它提供了一種廉價(jià)有效透明的方法擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性。
例如,春節(jié)時(shí)候,我們各自回家過(guò)年,此時(shí)北上廣的人口會(huì)急速減少,而其他地區(qū)如河北、湖北等縣城、農(nóng)村人口會(huì)急速增加,這個(gè)時(shí)候再刷抖音,就會(huì)讓北上廣的數(shù)據(jù)中心處于大馬拉小車狀態(tài),而河北、湖北的數(shù)據(jù)中心處于小馬拉大車狀態(tài)。
這樣的狀態(tài)就是不均衡狀態(tài),如果不能及時(shí)解決這個(gè)問(wèn)題,很容易造成服務(wù)器故障,死機(jī)的事件發(fā)生。這時(shí)候就需要負(fù)載均衡。將河北、湖北的龐大數(shù)據(jù)一部分交由北上廣數(shù)據(jù)中心處理。
CDN加速、負(fù)載均衡等技術(shù)有效的支持了抖音的數(shù)據(jù)處理,讓有限的資源提供更高質(zhì)量的服務(wù)。
問(wèn)答總結(jié)
抖音服務(wù)器總帶寬已經(jīng)達(dá)到了15TB級(jí)別,并且采用了CDN加速、負(fù)載均衡等技術(shù),確保了幾億人同時(shí)在線刷抖音。
現(xiàn)在,技術(shù)上可以滿足幾億人同時(shí)刷抖音,但是還有一個(gè)問(wèn)題更為嚴(yán)重,自從有了抖音后,我越來(lái)越離不開(kāi)手機(jī)了,每天打開(kāi)抖音,開(kāi)始刷短視頻,不知不覺(jué)的一天就過(guò)去了,一個(gè)月,一年下來(lái),什么也沒(méi)有干,甚至已經(jīng)沒(méi)有動(dòng)力去做事情了,這個(gè)才是最可怕的。
盡管,抖音非常強(qiáng)大,但是還是希望大家能夠控制自己,適當(dāng)娛樂(lè)可以愉悅身心,過(guò)度娛樂(lè)害己害人!
我是科技銘程,以上是我的回答,希望可以幫到您,如有不妥之處,敬請(qǐng)批評(píng)指正!
2年前