批處理所帶來的挑戰(zhàn)

批量處理的挑戰(zhàn)在于，數(shù)據(jù)必須要間斷性地進(jìn)入才能保證流程正常運(yùn)作，而如果數(shù)據(jù)源連續(xù)地輸入，就會(huì)造成系統(tǒng)崩潰。

如果我們?cè)黾优幚泶翱诘脑挘Y(jié)果就會(huì)增加數(shù)據(jù)處理過程的時(shí)間，使得相關(guān)的數(shù)據(jù)分析報(bào)告也要推遲落入我們的手中。在許多系統(tǒng)里，他們會(huì)選擇在非高峰時(shí)間進(jìn)行數(shù)據(jù)批處理，而這個(gè)時(shí)間是非常有限的。隨著數(shù)據(jù)的體積不斷脹大，處理數(shù)據(jù)的時(shí)間就不斷增加，這樣發(fā)展下去的話，需要被處理的數(shù)據(jù)就會(huì)不斷積壓。這最終的結(jié)果有可能一天都處理不完數(shù)據(jù)。

通過流處理來提升速度

流處理的概念是非常簡(jiǎn)單的。我們并不需要等到所有數(shù)據(jù)記錄完后才進(jìn)行處理，我們可以邊記錄邊處理。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]