最近日本出了件大事，第二大電信運(yùn)營商突發(fā)故障，3,915萬用戶受到影響，占據(jù)了日本總?cè)丝诘?/3，歷時(shí)40多個小時(shí)仍未恢復(fù)，這件事成為了國際新聞。
我想給您聊聊這場故障是怎么回事，你可能會說，我又不是通信專業(yè)人士，對這些技術(shù)細(xì)節(jié)不感興趣。
可是，對這場事故的剖析，不僅可以看出日本工匠精神的真相，還可以看出日本國運(yùn)的走向。
故障的起因是核心路由器的更換，如果把通信系統(tǒng)比作人的話，核心路由器就是人的心臟。
更換核心路由器，就相當(dāng)于做心臟移植手術(shù)，當(dāng)然會面臨著很大的風(fēng)險(xiǎn)。
心臟移植需要做體外循環(huán)，用設(shè)備模擬心臟的功能進(jìn)行泵血，然后有充足的時(shí)間慢慢換新的心臟，等新的心臟起搏后，再把體外循環(huán)撤掉。
但是日本這家運(yùn)營商的做法很奇特，沒有搞體外循環(huán)，直接將舊的核心路由器斷開，把新核心路由器裝上，術(shù)語叫做“割接”。
“割接”這個術(shù)語很形象，就是割斷舊的，接上新的，但是，割接后的新核心路由器沒有正常工作。
這就好比是做心臟移植手術(shù)，把舊心臟摘除，把新心臟裝上了，發(fā)現(xiàn)新心臟不跳，這可就抓瞎了。那該怎么辦，趕緊再把舊心臟換上啊。
日本運(yùn)營商也是這樣做的，一看新的核心路由器不行，7月2日凌晨1:50，就趕緊把舊的核心路由器又換上了。
核心網(wǎng)絡(luò)的參數(shù)是快速動態(tài)變化的，他們啟用了回退時(shí)間的配置參數(shù)。
這是咋回事呢，舉個例子吧，我們的電腦不能啟動了，然后會選擇回退到上次成功啟動的參數(shù)，這就把上次成功啟動到這次無法啟動之間做的錯誤變動都清除了。
日本運(yùn)營商工程師選擇的參數(shù)回退操作是對的，但就是這個合理做法，卻引來了致命危機(jī)。
手機(jī)終端每隔50分鐘要重新注冊一次，3000多萬手機(jī)的注冊時(shí)間均勻分布，平時(shí)交換機(jī)能正常處理。
但因?yàn)橄到y(tǒng)時(shí)間回退了，大量手機(jī)超過了50分鐘的注冊間隔，就出現(xiàn)了蜂擁注冊的情況。
好比是我們現(xiàn)在做核酸，我們健康碼從0到72小時(shí)是均勻分布的，前兩天的人不用管，到第三天再去做。
可系統(tǒng)出故障后，把你做核酸的時(shí)間回退了兩天，那幾乎所有人都超過72小時(shí)了，大家都著急去排隊(duì)，這就擁塞了。
這么說，您就徹底明白了吧？
擁塞了怎么辦？那只能涼拌，排隊(duì)慢慢注冊問題，直到60小時(shí)后才全部注冊完畢。
這個故障的根結(jié)在哪里呢？在于核心設(shè)備沒有主備。
核心設(shè)備的可靠性要求5個9，即可靠性是99.999%，可縱然故障概率低至0.001%，危險(xiǎn)綜歸存在，一旦發(fā)生就是災(zāi)難。
那該怎么做呢？我國運(yùn)營商采用了主備機(jī)制。
核心機(jī)房里的各種交換機(jī)、路由器都是成對出現(xiàn)的。一個在工作，另一個是熱備份。
熱備份區(qū)別于冷備份，就是它里面也在跑數(shù)據(jù)，只是空跑不起作用，一旦主機(jī)出問題了，備用機(jī)馬上就能頂上，而且供電系統(tǒng)也得是兩套。
好比是你有兩臺車，備用車要時(shí)刻處于啟動怠速狀態(tài)，一腳油門就得能走，這才是熱備份。如果現(xiàn)打火啟動，有可能電瓶沒電打不著，熱備份比冷備份成本高但更可靠。
做到這些就夠了嗎，還是不夠，萬一來一場地震，主備機(jī)和兩套電源全砸爛了，那怎么辦？
我國還采用了異地?zé)醾浞輽C(jī)制，核心數(shù)據(jù)在異地空轉(zhuǎn)，一旦某處發(fā)生毀滅性災(zāi)害，異地就能頂上。
回到日本這個事故，在核心機(jī)房居然沒有必要的熱備份，換核心路由器時(shí)居然沒有切換到備用機(jī)運(yùn)轉(zhuǎn)，好比做心臟移植手術(shù)時(shí)沒有體外循環(huán)，而是硬生生地搞“割接”，這令人難以想象。
長久以來，我們非常推崇日本的工匠精神，覺得人家做事認(rèn)真負(fù)責(zé)精益求精?？?0年河?xùn)|30年河西，我們所羨慕的工匠精神，已經(jīng)變成了新躬匠精神，出了事就鞠躬，而且把剖腹傳統(tǒng)也放棄了。
日本將3萬人斷網(wǎng)1小時(shí)認(rèn)定為重大事故，這次是3915萬人斷網(wǎng)60小時(shí)，比重大事故嚴(yán)重20萬倍，建議日本增加特別重大事故，特別特別重大事故，特別特別特別重大事故標(biāo)準(zhǔn)。
2011年福島核電站出事，媚日大V立貼為證，一年之后，整個世界一定會驚詫日本重建的速度和勇氣，現(xiàn)在11年過去了，福島爛攤子還沒清理干凈呢。日本的國運(yùn)啊，不過如此。
日本真有工匠精神？1/3人口斷網(wǎng)60小時(shí)，合理做法卻引發(fā)致命危機(jī)日本真有工匠精神？1/3人口斷網(wǎng)60小時(shí)，合理做法卻引發(fā)致命危機(jī)
