淘寶技術(shù)這十年
2017-02-24
受訪者介紹：子柳，2004年加入淘寶網(wǎng)，歷任開發(fā)工程師、項(xiàng)目經(jīng)理、產(chǎn)品經(jīng)理、測(cè)試經(jīng)理。2014年5月，子柳離開阿里，成為一名天使投資人。
2012年11月11日，191億元“奇跡”誕生前，正當(dāng)許多買家正在享受購物狂歡時(shí)，突然一條這樣的提示信息出現(xiàn)在眼前：我們的系統(tǒng)檢測(cè)到您所在的網(wǎng)絡(luò)對(duì)淘寶網(wǎng)的訪問請(qǐng)求過于頻繁，很抱歉，現(xiàn)在暫時(shí)無法處理您的請(qǐng)求，請(qǐng)您過一段時(shí)間后再來訪問。“系統(tǒng)崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實(shí)是故意的。因?yàn)槲覀円{(diào)控全局，所以進(jìn)行了一部分限制。例如說，一瞬間買家的訪問流量實(shí)在太大了，原本我們準(zhǔn)備了3個(gè)T，當(dāng)?shù)竭_(dá)2個(gè)T還在迅速增長(zhǎng)的時(shí)候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關(guān)掉一部分流量。如果不做限流，不讓一部分人先等等，可能會(huì)導(dǎo)致全盤系統(tǒng)的癱瘓。
這不是故障。淘寶技術(shù)經(jīng)過了2009年至2012年這幾年時(shí)間的發(fā)展和升級(jí)后，早已具備了經(jīng)受各種考驗(yàn)的能力。
淘寶技術(shù)這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術(shù)發(fā)展的三個(gè)重要時(shí)間節(jié)點(diǎn)。
2008年以前，淘寶的系統(tǒng)不論是技術(shù)難度還是架構(gòu)難度都不是特別大，因?yàn)槟莻€(gè)時(shí)候的流量、數(shù)據(jù)量，使用常用的技術(shù)手段就能解決。例如業(yè)界常用的解決方案IOE（IBM的小型機(jī)、Oracle的數(shù)據(jù)庫、EMC的存儲(chǔ)）能夠幫我們支撐10億左右的訪問量和10億級(jí)別的數(shù)據(jù)量。從最初的一臺(tái)普通的服務(wù)器到2008年幾千臺(tái)服務(wù)器加IOE解決方案，支撐了我們最初5年的發(fā)展。
但是到了2008年前后，我們有些問題就沒有人能夠找到現(xiàn)成的解決方案了。例如我們的商品圖片，一開始放在了本地硬盤上，2004年本地放不下了，買了NetApp公司推出的專業(yè)的NAS設(shè)備，隨著圖片數(shù)量的不斷增長(zhǎng)，我們找NetApp公司買的設(shè)備越來越高級(jí)，到2007年的時(shí)候，我們發(fā)現(xiàn)他們最好的服務(wù)器已經(jīng)賣給我們，沒有更好的了。但是用戶還是不停的要上傳圖片，怎么幫他們解決呢？
別人無法解決，并不代表這個(gè)事情無解，淘寶的技術(shù)就在這個(gè)時(shí)間點(diǎn)上面從使用別人的技術(shù)轉(zhuǎn)變成了自己創(chuàng)造技術(shù)，馬總說過“用錢能解決的問題都不是問題”，我們?cè)?008年前后到了“用錢無法解決問題”的時(shí)代。幸運(yùn)的是，我們解決這些問題并不是從頭做起的，我們并不是“開拓者”。國(guó)外的google、facebook他們都已經(jīng)嘗試過自己解決技術(shù)上的問題，而且他們解決了之后，會(huì)把原理開放出來分享給大家（這是我們非常尊重這些企業(yè)的原因）。
于是，淘寶的技術(shù)牛人在此基礎(chǔ)上就嘗試著去做分布式存儲(chǔ)、數(shù)據(jù)庫、中間件、負(fù)載均衡這樣一套電子商務(wù)操作系統(tǒng)。之后，經(jīng)過2009年至2012年期間一系列大型活動(dòng)的洗禮，這套系統(tǒng)已經(jīng)非常成熟。解決了原本用錢也解決不了的問題后，淘寶技術(shù)開始走向開放。這時(shí)候不僅僅是要把淘寶自己建設(shè)好，很多技術(shù)的探索成果我們也開源出去讓大家使用，來幫助我們的商家甚至競(jìng)爭(zhēng)對(duì)手。從技術(shù)角度來講，淘寶對(duì)整個(gè)業(yè)界技術(shù)水平的提升有很大的推動(dòng)作用。淘寶在這幾年間，也從一個(gè)技術(shù)不被談及的公司走向了技術(shù)型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術(shù)體系又將走向何方，其實(shí)是很難想象的一件事情。除了軟件、應(yīng)用系統(tǒng)開發(fā)外，還有大數(shù)據(jù)相關(guān)的研究，用云計(jì)算技術(shù)來提升整個(gè)電商生態(tài)圈的信息化能力，系統(tǒng)底層的持續(xù)優(yōu)化等等。我們現(xiàn)在可以利用淘寶的數(shù)據(jù)告訴商家現(xiàn)在流行什么，哪個(gè)地方的人喜歡買什么樣的商品，用大數(shù)據(jù)給他們的生產(chǎn)和銷售做信息支持；我們提供了一個(gè)名叫“聚石塔”的電商云工作平臺(tái)，讓商家把各種工作軟件部署進(jìn)來，實(shí)時(shí)對(duì)接淘寶的數(shù)據(jù)接口，享受和淘寶一樣安全穩(wěn)定的運(yùn)行環(huán)境。這樣可以把很多線下手工操作的事情直接在線處理掉，有遠(yuǎn)見的商家甚至已經(jīng)開始利用云計(jì)算來整合自己的供應(yīng)鏈系統(tǒng)了；我們還有人修改Linux內(nèi)核，定制服務(wù)器硬件，開發(fā)智能的部署方案，讓系統(tǒng)運(yùn)行更加綠色高效。未來主要是圍繞大數(shù)據(jù)、云計(jì)算和智能化這幾個(gè)方向發(fā)展了。
數(shù)據(jù)不會(huì)說謊
技術(shù)是為數(shù)據(jù)服務(wù)的，數(shù)據(jù)可以開發(fā)出去，外面的數(shù)據(jù)也可以回流回來。按照馬總的說法，我們現(xiàn)在變成了一個(gè)數(shù)據(jù)公司。
“大數(shù)據(jù)”的說法非常響亮，以至于現(xiàn)在誰提起大數(shù)據(jù)都感覺有些俗氣了。但是，大數(shù)據(jù)是很好的東西。
大數(shù)據(jù)為什么好？恰恰是因?yàn)樗?ldquo;大”。有個(gè)說法，最近10年人類所創(chuàng)造的數(shù)據(jù)占到人類有史以來所創(chuàng)造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現(xiàn)在都記錄在互聯(lián)網(wǎng)上，所以數(shù)據(jù)非常龐大。
數(shù)據(jù)大了之后，有了搜索引擎，也有個(gè)更多可能的出現(xiàn)。有一個(gè)很經(jīng)典的案例，說是通過谷歌的搜索引擎可以預(yù)測(cè)什么地方有流感。怎么預(yù)測(cè)呢？一般發(fā)生流感的時(shí)候，會(huì)有很多人在谷歌搜索“流鼻涕怎么治”。此時(shí)，谷歌通過統(tǒng)計(jì)分析，便可以得出哪個(gè)地方搜索類似關(guān)鍵詞的人更多，判斷出此地發(fā)生流感的概率可能更高。這樣的反應(yīng)速度比傳統(tǒng)的疫情機(jī)制反應(yīng)速度要快很久。
還有一個(gè)好玩的例子，某景區(qū)從原先的免費(fèi)開放改為收門票之后，雖然網(wǎng)上抗議聲一片，但他們官方還是宣稱他們的旅客數(shù)量在增長(zhǎng)。我們知道的情況是什么樣的呢？利用淘寶旅行上的數(shù)據(jù)，我們很明顯看到該景區(qū)酒店的訂單量起碼下降了一半。有時(shí)候，人們擅長(zhǎng)于對(duì)內(nèi)調(diào)查，對(duì)外“創(chuàng)造”結(jié)果，可是數(shù)據(jù)永遠(yuǎn)不會(huì)說謊。
現(xiàn)在淘寶會(huì)定期公布一個(gè)數(shù)據(jù)，叫TCPI，淘寶物價(jià)指數(shù)。之前，淘寶只有幾百萬用戶的時(shí)候，大家不敢做這個(gè)數(shù)據(jù)，即便你做了也沒人信。但是，基于現(xiàn)在的用戶數(shù)量，進(jìn)行這個(gè)數(shù)據(jù)統(tǒng)計(jì)分析后，它很受重視，甚至有些政府部門也很重視。他們也看到了，我們依賴數(shù)據(jù)做出來的統(tǒng)計(jì)更加高效，而他們自己則需要?jiǎng)佑么罅康娜肆Α⑽锪?，通過長(zhǎng)時(shí)間的調(diào)查可能才能得出這樣一個(gè)結(jié)論，淘寶技術(shù)人員寫了個(gè)數(shù)據(jù)模型，把淘寶交易積累下幾十個(gè)T的數(shù)據(jù)放到服務(wù)器上運(yùn)算，一個(gè)晚上就能分析出來了。這，就是大數(shù)據(jù)的威力。
對(duì)商家來說，商家隨時(shí)可以利用大數(shù)據(jù)指導(dǎo)商業(yè)生產(chǎn)，例如幫助商家做生產(chǎn)預(yù)測(cè)。打個(gè)比方，對(duì)“今年流行長(zhǎng)裙，短裙還是熱褲？”的問題，每個(gè)人的看法可能不一樣。而淘寶幾億用戶購買行為的實(shí)時(shí)數(shù)據(jù)是開放的，商家通過淘寶指數(shù)對(duì)比一下，結(jié)果就出來了。一對(duì)比發(fā)現(xiàn)，其實(shí)今年長(zhǎng)裙最受關(guān)注。這時(shí)候，商家拿這些數(shù)據(jù)給生產(chǎn)女裝的廠家，就可以做出這樣的決策：生產(chǎn)熱褲的生產(chǎn)線不要多投精力，趕緊做長(zhǎng)裙。這就是用數(shù)據(jù)說話。在十年前，誰也拿不到這些數(shù)據(jù)，服裝的流行趨勢(shì)很多時(shí)候只能依賴時(shí)尚雜志?，F(xiàn)在，不如看數(shù)據(jù)更直接，而能夠做到這一點(diǎn)，正是因?yàn)樘詫氂斜容^大的用戶基礎(chǔ)，數(shù)據(jù)量大了之后，獲取的信息才是貼近真實(shí)的。因此，將這里面的信息整合起來，就可以看到最真實(shí)的情況。
2012年11月11日，191億元“奇跡”誕生前，正當(dāng)許多買家正在享受購物狂歡時(shí)，突然一條這樣的提示信息出現(xiàn)在眼前：我們的系統(tǒng)檢測(cè)到您所在的網(wǎng)絡(luò)對(duì)淘寶網(wǎng)的訪問請(qǐng)求過于頻繁，很抱歉，現(xiàn)在暫時(shí)無法處理您的請(qǐng)求，請(qǐng)您過一段時(shí)間后再來訪問。“系統(tǒng)崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實(shí)是故意的。因?yàn)槲覀円{(diào)控全局，所以進(jìn)行了一部分限制。例如說，一瞬間買家的訪問流量實(shí)在太大了，原本我們準(zhǔn)備了3個(gè)T，當(dāng)?shù)竭_(dá)2個(gè)T還在迅速增長(zhǎng)的時(shí)候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關(guān)掉一部分流量。如果不做限流，不讓一部分人先等等，可能會(huì)導(dǎo)致全盤系統(tǒng)的癱瘓。
這不是故障。淘寶技術(shù)經(jīng)過了2009年至2012年這幾年時(shí)間的發(fā)展和升級(jí)后，早已具備了經(jīng)受各種考驗(yàn)的能力。
淘寶技術(shù)這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術(shù)發(fā)展的三個(gè)重要時(shí)間節(jié)點(diǎn)。
2008年以前，淘寶的系統(tǒng)不論是技術(shù)難度還是架構(gòu)難度都不是特別大，因?yàn)槟莻€(gè)時(shí)候的流量、數(shù)據(jù)量，使用常用的技術(shù)手段就能解決。例如業(yè)界常用的解決方案IOE（IBM的小型機(jī)、Oracle的數(shù)據(jù)庫、EMC的存儲(chǔ)）能夠幫我們支撐10億左右的訪問量和10億級(jí)別的數(shù)據(jù)量。從最初的一臺(tái)普通的服務(wù)器到2008年幾千臺(tái)服務(wù)器加IOE解決方案，支撐了我們最初5年的發(fā)展。
但是到了2008年前后，我們有些問題就沒有人能夠找到現(xiàn)成的解決方案了。例如我們的商品圖片，一開始放在了本地硬盤上，2004年本地放不下了，買了NetApp公司推出的專業(yè)的NAS設(shè)備，隨著圖片數(shù)量的不斷增長(zhǎng)，我們找NetApp公司買的設(shè)備越來越高級(jí)，到2007年的時(shí)候，我們發(fā)現(xiàn)他們最好的服務(wù)器已經(jīng)賣給我們，沒有更好的了。但是用戶還是不停的要上傳圖片，怎么幫他們解決呢？
別人無法解決，并不代表這個(gè)事情無解，淘寶的技術(shù)就在這個(gè)時(shí)間點(diǎn)上面從使用別人的技術(shù)轉(zhuǎn)變成了自己創(chuàng)造技術(shù)，馬總說過“用錢能解決的問題都不是問題”，我們?cè)?008年前后到了“用錢無法解決問題”的時(shí)代。幸運(yùn)的是，我們解決這些問題并不是從頭做起的，我們并不是“開拓者”。國(guó)外的google、facebook他們都已經(jīng)嘗試過自己解決技術(shù)上的問題，而且他們解決了之后，會(huì)把原理開放出來分享給大家（這是我們非常尊重這些企業(yè)的原因）。
于是，淘寶的技術(shù)牛人在此基礎(chǔ)上就嘗試著去做分布式存儲(chǔ)、數(shù)據(jù)庫、中間件、負(fù)載均衡這樣一套電子商務(wù)操作系統(tǒng)。之后，經(jīng)過2009年至2012年期間一系列大型活動(dòng)的洗禮，這套系統(tǒng)已經(jīng)非常成熟。解決了原本用錢也解決不了的問題后，淘寶技術(shù)開始走向開放。這時(shí)候不僅僅是要把淘寶自己建設(shè)好，很多技術(shù)的探索成果我們也開源出去讓大家使用，來幫助我們的商家甚至競(jìng)爭(zhēng)對(duì)手。從技術(shù)角度來講，淘寶對(duì)整個(gè)業(yè)界技術(shù)水平的提升有很大的推動(dòng)作用。淘寶在這幾年間，也從一個(gè)技術(shù)不被談及的公司走向了技術(shù)型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術(shù)體系又將走向何方，其實(shí)是很難想象的一件事情。除了軟件、應(yīng)用系統(tǒng)開發(fā)外，還有大數(shù)據(jù)相關(guān)的研究，用云計(jì)算技術(shù)來提升整個(gè)電商生態(tài)圈的信息化能力，系統(tǒng)底層的持續(xù)優(yōu)化等等。我們現(xiàn)在可以利用淘寶的數(shù)據(jù)告訴商家現(xiàn)在流行什么，哪個(gè)地方的人喜歡買什么樣的商品，用大數(shù)據(jù)給他們的生產(chǎn)和銷售做信息支持；我們提供了一個(gè)名叫“聚石塔”的電商云工作平臺(tái)，讓商家把各種工作軟件部署進(jìn)來，實(shí)時(shí)對(duì)接淘寶的數(shù)據(jù)接口，享受和淘寶一樣安全穩(wěn)定的運(yùn)行環(huán)境。這樣可以把很多線下手工操作的事情直接在線處理掉，有遠(yuǎn)見的商家甚至已經(jīng)開始利用云計(jì)算來整合自己的供應(yīng)鏈系統(tǒng)了；我們還有人修改Linux內(nèi)核，定制服務(wù)器硬件，開發(fā)智能的部署方案，讓系統(tǒng)運(yùn)行更加綠色高效。未來主要是圍繞大數(shù)據(jù)、云計(jì)算和智能化這幾個(gè)方向發(fā)展了。
數(shù)據(jù)不會(huì)說謊
技術(shù)是為數(shù)據(jù)服務(wù)的，數(shù)據(jù)可以開發(fā)出去，外面的數(shù)據(jù)也可以回流回來。按照馬總的說法，我們現(xiàn)在變成了一個(gè)數(shù)據(jù)公司。
“大數(shù)據(jù)”的說法非常響亮，以至于現(xiàn)在誰提起大數(shù)據(jù)都感覺有些俗氣了。但是，大數(shù)據(jù)是很好的東西。
大數(shù)據(jù)為什么好？恰恰是因?yàn)樗?ldquo;大”。有個(gè)說法，最近10年人類所創(chuàng)造的數(shù)據(jù)占到人類有史以來所創(chuàng)造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現(xiàn)在都記錄在互聯(lián)網(wǎng)上，所以數(shù)據(jù)非常龐大。
數(shù)據(jù)大了之后，有了搜索引擎，也有個(gè)更多可能的出現(xiàn)。有一個(gè)很經(jīng)典的案例，說是通過谷歌的搜索引擎可以預(yù)測(cè)什么地方有流感。怎么預(yù)測(cè)呢？一般發(fā)生流感的時(shí)候，會(huì)有很多人在谷歌搜索“流鼻涕怎么治”。此時(shí)，谷歌通過統(tǒng)計(jì)分析，便可以得出哪個(gè)地方搜索類似關(guān)鍵詞的人更多，判斷出此地發(fā)生流感的概率可能更高。這樣的反應(yīng)速度比傳統(tǒng)的疫情機(jī)制反應(yīng)速度要快很久。
還有一個(gè)好玩的例子，某景區(qū)從原先的免費(fèi)開放改為收門票之后，雖然網(wǎng)上抗議聲一片，但他們官方還是宣稱他們的旅客數(shù)量在增長(zhǎng)。我們知道的情況是什么樣的呢？利用淘寶旅行上的數(shù)據(jù)，我們很明顯看到該景區(qū)酒店的訂單量起碼下降了一半。有時(shí)候，人們擅長(zhǎng)于對(duì)內(nèi)調(diào)查，對(duì)外“創(chuàng)造”結(jié)果，可是數(shù)據(jù)永遠(yuǎn)不會(huì)說謊。
現(xiàn)在淘寶會(huì)定期公布一個(gè)數(shù)據(jù)，叫TCPI，淘寶物價(jià)指數(shù)。之前，淘寶只有幾百萬用戶的時(shí)候，大家不敢做這個(gè)數(shù)據(jù)，即便你做了也沒人信。但是，基于現(xiàn)在的用戶數(shù)量，進(jìn)行這個(gè)數(shù)據(jù)統(tǒng)計(jì)分析后，它很受重視，甚至有些政府部門也很重視。他們也看到了，我們依賴數(shù)據(jù)做出來的統(tǒng)計(jì)更加高效，而他們自己則需要?jiǎng)佑么罅康娜肆Α⑽锪?，通過長(zhǎng)時(shí)間的調(diào)查可能才能得出這樣一個(gè)結(jié)論，淘寶技術(shù)人員寫了個(gè)數(shù)據(jù)模型，把淘寶交易積累下幾十個(gè)T的數(shù)據(jù)放到服務(wù)器上運(yùn)算，一個(gè)晚上就能分析出來了。這，就是大數(shù)據(jù)的威力。
對(duì)商家來說，商家隨時(shí)可以利用大數(shù)據(jù)指導(dǎo)商業(yè)生產(chǎn)，例如幫助商家做生產(chǎn)預(yù)測(cè)。打個(gè)比方，對(duì)“今年流行長(zhǎng)裙，短裙還是熱褲？”的問題，每個(gè)人的看法可能不一樣。而淘寶幾億用戶購買行為的實(shí)時(shí)數(shù)據(jù)是開放的，商家通過淘寶指數(shù)對(duì)比一下，結(jié)果就出來了。一對(duì)比發(fā)現(xiàn)，其實(shí)今年長(zhǎng)裙最受關(guān)注。這時(shí)候，商家拿這些數(shù)據(jù)給生產(chǎn)女裝的廠家，就可以做出這樣的決策：生產(chǎn)熱褲的生產(chǎn)線不要多投精力，趕緊做長(zhǎng)裙。這就是用數(shù)據(jù)說話。在十年前，誰也拿不到這些數(shù)據(jù)，服裝的流行趨勢(shì)很多時(shí)候只能依賴時(shí)尚雜志?，F(xiàn)在，不如看數(shù)據(jù)更直接，而能夠做到這一點(diǎn)，正是因?yàn)樘詫氂斜容^大的用戶基礎(chǔ)，數(shù)據(jù)量大了之后，獲取的信息才是貼近真實(shí)的。因此，將這里面的信息整合起來，就可以看到最真實(shí)的情況。
訪問手機(jī)端更方便
技術(shù)創(chuàng)造價(jià)值 服務(wù)締造品牌
Copyright ? 2011-2024 鄭州開拓者電子科技有限公司 All Rights Reserved
友情鏈接：
小程序開發(fā)