大數(shù)據(jù)的挖掘提升了決策的智能化水平,支撐了社會(huì)管理和智慧城市的建設(shè)跟產(chǎn)業(yè)升級(jí),實(shí)現(xiàn)了“眾智成城”,信息技術(shù)和新材料技術(shù)、能源技術(shù)、生物技術(shù)、先進(jìn)技術(shù)的結(jié)合,催生了產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代?;ヂ?lián)網(wǎng)思維驅(qū)動(dòng)了產(chǎn)業(yè)變革,互聯(lián)網(wǎng)+對(duì)于處于經(jīng)濟(jì)發(fā)展新常態(tài)的我國(guó)來說,既是機(jī)遇,更是挑戰(zhàn)。維基百科對(duì)于大數(shù)據(jù)是這樣定義的,沒有辦法在規(guī)定的時(shí)間里,用常規(guī)的軟件,對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。當(dāng)然,并不是說只有大數(shù)據(jù)才有用,中數(shù)據(jù)、小數(shù)據(jù)也是有用的,只不過大數(shù)據(jù)的代表性更強(qiáng)。今天,我們就“大數(shù)據(jù)時(shí)代的社會(huì)管理與產(chǎn)業(yè)發(fā)展”談四個(gè)方面的問題:一是信息化催生大數(shù)據(jù);二是大數(shù)據(jù)在社會(huì)運(yùn)行方面的應(yīng)用;三是大數(shù)據(jù)的產(chǎn)業(yè)應(yīng)用;四是互聯(lián)網(wǎng)+智能制造。
一、信息化催生大數(shù)據(jù)
說到信息化,要說到集成電路的發(fā)展規(guī)律,即:摩爾定律,其內(nèi)容為:當(dāng)價(jià)格不變時(shí),集成電路上可容納的元器件的數(shù)目,約每隔18-24個(gè)月便會(huì)增加一倍,性能也將提升一倍。過去30年,汽車引擎技術(shù)的進(jìn)步,使汽車速度提升了200%,同期的集成電路使計(jì)算機(jī)的速度提升了1萬(wàn)倍,內(nèi)存價(jià)格下降了45000倍,硬盤價(jià)格下降了360萬(wàn)倍。如果汽車價(jià)格能夠跟集成電路硬盤同等速度下降,那么今天我們買一部新車,只要1.01美元;如果汽油的性能能夠以集成電路那樣的速度發(fā)展,那么1升汽油就可讓飛行器繞地球飛573圈。也就是說,目前還沒有哪一種技術(shù)有集成技術(shù)發(fā)展得這么快。到2018年,預(yù)計(jì)一個(gè)CPU里的晶體管數(shù)目可達(dá)300億個(gè),超過人的大腦的細(xì)胞數(shù)。除了集成電路,軟件也越來越重要,軟件運(yùn)行環(huán)境從單機(jī)發(fā)展為網(wǎng)絡(luò),從互聯(lián)網(wǎng)環(huán)境發(fā)展到普適計(jì)算環(huán)境,用戶數(shù)量和復(fù)雜度劇增,或要求輕量化和云化。1972年,阿波羅登月飛行器的軟件只有4K的代碼,雪佛蘭、奔馳新車的軟件代碼規(guī)模超過1000萬(wàn)行,空客飛機(jī)軟件有10億行代碼,Window操作系統(tǒng)超過3000萬(wàn)行代碼,安卓、蘋果的操作系統(tǒng)有上百萬(wàn)行代碼。軟件加速向開源化、智能化、高可信、網(wǎng)絡(luò)化和服務(wù)化方向發(fā)展。1975年,美國(guó)航天總局500萬(wàn)美元買的一臺(tái)超級(jí)計(jì)算機(jī),其能力還不如現(xiàn)在我們400美元買的Iphone4。1985年,美國(guó)國(guó)防部更新了一部全世界最好的計(jì)算機(jī),現(xiàn)在它的功能趕不上Ipad2。在1997年,買一個(gè)1G的閃存卡,要花將近八千美元,現(xiàn)在只需0.25美元。就是說,信息技術(shù)的進(jìn)步,帶來功能的提升和成本的下降。
(一)云計(jì)算。20世紀(jì)80年代說的是數(shù)據(jù)庫(kù),20世紀(jì)90年代說的是互聯(lián)網(wǎng)數(shù)據(jù)中心,現(xiàn)在說的是云計(jì)算、云服務(wù),未來更重要的是數(shù)據(jù)服務(wù)。隨著信息化的發(fā)展,很多單位都要建信息化系統(tǒng),可是現(xiàn)在建的,過一段時(shí)間就過時(shí)了,每一個(gè)單位的實(shí)際利用率并不高,由此,就考慮能不能依托第三方來建,利用第三方持有的服務(wù)器、存儲(chǔ)器、網(wǎng)絡(luò),數(shù)據(jù)等一些東西,把所需信息數(shù)據(jù)存進(jìn)去。第三方公司將其基礎(chǔ)設(shè)施作為服務(wù)對(duì)外提供,不但如此,還提供一些存儲(chǔ)器、服務(wù)器,一些中間件、開發(fā)工具、數(shù)據(jù)庫(kù),提供需求方所需的一些軟件。更進(jìn)一步地,對(duì)于很多中小企業(yè)來講,他們不會(huì)用第三方所提供的這些工具,怎么辦呢?那就直接給它提供已經(jīng)做好的軟件,倘若企業(yè)很小,買不起開發(fā)好的軟件,可以通過租賃的形式,獲得所需服務(wù),還可以利用數(shù)據(jù)庫(kù)里的數(shù)據(jù)開發(fā)所需服務(wù)。這跟剛開始發(fā)明電的時(shí)候類似,一開始是企業(yè)等用電單位自建發(fā)電站,可是后來發(fā)現(xiàn)沒必要,用電廠的電就行了。現(xiàn)在,信息化也到了這個(gè)階段,不一定所有的信息化都要自建,可以采用集約式的方式,大大節(jié)省投資,高效利用。
(二)視頻。美國(guó)的YouTube,是世界上最大的視頻網(wǎng)站,每分鐘有100小時(shí)的視頻節(jié)目上傳。2016年,互聯(lián)網(wǎng)的流量會(huì)達(dá)到每秒720TB,互聯(lián)網(wǎng)每3分鐘可以傳送360萬(wàn)小時(shí)的視頻。最近,美國(guó)YouTube網(wǎng)站上傳的視頻量已經(jīng)超過美國(guó)三大電視臺(tái)(ABC、NBC、CBS)自1948年開播以來,連續(xù)播送所有電視的總和。就是說,網(wǎng)絡(luò)的視頻量比電視臺(tái)的視頻量要大的多,現(xiàn)在網(wǎng)上的視頻已經(jīng)占到互聯(lián)網(wǎng)流量的一半。我國(guó)大概60%的網(wǎng)民在網(wǎng)上看視頻。
(三)下一代互聯(lián)網(wǎng)。互聯(lián)網(wǎng)技術(shù)從70年代的TCP/IP,發(fā)展到90年代的WEB,到00年代的P2P/WEB2.0,以及現(xiàn)在10年代的Cyber-PhysicalSystem系統(tǒng);互聯(lián)網(wǎng)從最早收發(fā)郵件的聯(lián)系平臺(tái),到可以上網(wǎng)下載文件的瀏覽平臺(tái),微博博客出現(xiàn)以后,互聯(lián)網(wǎng)又是一個(gè)交互平臺(tái),也是一個(gè)工作平臺(tái);互聯(lián)網(wǎng)從傳數(shù)據(jù),到傳話音、傳視頻,到M2M;從有線,到無(wú)線,寬帶、移動(dòng);從撥號(hào)接入到永遠(yuǎn)在線;從網(wǎng)絡(luò)業(yè)務(wù)到電信業(yè)務(wù)、媒體業(yè)務(wù)、物聯(lián)業(yè)務(wù);從研究網(wǎng)絡(luò)到商業(yè)網(wǎng)絡(luò),到泛在網(wǎng)絡(luò)。整個(gè)互聯(lián)網(wǎng)的發(fā)展才40多年,進(jìn)入我國(guó)才20年,現(xiàn)在已經(jīng)非常深入地影響到了我們的社會(huì)生活。2014年年底,我國(guó)互聯(lián)網(wǎng)普及率已經(jīng)達(dá)到47.9%,2015年有望超過50%,其中手機(jī)網(wǎng)民規(guī)模達(dá)5.57億。移動(dòng)互聯(lián)網(wǎng)屏幕比較小,帶寬也不如固定網(wǎng)絡(luò),資費(fèi)也比較貴,但是發(fā)展更快,因?yàn)樗哂兴槠?、光纖化、私密化、娛樂化、互動(dòng)性等特性。很多農(nóng)民不一定會(huì)用PC,但是基本上都會(huì)用手機(jī)。通過手機(jī)可以知道用戶的身份、位置,用戶在線狀態(tài)信息,用戶終端和應(yīng)用偏好、用戶消費(fèi)行為統(tǒng)計(jì)數(shù)據(jù)。手機(jī)可以提供很多服務(wù)。“蘋果”上的應(yīng)用有120萬(wàn)種,安卓上的應(yīng)用有150萬(wàn)種。
移動(dòng)通信為了適應(yīng)移動(dòng)互聯(lián)的發(fā)展,發(fā)生了很大變化,20世紀(jì)90年代以前,用的是模擬電路交換,那時(shí)候手機(jī)很大,叫大哥大,只能打電話?,F(xiàn)在大部分人用的還是2G,2009年我國(guó)已經(jīng)啟動(dòng)3G,2013年年底,我國(guó)啟動(dòng)了4G,現(xiàn)在杭州已經(jīng)有支持200兆的4G。在我國(guó)4G剛剛開始的時(shí)候,國(guó)際電信部門已經(jīng)開始5G的標(biāo)準(zhǔn)化,5G意味著,在高速公路上開車,用無(wú)線可以下載10個(gè)G,在家里不用網(wǎng)線可以下載50個(gè)G。每一代移動(dòng)通信都是革命的,移動(dòng)通信十年一代。早年,我們的手機(jī)只能聽和講,看和寫,現(xiàn)在可以觸摸,里面還有地圖,可以感知了,人機(jī)接口發(fā)生了很大變化。大部分人有手機(jī)可能是在20世紀(jì)90年代后期,2000年手機(jī)可以聽MP3,2001年有彩屏,2002年有照相機(jī),2003年有手寫,2004年可錄音,2005年能看電視,2006年有GPS,2007年上WIFI,2008年有觸摸屏,2009年有傳感器。2013年開始,手機(jī)有重力感應(yīng)器,里面有陀螺儀,老人帶上這種有陀螺儀的手機(jī),在摔跤時(shí),可以發(fā)短信給親人或者給醫(yī)院。手機(jī)還有光線感應(yīng)器,白天不發(fā)亮,晚上發(fā)亮,一個(gè)人老花眼,看短信要靠近,手機(jī)就能檢測(cè)到,并自動(dòng)將字變大。福島核事故以后,日本的手機(jī)加載了核輻射傳感器。微軟收購(gòu)諾基亞之后,裝有26種語(yǔ)音連到云端,你這邊講的是中文,朋友講的是英文,按一下鍵,你講中文,朋友聽英文,朋友講英文,你聽中文。
2014年年底,在烏鎮(zhèn)召開的世界互聯(lián)網(wǎng)大會(huì)上,日本首富孫正義發(fā)言說,30年后,假設(shè)蘋果公司還存在,那么蘋果要賣Iphone32了,價(jià)格可能還是300美元,可是CPU的性能和存儲(chǔ)器的容量將會(huì)是現(xiàn)在的100萬(wàn)倍,通信速度是現(xiàn)在的300萬(wàn)倍,可以存5000億首歌曲,3萬(wàn)部電影?,F(xiàn)在,谷歌搞可穿戴設(shè)備,摸一下眼鏡鏡框,就是翻頁(yè),眨一下眼睛,就可拍照。百度也做眼鏡,在后面有一個(gè)攝像頭,一邊是收發(fā)器,將看到的景象送到云端,搜索之后,給以解釋,實(shí)現(xiàn)了所見即所知。再有,盲人閱讀的書本是凹凸不平的,網(wǎng)上的屏幕不可能凹凸,怎么辦呢?戴一個(gè)指環(huán),上面裝有一個(gè)攝像頭,手指指到哪里,就自動(dòng)將其讀取,甚至可以翻譯出來。
習(xí)總書記說,信息資源日益成為重要的生產(chǎn)要素和社會(huì)財(cái)富,信息掌握的多寡,成為國(guó)家軟實(shí)力和競(jìng)爭(zhēng)力的重要標(biāo)志。我們通常會(huì)把基礎(chǔ)設(shè)施看作是一個(gè)城市的重要資產(chǎn),今后數(shù)據(jù)也將成為智慧城市的重要資產(chǎn)。智慧城市的標(biāo)準(zhǔn),主要包括兩個(gè)大的方面:一是產(chǎn)業(yè)發(fā)展?fàn)顩r;二是社會(huì)管理和民生服務(wù),以及老百姓是不是能參與到城市管理中來。
(四)感知大數(shù)據(jù)。隨著信息化的發(fā)展,產(chǎn)生了大量的數(shù)據(jù)。其一,攝像頭錄制的大量數(shù)據(jù)。北京有80萬(wàn)個(gè)攝像頭,只要走到街上,即便走的不遠(yuǎn),一天至少也給你拍了八次以上。通常,一個(gè)城市的攝像資料要保存三個(gè)月,幾十萬(wàn)個(gè)攝像資料要保存下來。
其二,國(guó)家有關(guān)機(jī)關(guān)部門產(chǎn)生的眾多數(shù)據(jù)。拿2011年、2012年北京的數(shù)據(jù)對(duì)比看,一年增加了50%。
其三,政法系統(tǒng)收集的眾多數(shù)據(jù)。浙江建成了全省法院的統(tǒng)一法庭管理平臺(tái),匯集了幾百萬(wàn)案件和庭審錄像,還開發(fā)了很多相關(guān)應(yīng)用。比如,通過銀行聯(lián)網(wǎng),一年找回了一千多億被執(zhí)行人賴的帳。北京檢察院系統(tǒng)建立50萬(wàn)件案件數(shù)據(jù)。深圳公安局建立了信訪綜合平臺(tái),包括人員檔案1.16億份,電話檔案1.39億份,場(chǎng)所、車輛檔案900多萬(wàn)份。
其四,公共服務(wù)部門產(chǎn)生的大量數(shù)據(jù)。國(guó)家電網(wǎng)累計(jì)產(chǎn)生的數(shù)據(jù)有5個(gè)P。原來,聯(lián)通每個(gè)月開一個(gè)單子給用戶交錢,用戶說,這個(gè)月我沒上那么多網(wǎng),干嘛收我這么多錢,就是因?yàn)橹挥幸粋€(gè)最終結(jié)果,沒有中間記錄,經(jīng)常打官司,很難說服用戶。因此,聯(lián)通建立起了自動(dòng)記錄系統(tǒng),詳細(xì)地實(shí)時(shí)記錄,現(xiàn)在移動(dòng)、電信也都在這樣處理客戶信息。北京交通調(diào)度中心每天的數(shù)據(jù)增量30個(gè)G,存量20個(gè)G。到銀行,數(shù)據(jù)就更多了。醫(yī)院也是大數(shù)據(jù),醫(yī)院的病例堆積如山。
其五,網(wǎng)站的數(shù)據(jù)就更大了。在所謂的光棍節(jié),淘寶一秒鐘處理3.8萬(wàn)筆交易,在阿里平臺(tái)上有超過100PB已處理過的數(shù)據(jù),百度每天產(chǎn)生一個(gè)TB的日志,騰訊QQ的活躍用戶超過8個(gè)億,微信用戶超過5個(gè)億,壓縮數(shù)據(jù)量之后,也超過100個(gè)P。新浪微博晚高峰時(shí)候,一秒鐘接受100萬(wàn)次的請(qǐng)求。全世界的網(wǎng)民,1998年平均每個(gè)網(wǎng)民每月下載一兆,2008年平均每個(gè)網(wǎng)民每月下載1G,2014年平均每個(gè)網(wǎng)民每月平均下載10G。2014年和2015年,全世界互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量是有史以來累計(jì)到2013年所產(chǎn)生的數(shù)據(jù)量的總和,可以說兩年等于一萬(wàn)年?,F(xiàn)在是一個(gè)數(shù)據(jù)爆炸的時(shí)代。
歸結(jié)起來,大數(shù)據(jù)的特征主要包括:一是量很大;二是變化很快;三是變異品種很多,有結(jié)構(gòu)性的數(shù)據(jù),像WORD文檔,有非結(jié)構(gòu)性的數(shù)據(jù),像數(shù)據(jù)和照片;四是能有價(jià)值。應(yīng)該說,大數(shù)據(jù)是價(jià)值密度很低的數(shù)據(jù)集,就是說,可能大數(shù)據(jù)里面大部分都是垃圾,如果不進(jìn)行挖掘,那么全部都將是垃圾,我們所做的,就是從這些“垃圾”里找出有價(jià)值的東西,正所謂沙里淘金、海底撈針。
已有0人發(fā)表了評(píng)論