大數據，如何不成為“概念股”？ 急需更多數據科學家

近日，兩則關於大數據的新聞令人關注。其一，國務院印發《促進大數據發展行動綱要》，為我國大數據發展進行頂層設計和統籌部署﹔其二，我國正在制定《大數據產業“十三五”發展規劃》，支持大數據技術和產業創新發展。

正如谷歌公司憑借對搜索數據的分析，成功預測2013年美國流感爆發，大數據這一全新數據科學發展至今，已被公認為全球各行業提升能級的要素之一。然而，在這股洶涌熱潮中，新技術難免被誤讀、炒作，甚至可能陷入“從概念到概念”的封閉圈，而阻礙其良性發展。

大數據，如何避免成為“概念股”？

大數據也可能出錯結果

“大數據是一座信息富礦，通過有效提取方式，相較小數據樣本研究可以獲得更多以往看不見的寶藏。”復旦大學大數據學院院長、教授范劍青坦言。大數據有多大？假設個人電腦的硬盤容量是1TB，2003年全世界數據大約可裝滿500萬台電腦，現在能裝滿80億台，到2020年，全世界數據預計能裝滿400億台電腦。

如此巨大的“礦山”中，許多不可能正在發生。微軟公司通過大數據分析處理，對奧斯卡金像獎作出“預言”，結果除“最佳導演”外，其余13項大獎全部命中。而今，大數據技術已進入金融、科研等領域。國內外均有企業通過分析社會人群對股票的關注熱度，做出在証券市場的買賣決定，獲得高額回報。范劍青說，當過去不曾被關注的信息在大數據推動下被妥善應用，就成為了獨一無二的“盈利點”。

“但必須強調的是，它並不是萬能的，也可能帶來錯誤的結果。”范劍青說。

首先，是“假相關”問題。他舉例，若在一個小村庄裡，兩個人面貌相似，那麼判斷其兩者具有血緣關系的准確性就較高。但若在幾千萬人口的大城市，做出這一判斷，其可信度就大大降低了。在大數據分析中，由於信息海量且多元異構，影響結果的要素繁多，若不能精准驗証，往往會誤解兩個參數之間具有相關性，而影響整個結論。

另一個問題，是誤差疊加。大數據涉及幾萬個、幾百萬個乃至數百億個變量，這意味著如果每一個變量都造成一點點誤差，最后的預測會是很多誤差的疊加，失之毫厘，差之千裡。

在他看來，理性看待這一新技術、新學科，是其發展的基礎，通過技術創新，更科學地抽取樣本、解讀數據，更好地解決先天軟肋，也是大數據技術向更高層次發展的驅動力之一。

急需更多數據科學家

以往談到大數據發展，存在兩大瓶頸。

其一，數據價值的體現，離不開共享，但由於相當一部分數據涉及普通人隱私，因此數據的使用尤其是商業使用，應有權益邊界。在大數據更好地服務生活的同時，如何兼顧個人隱私安全，成為重要課題。其二，可公開信息尚存諸多屏障。多位信息技術研究者發現，他們最大的苦惱在於獲取信息不易。大數據分析處理過程中，有相當一部分數據來源於政府部門可公開信息，然而，有時部分條塊部門不願提供，令研究者難為無米之炊。

不過，范劍青認為，當前最重要的難點，在於人才緊缺，缺乏人才支撐，新技術帶來的新產業往往難以真正落地。

上海市數據科學重點實驗室主任朱揚勇在近日發表的《大數據時代的數據科學家培養實踐》 一文中透露：國外有機構預測到2018年，僅美國本土就可能面臨缺乏19萬名具備深入分析數據能力人才的情況，同時具備通過分析大數據並為企業作出有效決策的數據管理人員和分析師也有150萬人的缺口。大數據時代，最熱門的職業是數據科學家。

與此同時，大數據技術所涉及的知識體系的復雜性，給人才培養帶來新挑戰。事實上，全球的大學開始探索培養數據科學研究人才，至今僅有5年。普林斯頓大學去年開始有統計與機器學習（大數據方向）的輔修課程，今年開始正式招生。清華大學去年成立數據科學研究院，推出大數據碩士項目。昨天，復旦大學大數據學院、大數據研究院正式成立。由於大數據本身是統計學、計算機科學以及多種學科的交叉新興學科，在這些高校中傳統的按學科分類培養人才的模式“被迫”創新。

范劍青如今同時任美國普林斯頓大學統計委員會主任，他說，“如何設計課程，全世界都在摸索，我們也一樣，初步考慮，統計學和計算機數據處理，將成為構成課程體系的核心。”課程體系將融匯經濟管理、生命科學、醫療衛生、能源環境、社會統計和新聞傳播等眾多學科，打造跨學科的創新性人才培養平台。

大數據應用“創意為王”

在大數據處理的軟硬件領域，國外已相繼推出成熟產品。SAP公司的HANA系統、EMC 公司的 reenplumUAP 系統、微軟公司的AzureHadoop系統等多個商用或半商用產品強勢投入市場，爭奪份額。在推出單一功能產品的同時，海外IT巨頭還推出一體化服務，以數據處理技術為核心，將存儲、數據庫維護等打包出售。這些基礎工具令大數據處理、分析更為便捷，門檻也更低。

但問題同時出現。復旦大學能源經濟與戰略研究中心常務副主任吳力波坦言，在當前大數據領域中，流傳著一句話，說明專業發展中的“可怕陷阱”：“garbage in，garbage out(廢料進廢料出)。”簡而言之，就是在大數據處理過程中，往往過度依賴基本工具，而忽視了所在專業領域的特殊性，隨之而來的是，輸入海量數據后，處理獲得的數據也是無效的，為數據而數據，難以真正服務於社會實際。

作為投身能源大數據分析的專家，吳力波認為，在大數據產業發展和布局中，應始終強調其“創意為王”的天然屬性，從數以億萬計的信息中提取關聯要素，真正為生產、生活提供服務。用她的話來說，就是不再從數據到數據，而是從數據到故事。

舉例來說，她研究的能源大數據，企業、甚至居民每分鐘的用電數據是數據來源，面對如此高頻海量的信息，首先要將其可視化處理，再清洗、修正、挖掘，找到真正相關聯的要素，許多意想不到的結論就此產生。例如，分析用電情況發現，居民對階梯電價敏感程度各異，其中收入、年齡、教育背景等屬性的參差疊加，往往形成一個個特征群體，這些都可以成為今后能源政策制定、節能措施推廣的有效參考。在國外電網的大數據應用中，更是將溫度、濕度、風向、季節等非結構性因素納入數據分析，對電網發電預測、價格制定、錯峰安排等決策提供重要依據。