資訊專欄INFORMATION COLUMN
摘要：宋體云端運算與內存數據庫革命性技術值得關注宋體被點名為革命性技術的第二梯隊注預估年發酵者，則包含了兩項，分別是云端運算內存數據庫系統。宋體云端技術對于大數據處理與分析的重要性，著實無庸置疑。
前兩天有人在微博發問，用什么樣的方式講述大數據和云計算才能非專業人士聽的更清楚，其實關于大數據的案例有很多，商業智能分析也多次提到過關于數據挖掘的價值和意義，只不過在今天看數據比以前還多而已，大數據并不可怕，可怕的是他的實時分析能力，會讓缺點和真相赤裸裸暴露在人們面前，那么當云計算遭遇大數據一股腦向企業涌進的時候，企業能否駕馭呢？
所謂的大數據主要涵蓋3V面向，分別是處理時效（Velocity）、數據格式（Variety）與數據量（Volume）；所以大數據并非單一技術，而是眾多技術項目的集合體，它們的共同目的，都是在一定時間內處理完大量的結構化、半結構化或非結構化數據。唯有駕馭個中關鍵技術，方能分析處理大數據，建立商業應用價值。
繼續訴說Wal-Mart比父親更早知道女兒懷孕的故事。2012年初的某一天，美國明尼蘇達州有一名父親，怒氣沖沖跑到賣場并質問主管，為何將帶有嬰兒用品優惠券的廣告郵件，寄送給他正在念高中的女兒？此舉是否鼓勵未成年女生懷孕？
然而后來事實證明，這名父親的女兒果真懷孕，賣場并非憑空亂灑廣告郵件。人們不禁好奇，Wal-Mart何以如此神通廣大，竟然能夠隔空挖掘真相？答案就在于大數據的實時分析，包括這名女孩搜尋商品的關鍵詞詞，以及在社交網站所顯露的行為軌跡，其實都已蘊藏豐富價值，足以表明她懷孕的事實，而接下來的時間，她最需要采購哪些商品，答案便呼之欲出。
由此可見，倘若善用巨量資料實時性分析，這些看似枯燥瑣碎的資料，立即就能蛻變為饒富價值的資產，造就無窮無盡的商機。它可以幫助精品服飾業者，快速洞察顧客的喜好變化，立即形成較佳的生產銷售決策，繼而創造源源不斷的營收增長動能；它可以幫助投信業者，從Tweets中分析大眾的情緒變化，藉以提高股市行情預測的精準度，創造遠遠優于同業的基金投資報酬率。
也難怪各方都對巨量資料趨之若鶩，譬如美國歐巴馬政府即在2012年3月間做成決定，此后將投入高達2億美元的研究與開發經費，藉以改善巨量資料時代中，所需之開發、搜集、儲存、管理、分享與分析工具與技術，以期利用這些技術加速科學及工程上的發現腳步、強化國家安全，并改善相關的教育及學習模式。
大數據到底是個“神馬”東西
的確，雖然這些神乎其技的大數據應用，無不讓企業心生向往，然而多數IT主管卻對于個中技術一半未解，導致影響所屬企業商業價值的產出，殊為可惜。
究竟企業如何基于大數據的分析與應用需求，提高其技術整備度？知名研究機構Gartner在其發表的“Hype Cycle for Big Data”當中所呈現的巨量資料優先矩陣（Priority Matrix for Big Data），即已針對眾多技術今后的興衰浮沉，進行大致的預測；如此一來，哪些技術被定位為“革命性（Transformational）”,亟需密切留意，哪些技術處于高度（High）發展的軌道，值得善加運用，而哪些技術大抵維持中度（Moderate）發展格局，未來大起的機會不高，若要為此挹注大量投資，恐需再三思考，企業IT人員心中即有基本的譜圖與脈絡。
根據Gartner預測，從現在起的兩年之內，率先達到革命性等級的技術，便是字段式數據庫（Column Store-DBMS），將呈現高度發展者，則為預測分析技術，至于社交媒體監控、Web分析等技術，發展狀況持平。如此觀之，舉凡字段式數據庫、預測分析，將會是企業亟需優先布局的標的。
探究字段式數據庫之所以搶得頭香，其實并不難理解，因為對于數據擷取、保存、使用、分享與分析等用途而言，數據庫系統皆堪稱是最關鍵的載體，因此其面對大數據的讀寫效率、及近實時（Near Real-Time）運算能力的強弱，肯定需要審慎考慮；在此情況下，傳統以Row為索引存取基礎的數據庫，效能顯然不彰，無法承擔因大數據而衍生的大量工作負載（Work Load），倘若不為此做改變，后頭的進階型分析應用，可說連想都不必再想了。
當然，隨著Hadoop大行其道，連帶使得諸如BigTable、HBase或Cassandra等Key-Value數據庫開始抬頭，這些可被統稱為“NoSQL”的數據庫，不論是Key-Value Database、In-memory Database、Graph Database或Document Database,都有別傳統關系數據庫結構，似乎都更將貼近大數據的處理需求，既然如此，何不直接采用NoSQL數據庫、而非字段式數據庫？
事實上，NoSQL另一層意涵為“Not Only SQL”,旨在補現有SQL之不足，而非取代SQL,企業宜先從數據庫I/O需求、Schema Free需求、單一數據表的儲存需求…等不同面向，徹底檢視其于處理大數據的過程中，究竟可能面臨哪些難題，而這些難題，哪些是SQL可以解決的、哪些又是SQL所不能解決的，莫要為了追求時髦而時髦；如此看來，字段式數據庫被企業所倚賴的空間，確實十分寬廣，最起碼，它對于數據的讀取效能，肯定比NoSQL數據庫強大許多。
云端運算與內存數據庫 革命性技術值得關注
被Gartner點名為革命性技術的“第二梯隊”（注：預估2~5年發酵）者，則包含了兩項，分別是云端運算、內存數據庫系統（In-Memory DBMS）。
至于同樣落在2~5年區間的高度發展技術，項目就相當繁多，包括先進的詐欺偵測暨分析技術、以云端為基礎的網格運算、數據科學家、內存分析（In-Memory Analytics）、內存數據網格（In-Memory Data Grids）、政府公開數據（Open Government Data）、預測模型解決方案（Predictive Modeling Solutions）、社交分析（Social Analytics）、社交內容（Social Content），以及文本金分析（Text Analytics）。
云端技術對于大數據處理與分析的重要性，著實無庸置疑。先從私有云角度來看，要想透過不管是MPI或MapReduce進行大數據的分布式計算，都需奠基于計算、儲存或網絡等資源的靈活調度，值此時刻，若舍棄云端，似乎就唯有斥巨資部署超級計算機一途了。
其次談到公有云。盡管各行各業都可因大數據分析而獲益，但多數應用場域，其實并非無時無刻都需要做分析，使用頻率甚至長達每季一次、或每半年一次；在此前提下，企業若僅為了并非實時性的巨量資料分析，因而投注大量人力、物力與時間等成本建構Hadoop環境，投資報酬率似乎不太劃算，的確值得商榷。
此時此刻，企業若能以彈性付費的方式，向公有云服務供貨商，租賃大數據分析所需之計算資源，且能比照內部On-Premise管理規則進行相關設定，實在稱得上是美事一樁。以微軟為例，即在Windows Azure公有云端平臺上提供Hadoop租用服務，讓企業無需投資布建大量服務器及數據庫，便可隨需推動大數據運算任務，甚至標榜能將 Windows與SQL Server方便管理的特性帶到Hadoop環境，便是相當典型的云端Big Data服務。
至于內存數據庫，即是將關系數據庫、甚至是字段式數據庫，整個置于內存之中，這般做法的好處是，以往最讓人詬病的磁盤I/O瓶頸，即可聲應而破，從而大幅提振效能、縮短數據庫作業的響應時間；身處現今凡事講究超速的時代，企業若能更快獲致商業運算結果，也意謂其獲得勝利的可能性愈大。
所以大家不難發現，當內存數據庫被Gartner預期會在2~5年成為革命性技術的同時，“In-Memory”這個字眼仍在高度發展技術象限中反復出現，包括內存分析、內存數據網格等，也就充分凸顯出，“效能”對于大數據處理，實在太過重要，而效能表現的強弱，甚至對于最終商業應用的績效影響至巨。
另值得一提的，在Gartner點名會在2~5年轉為“中度發展”的技術名單中，其間不乏是近來非常熱門的項目，譬如MapReduce、NoSQL數據庫、數據庫SaaS（Database Software as a Service;dbSaaS），此一看似將由熱轉冷的發展趨勢，亦值得企業保持關注。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4014.html
摘要：在未來十年，管理數據倉庫的服務器的數量將增加倍以便迎合倍的大數據增長。毫無疑問，大數據將挑戰企業的存儲架構及數據中心基礎設施等，也會引發云計算數據倉庫數據挖掘商業智能等應用的連鎖反應。 大數據正在徹底改變IT世界。那么，什么樣的數據談得上數據呢? ? 根據IDC的報告，未來十年全球大數據將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數據創建產生。這相當...
摘要：毫無疑問，大數據將挑戰企業的存儲架構及數據中心基礎設施等，也會引發云計算數據倉庫數據挖掘商業智能等應用的連鎖反應。 ?????? 大數據正在徹底改變IT世界。那么，什么樣的數據談得上數據呢? 根據IDC的報告，未來十年全球大數據將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數據創建產生。這相當于每位美國人每分鐘寫3條Tweet，而且還是不停地寫2.6976...
摘要：中國的確正在開啟新的工業革命。周博洋在演講中表示，制造業作為國民經濟的根基，如何借助云計算物聯網人工智能等新技術度過轉型爬坡期，讓制造業成為托舉中國經濟的支柱，是云服務商需要肩負的責任。幾年前，英國《經濟學人》雜志就分析認為，與以紡織機械化為標志的第一次工業革命和以福特汽車流水線生產為標志的第二次工業革命不同，第三次工業革命，應該以數字化制造及新型材料應用為代表。出版過《第三次工業革命》一書...
摘要：所謂大數據及其相關技術在經歷了高度重視詳細甄別以及吐故納新之后，實際成果很可能與我們的認知存在較大差異。他們將探討與大數據相關的各類話題，內容涵蓋對抗販賣人口未來發展方向乃至人工智能前沿技術。 請大家不要再糾結于一塊磁盤能保存多少數據或者企業到底會不會采用Hadoop。關于大數據的真正問題在于，企業用戶將如何使用Hadoop、我們的系統到底能在智能化道路上走多遠、我們又該如何保證這一切都處于...
摘要：宋體宋體心跳的誘惑全民皆云究竟能走多遠宋體宋體也正是如此，我們國家對云計算產業的發展投入了大量人力物力。 云計算(Cloud Computing)，正如以往的任何一次新技術革命一樣，帶給人們的是驚奇、欣喜和潛移默化中不斷接受并普及的過程。在人們逐漸認識并認可了云計算的未來發展趨勢和巨大前景之后，我們看到，云計算在各個城市和地方猶如雨后春筍般涌現出來。然而，這種在誘人前景下的盲目擴張，勢必會給...
閱讀 2044·2021-11-15 11:39
閱讀 3226·2021-10-09 09:41
閱讀 1490·2019-08-30 14:20
閱讀 3261·2019-08-30 13:53
閱讀 3324·2019-08-29 16:32
閱讀 3361·2019-08-29 11:20
閱讀 3018·2019-08-26 13:53
閱讀 774·2019-08-26 12:18
