如何大數(shù)據(jù)處理SEARCH AGGREGATION
回答:目前階段大數(shù)據(jù)技術(shù)及體系已經(jīng)逐漸趨于成熟，不再是以概念貫穿的模式，大數(shù)據(jù)越來越多的被使用，伴隨互聯(lián)網(wǎng)化的發(fā)展更多的企業(yè)信息化已經(jīng)由IT時(shí)代轉(zhuǎn)變?yōu)镈T時(shí)代，以數(shù)據(jù)為核心，用數(shù)據(jù)進(jìn)行決策，基于數(shù)據(jù)驅(qū)動企業(yè)的創(chuàng)新與發(fā)展，相信在將來大數(shù)據(jù)也會有更廣泛的應(yīng)用空間，對于大數(shù)據(jù)的理解主要分為以下幾個(gè)層面。1.數(shù)據(jù)來源：對于大數(shù)據(jù)時(shí)代而言更多強(qiáng)調(diào)基于業(yè)務(wù)數(shù)據(jù)的沉淀，在一定規(guī)模的數(shù)據(jù)上進(jìn)行進(jìn)一步的分析、處理、轉(zhuǎn)換，...
arashicage
|
1224人閱讀
回答:大數(shù)據(jù)是處理海量數(shù)據(jù)的一種技術(shù)，你說的寫SQL只能處理結(jié)構(gòu)化數(shù)據(jù)，更多的是非結(jié)構(gòu)化數(shù)據(jù)（文本數(shù)據(jù)），和半結(jié)構(gòu)化數(shù)據(jù)。并且通過SQL處理的數(shù)據(jù)量一般很少，幾個(gè)T就根本不行，大數(shù)據(jù)涉及存儲（存儲級別為PB級別），資源調(diào)度（一般是分布式系統(tǒng)，不是一臺機(jī)器），計(jì)算框架（hadoop;storm;spark）這三部分，缺一不可，你說的寫SQL只是相當(dāng)于計(jì)算框架（勉強(qiáng)算得上，性能差遠(yuǎn)了）。
tracymac7
|
778人閱讀
回答:這是一個(gè)非常好的問題，作為一名IT從業(yè)者，同時(shí)也在帶大數(shù)據(jù)方向的研究生，所以我來回答一下這個(gè)問題。首先，從技術(shù)體系結(jié)構(gòu)上來看，當(dāng)前的大數(shù)據(jù)技術(shù)已經(jīng)趨于成熟了，在數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)和數(shù)據(jù)應(yīng)用等方面，已經(jīng)形成了一整套技術(shù)框架，相關(guān)的技術(shù)生態(tài)也在不斷完善當(dāng)中。當(dāng)前大型科技公司也開始逐漸形成自己的大數(shù)據(jù)平臺，不同平臺也都有自身的技術(shù)特點(diǎn)，總的來說，當(dāng)前在技術(shù)上已經(jīng)為大數(shù)據(jù)的行業(yè)應(yīng)用創(chuàng)新奠定了基礎(chǔ)...
alexnevsky
|
1128人閱讀
回答:謝謝邀請！大數(shù)據(jù)是我的主要研究方向之一，同時(shí)也在帶大數(shù)據(jù)方向的研究生，所以我來回答一下這個(gè)問題。學(xué)習(xí)大數(shù)據(jù)首先要根據(jù)自身的知識結(jié)構(gòu)選擇學(xué)習(xí)方向，比如數(shù)學(xué)和統(tǒng)計(jì)學(xué)專業(yè)的學(xué)生可以選擇數(shù)據(jù)分析方向，而計(jì)算機(jī)專業(yè)的學(xué)生可以選擇大數(shù)據(jù)開發(fā)方向，不同的學(xué)習(xí)方向需要制定不同的學(xué)習(xí)計(jì)劃。雖然不同的學(xué)習(xí)方向往往需要學(xué)習(xí)不同的內(nèi)容，但是對于零基礎(chǔ)的學(xué)習(xí)者來說，以下三方面基礎(chǔ)知識是都需要學(xué)習(xí)的：第一：編程語言。不論是選...
546669204
|
617人閱讀
回答:大數(shù)據(jù)的技術(shù)大數(shù)據(jù)技術(shù)包括：1）數(shù)據(jù)采集： ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。2）數(shù)據(jù)存取： 關(guān)系數(shù)據(jù)庫、NOSQL、SQL等。3）基礎(chǔ)架構(gòu)： 云存儲、分布式文件存儲等。4）數(shù)據(jù)處理： 自然語言處理(NLP，Natural Language Processin...
X_AirDu
|
931人閱讀
...數(shù)據(jù)中心龐大、復(fù)雜的運(yùn)維問題，以及設(shè)備老化問題；但如何采納云計(jì)算仍有沒有成熟做法，是否應(yīng)該公有云+私有云一體，即混合云的方式？2.云計(jì)算對大型企業(yè)的挑戰(zhàn)與機(jī)會，主要原因是傳統(tǒng)企業(yè)決策者、管理者對于新技...
...掘。大數(shù)據(jù)技術(shù)包括了數(shù)據(jù)采集，數(shù)據(jù)存取，基礎(chǔ)架構(gòu)，數(shù)據(jù)處理，統(tǒng)計(jì)分析，數(shù)據(jù)挖掘，模型預(yù)測，結(jié)果呈現(xiàn)等八個(gè)方面。而以上幾個(gè)方面都離不開云平臺和云計(jì)算能力，比如說數(shù)據(jù)采集之后的數(shù)據(jù)存儲，現(xiàn)在很多非核心敏感...
...1TB左右，業(yè)務(wù)日常不固定的分析需求非常多。在現(xiàn)有的大數(shù)據(jù)處理方案下，數(shù)據(jù)部門每月需投入大數(shù)據(jù)工程師20個(gè)人/日，平均每次需求處理時(shí)長為1.8天，此外還需額外花費(fèi)數(shù)千元維持一個(gè)數(shù)據(jù)倉庫集群。與用戶自建大數(shù)據(jù)平臺的...
...的東西或其他人之前沒有發(fā)現(xiàn)的內(nèi)容。 數(shù)據(jù)可視化 對于數(shù)據(jù)處理而言，對其最重要的可能是數(shù)據(jù)可視化。可視化是在完成所有工作后輸出一個(gè)能被任何人理解的可視化載體，這可以通過使用編程語言（如Plot.ly、d3.js）或軟件（...
...贍養(yǎng)父母，撫養(yǎng)子女，三座大山。對于我們普通人來說，如何努力多賺點(diǎn)錢，吃飽飯，吃好飯的問題更加實(shí)在，我們需要改變自己的階級，需要上升通道。 ? ? ? 前段時(shí)間流傳著碼農(nóng)被定義為：新生代農(nóng)民工，這不是段子。因...
...都不是大規(guī)模數(shù)據(jù)計(jì)算的最優(yōu)解，必須自研一套自己的大數(shù)據(jù)處理平臺。 2009年這項(xiàng)關(guān)于大數(shù)據(jù)的技術(shù)長征開始。王堅(jiān)帶隊(duì)，目標(biāo)是自研大數(shù)據(jù)計(jì)算平臺MaxCompute統(tǒng)一阿里巴巴內(nèi)部的數(shù)據(jù)和大數(shù)據(jù)計(jì)算體系。 事實(shí)證明，阿里做了...
...中的商品的屬性，即當(dāng)前選中商品為 紅-大-A，這個(gè)時(shí)候如何確認(rèn)其它非已選屬性是否可以組成可選路徑？ 規(guī)則是這樣的： 假設(shè)當(dāng)前用戶想選 白-大-A，剛好這個(gè)選擇路徑是不存在的，那么我們就把 白 置灰 以此類推，如果要確...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
孫吉亮
