回答:這個(gè)太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多,海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點(diǎn),暫時(shí)沒有太好的解決方案,kylin等框架也只是一個(gè)折中方案,如果你不是要求海量數(shù)據(jù)分析的秒級(jí)響應(yīng)的話sparkSql、presto等都是不錯(cuò)的方案,分鐘級(jí)別可以返回。
回答:以mysql為列:1:支撐高并發(fā)系統(tǒng),一定會(huì)涉及事務(wù),所以數(shù)據(jù)庫(kù)引擎必選innodb,innodb支持事務(wù),事務(wù)級(jí)別根據(jù)業(yè)務(wù)而定,如果業(yè)務(wù)數(shù)據(jù)一致性要求很高,事務(wù)就開啟序列化級(jí)別,這樣就完全隔離事務(wù),但是會(huì)導(dǎo)致鎖資源競(jìng)爭(zhēng)加劇。mysql的性能有一定的降低。2:讀寫分離,數(shù)據(jù)庫(kù)分成主庫(kù)和從庫(kù),主庫(kù)負(fù)責(zé)寫數(shù)據(jù),叢庫(kù)負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)數(shù)據(jù)一致性問題。3:冷熱數(shù)據(jù)分離,美團(tuán),餓了么部分設(shè)計(jì)采用冷熱...
回答:隨著大數(shù)據(jù)技術(shù)開始逐漸落地應(yīng)用,未來(lái)不僅IT互聯(lián)網(wǎng)領(lǐng)域的從業(yè)者需要掌握大數(shù)據(jù)技術(shù),傳統(tǒng)行業(yè)從業(yè)者也需要掌握一定的大數(shù)據(jù)技術(shù),尤其是管理類崗位,掌握大數(shù)據(jù)技術(shù)對(duì)于提升自身的資源整合能力,以及擴(kuò)展自身的能力邊界,都有比較積極的意義。從我近些年帶大數(shù)據(jù)方向研究生的情況來(lái)看,早期選擇大數(shù)據(jù)方向的同學(xué),往往都來(lái)自于數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)大類專業(yè)的同學(xué),近兩年管理學(xué)專業(yè)的同學(xué)也開始選擇大數(shù)據(jù)方向了,這是一個(gè)明顯...
回答:我認(rèn)為專業(yè)還是選你自己喜歡的比較好,因?yàn)橄矚g你才會(huì)用心去做,才會(huì)堅(jiān)持。前途這個(gè)東西,就是堅(jiān)持不懈。
回答:從系統(tǒng)架構(gòu)本身來(lái)說,一般系統(tǒng)優(yōu)化主要從三個(gè)方面入手,數(shù)據(jù)持久層、業(yè)務(wù)邏輯層和前端展示層。數(shù)據(jù)持久層限制系統(tǒng)性能主要有兩個(gè)方面,一是數(shù)據(jù)庫(kù)自身的性能,二是對(duì)數(shù)據(jù)庫(kù)操作的方式,數(shù)據(jù)庫(kù)自身相對(duì)簡(jiǎn)單,一般通過優(yōu)化配置、采用高可用方案、搭建集群或者使用性能更好的數(shù)據(jù)庫(kù)來(lái)提升性能;數(shù)據(jù)庫(kù)操作主要是數(shù)據(jù)庫(kù)讀寫操作,可以通過SQL優(yōu)化的方式來(lái)提升讀寫速度,或者通過緩存的方式減低并發(fā)、提升性能。業(yè)務(wù)邏輯層代碼層面常...
回答:分布式架構(gòu)是軟件系統(tǒng)分布式系統(tǒng)存儲(chǔ)是基于存儲(chǔ)、服務(wù)器、數(shù)據(jù)庫(kù)技術(shù)、容災(zāi)熱備等技術(shù)的系統(tǒng)集成數(shù)字經(jīng)濟(jì)時(shí)代,各個(gè)企業(yè)、個(gè)人都在生產(chǎn)數(shù)據(jù),利用數(shù)據(jù),數(shù)據(jù)也在社會(huì)中不斷流動(dòng)、循環(huán),為這個(gè)時(shí)代創(chuàng)造著價(jià)值與機(jī)遇。盡管數(shù)據(jù)如此珍貴,但我們?nèi)匀粫?huì)聽到在集中式存儲(chǔ)場(chǎng)景中,由于網(wǎng)絡(luò)攻擊、火災(zāi)、地震而造成數(shù)據(jù)故障、丟失等問題。為了防止數(shù)據(jù)出現(xiàn)故障、數(shù)據(jù)丟失、服務(wù)器出錯(cuò)、數(shù)據(jù)無(wú)法恢復(fù)等情況,越來(lái)越多企業(yè)開始把集中存儲(chǔ)轉(zhuǎn)變...
...應(yīng)用都需要有 APM 體系,可以隨時(shí)分析性能的情況;在大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升,數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化;最重要的,整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代,監(jiān)控、服務(wù)治理、調(diào)度這...
...應(yīng)用都需要有 APM 體系,可以隨時(shí)分析性能的情況;在大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升,數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化;最重要的,整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代,監(jiān)控、服務(wù)治理、調(diào)度這...
...出版的技術(shù)圖書 即將出版的《深入理解XXXXXXXXX》 《海量數(shù)據(jù)處理與大數(shù)據(jù)技術(shù)實(shí)戰(zhàn)》 《MySQL技術(shù)大全:開發(fā)、優(yōu)化與運(yùn)維實(shí)戰(zhàn)》 《深入理解高并發(fā)編程》 《并發(fā)編程核心知識(shí)》 《冰河的滲透實(shí)戰(zhàn)筆記》 《我要進(jìn)大廠系列之面...
大數(shù)據(jù)時(shí)代為數(shù)據(jù)存儲(chǔ)帶來(lái)壓力,越來(lái)越多的組織需要在云計(jì)算的技術(shù)基礎(chǔ)上搭建起能夠存儲(chǔ)大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)平臺(tái)。云存儲(chǔ)應(yīng)云而生。 所謂云存儲(chǔ),是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等...
...、微服務(wù)架構(gòu)及 Serverless、中間件平臺(tái)、容器、AI DevOps、數(shù)據(jù)庫(kù)、大前端、Fintech、機(jī)器學(xué)習(xí)、人工智能、智能硬件、效率管理等 20 個(gè)技術(shù)專題。 史海峰、惠新宸、袁進(jìn)輝、沈劍、陳皓等經(jīng)驗(yàn)豐富的一線技術(shù)團(tuán)隊(duì)帶頭人現(xiàn)場(chǎng)分享...
...、微服務(wù)架構(gòu)及 Serverless、中間件平臺(tái)、容器、AI DevOps、數(shù)據(jù)庫(kù)、大前端、Fintech、機(jī)器學(xué)習(xí)、人工智能、智能硬件、效率管理等 20 個(gè)技術(shù)專題。 史海峰、惠新宸、袁進(jìn)輝、沈劍、陳皓等經(jīng)驗(yàn)豐富的一線技術(shù)團(tuán)隊(duì)帶頭人現(xiàn)場(chǎng)分享...
大數(shù)據(jù)分布式存儲(chǔ)的部署模式:分離式or超融合數(shù)據(jù)中心內(nèi)部系統(tǒng)的核心要求是穩(wěn)定可靠,一是指系統(tǒng)在運(yùn)行過程中有能力提供連續(xù)可靠的服務(wù),長(zhǎng)時(shí)間無(wú)故障運(yùn)行;二是指當(dāng)故障發(fā)生之后,有能力快速定位,及時(shí)排查,...
大數(shù)據(jù)正在徹底改變IT世界。那么,什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢? ? 根據(jù)IDC的報(bào)告,未來(lái)十年全球大數(shù)據(jù)將增加50倍。僅在2011年,我們就將看到1.8ZB(也就是1.8萬(wàn)億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當(dāng)于每位美國(guó)人每分鐘寫3條Tweet,而...
?????? 大數(shù)據(jù)正在徹底改變IT世界。那么,什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢? 根據(jù)IDC的報(bào)告,未來(lái)十年全球大數(shù)據(jù)將增加50倍。僅在2011年,我們就將看到1.8ZB(也就是1.8萬(wàn)億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當(dāng)于每位美國(guó)人每分鐘寫3條...
...系統(tǒng),以及很多太短的通用平臺(tái)與系統(tǒng),主要關(guān)注架構(gòu)、數(shù)據(jù)庫(kù)、O2O等方面的技術(shù)。 壹佰案例: 作為同時(shí)負(fù)責(zé)過58同城和58到家業(yè)務(wù)的架構(gòu)師,可否從架構(gòu)方向談下兩項(xiàng)業(yè)務(wù)的技術(shù)難點(diǎn)有何不同? 沈劍:58同城是一個(gè)信息平臺(tái)...
大數(shù)據(jù)的應(yīng)用開發(fā)過于偏向底層,具有學(xué)習(xí)難度大,涉及技術(shù)面廣的問題,這制約了大數(shù)據(jù)的普及。現(xiàn)在需要一種技術(shù),把大數(shù)據(jù)開發(fā)中一些通用的,重復(fù)使用的基礎(chǔ)代碼、算法封裝為類庫(kù),降低大數(shù)據(jù)的學(xué)習(xí)門檻,降低開...
...下游依賴關(guān)系圖,在故障發(fā)生時(shí),開發(fā)人員可以借助依賴數(shù)據(jù)快速定位到問題的來(lái)源,極大縮短問題修復(fù)時(shí)間(MTTR)。借助架構(gòu)圖,我們還可以梳理出系統(tǒng)中存在的強(qiáng)弱依賴,在業(yè)務(wù)高峰期對(duì)弱依賴進(jìn)行降級(jí),或者針對(duì)系統(tǒng)依...
ChatGPT和Sora等AI大模型應(yīng)用,將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的,但推理(inference/serving)用4090不能說合適,...
圖示為GPU性能排行榜,我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...