回答:不知道開發的同學有沒有遇到過類似這樣的需求:相同類型的數據在多個系統中,如果要得到全部的信息,就要連續調多個系統的接口;業務復雜,一個需求需要關聯幾張表甚至幾十張表才能得到想要的結果;系統做了分庫分表,但是需要統計所有的數據。那么此類需求要如何滿足呢?我們選擇了通過 ETL 提前進行數據整合的方案。什么是 ETL說到ETL,很多開發伙伴可能會有些陌生,更多的時候 ETL 是用在大數據、數據分析的相...
...造成Rebalance。業務會發生超時、抖動等。 服務端reassign 服務器擴容、縮容,節點啟動、關閉,會造成數據的傾斜,需要對partition進行reassign。在kafka manager后臺可以手動觸發這個過程,使得分區的分布更加平均。 這個過程會造成...
... (面試題+答案領取方式見主頁) 什么是 ActiveMQ? ActiveMQ 服務器宕機怎么辦? 丟消息怎么辦? 持久化消息非常慢。 消息的不均勻消費。 死信隊列。 ActiveMQ 中的消息重發時間間隔和重發次數嗎? RabbitMQ專題 RabbitMQ 中的 broker ...
...保存 3 個副本,在只有一個副本的節點宕機或者出現網絡分區的情況下,另外 2 個副本仍然能夠對外提供服務。理論上來講,同時出現 2 個以上副本同時壞掉的可能性很小,也就是理論上可以達到非常高的可用性。通過 TiKV 滾動...
...25、不采用yarm部署flink,還有其他的方案嗎? 主要想解決服務器重啟后,flink服務怎么自動拉起? jobmanager掛掉后,提交的job怎么不經過手動重新提交執行? 26、在一個 Job 里將同份數據昨晚清洗操作后,sink 到后端多個地方(看...
...25、不采用yarm部署flink,還有其他的方案嗎? 主要想解決服務器重啟后,flink服務怎么自動拉起? jobmanager掛掉后,提交的job怎么不經過手動重新提交執行? 26、在一個 Job 里將同份數據昨晚清洗操作后,sink 到后端多個地方(看...
...布式事務 分布式事務就是指事務的參與者、支持事務的服務器、資源服務器以及事務管理器分別位于不同的分布式系統的不同節點之上。簡單的說,就是一次大的操作由不同的小操作組成,這些小的操作分布在不同的服務器上...
...mr,堆大量機器地撈數據。業務一些機器學習的算法真地需要這么干,但是大部分BI SQL,絕對是可以充分利用列式存儲和各種索引結構的。無論是elasticsearch還是spark sql都有大量成熟的解決方案了。用索引和不用索引,那效率可是...
ChatGPT和Sora等AI大模型應用,將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓練用4090是不合適的,但推理(inference/serving)用4090不能說合適,...
圖示為GPU性能排行榜,我們可以看到所有GPU的原始相關性能圖表。同時根據訓練、推理能力由高到低做了...