資訊專欄INFORMATION COLUMN
摘要：輕松輸出應(yīng)用日志到七牛云平臺(tái)背景云計(jì)算發(fā)展至今，企業(yè)應(yīng)用的方方面面都已經(jīng)在云上或者準(zhǔn)備上云了。方案本篇主要介紹下如何利用七牛云大數(shù)據(jù)日志平臺(tái)來(lái)無(wú)縫收集應(yīng)用日志，方便后續(xù)的日志分析等工作。
輕松輸出Java應(yīng)用日志到七牛云平臺(tái) 背景
云計(jì)算發(fā)展至今，企業(yè)應(yīng)用的方方面面都已經(jīng)在云上或者準(zhǔn)備上云了。無(wú)論是Iaas還是Paas，應(yīng)用開(kāi)發(fā)的首選即是上云，因?yàn)樵破脚_(tái)不僅可以節(jié)約開(kāi)發(fā)和部署流程中的時(shí)間，而且專業(yè)的云平臺(tái)還會(huì)極大提升整體服務(wù)的穩(wěn)定性，降低業(yè)務(wù)運(yùn)維成本。
方案本篇主要介紹下如何利用七牛云大數(shù)據(jù)日志平臺(tái)來(lái)無(wú)縫收集Java應(yīng)用日志，方便后續(xù)的日志分析等工作。本質(zhì)上，任何客戶如果希望接入七牛的大數(shù)據(jù)日志平臺(tái)，都可以利用各個(gè)語(yǔ)言的SDK來(lái)完成這個(gè)工作，或者利用七牛提供的收集工具如logkit 或者 企業(yè)級(jí)logkit。
但是本方案強(qiáng)調(diào)的就是 業(yè)務(wù)代碼無(wú)侵入性。
提供 業(yè)務(wù)代碼無(wú)侵入性 接入的方案最基本的原因就是：
客戶已有的Java應(yīng)用已經(jīng)把日志存儲(chǔ)到本地或者其他的地方了，支持新的輸出方式需要修改業(yè)務(wù)代碼，而大部分情況下客戶不希望這樣做
客戶希望能夠快速體驗(yàn)新的日志輸出方案，希望盡可能少地影響現(xiàn)有的業(yè)務(wù)運(yùn)行
所以最好存在一種方案，可以支持 可插拔 的方式來(lái)輸出日志，這樣Java應(yīng)用代碼不需要做更改，也就是達(dá)到 業(yè)務(wù)代碼無(wú)侵入性 的目標(biāo)。
由于大多數(shù)客戶的應(yīng)用都是采用Java來(lái)開(kāi)發(fā)的，而且由于Java的生態(tài)發(fā)展的非常完善，很多客戶都使用成熟的日志框架如log4j，slf4j，logback等來(lái)進(jìn)行日志的輸出。而這些框架在設(shè)計(jì)上面為我們無(wú)縫輸出日志到不同的目的地提供了方便的接口。
所以，基于這些背景，我們打算幫助客戶實(shí)現(xiàn)Java應(yīng)用日志的 無(wú)縫快速上云。
很多人或許已經(jīng)猜出了這個(gè)方案的核心技術(shù)就是開(kāi)發(fā)支持各個(gè)日志框架的自定義Appender。
對(duì)，就是這樣。我們目前優(yōu)先選擇支持Java最主要是因?yàn)镴ava語(yǔ)言的覆蓋用戶廣泛，日志框架設(shè)計(jì)優(yōu)良，方面擴(kuò)展自定義的Appender。后續(xù)我們也會(huì)根據(jù)客戶需求繼續(xù)支持其他的語(yǔ)言。
這個(gè)方案除了自定義日志的Appender來(lái)將日志輸出到云端外，還內(nèi)部實(shí)現(xiàn)了多線程日志上傳，日志緩沖（避免頻繁推送大小很小的日志行影響業(yè)務(wù)性能），定時(shí)推送等功能，后續(xù)還會(huì)根據(jù)實(shí)際情況繼續(xù)支持其他企業(yè)級(jí)需求。
使用實(shí)際應(yīng)用起來(lái)非常簡(jiǎn)單，無(wú)需修改一行業(yè)務(wù)代碼，直接看圖：
重新啟動(dòng)服務(wù)后，日志會(huì)進(jìn)行上報(bào)，可以在七牛云后臺(tái)查看數(shù)據(jù)：
實(shí)戰(zhàn)另外，為了讓大家在應(yīng)用到自身業(yè)務(wù)之前實(shí)際體驗(yàn)下，我們還提供了兩個(gè)開(kāi)源軟件的案例：
ElasticSearch日志收集案例
Apache Kafka日志收集案例
交流如果您有興趣了解更多實(shí)現(xiàn)細(xì)節(jié)，歡迎 Star項(xiàng)目：https://github.com/qiniu/qiniu-logging-plugin 或者加入QQ群討論：675938456 。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/25242.html
摘要：馬拉松會(huì)匹配每個(gè)和提供的資源，然后通過(guò)將任務(wù)下發(fā)下去。對(duì)外暴露的就是負(fù)載均衡的某個(gè)服務(wù)，后面自動(dòng)將流量轉(zhuǎn)發(fā)到某個(gè)容器的端口上。還有一直辦法是用內(nèi)網(wǎng)的，這個(gè)會(huì)維護(hù)現(xiàn)有的容器列表端口，并且返回任意一個(gè)的端口，頁(yè)實(shí)現(xiàn)了負(fù)載均衡和服務(wù)發(fā)現(xiàn)功能。 演講嘉賓 數(shù)人云COO 謝樂(lè)冰 在德國(guó)工作十年，回國(guó)后加入惠普電信運(yùn)營(yíng)商部門，擁有多年項(xiàng)目經(jīng)驗(yàn)和創(chuàng)業(yè)公司工作經(jīng)驗(yàn)。在數(shù)人云負(fù)責(zé)產(chǎn)品售前和運(yùn)營(yíng)，專注行...
摘要：如何使用開(kāi)發(fā)者中心進(jìn)行在線調(diào)試如果你已經(jīng)使用了開(kāi)發(fā)者中心部署應(yīng)用上云，那么，可以非常榮幸的告訴你，看完下面的步驟，只需幾秒鐘的配置，就可以解救你于水火之中。此過(guò)程也可以用于日常開(kāi)發(fā)過(guò)程中的在線定位問(wèn)題，面對(duì)眾多的微服務(wù)，無(wú)需再煩惱了。 現(xiàn)在，大家開(kāi)始越來(lái)越多的談?wù)摰礁呖捎眉軜?gòu)的互聯(lián)網(wǎng)應(yīng)用。什么是高可用？高可用HA（High Availability）是分布式系統(tǒng)架構(gòu)設(shè)計(jì)中必須考慮的因素...
摘要：如何使用開(kāi)發(fā)者中心進(jìn)行在線調(diào)試如果你已經(jīng)使用了開(kāi)發(fā)者中心部署應(yīng)用上云，那么，可以非常榮幸的告訴你，看完下面的步驟，只需幾秒鐘的配置，就可以解救你于水火之中。此過(guò)程也可以用于日常開(kāi)發(fā)過(guò)程中的在線定位問(wèn)題，面對(duì)眾多的微服務(wù)，無(wú)需再煩惱了。 現(xiàn)在，大家開(kāi)始越來(lái)越多的談?wù)摰礁呖捎眉軜?gòu)的互聯(lián)網(wǎng)應(yīng)用。什么是高可用？高可用HA（High Availability）是分布式系統(tǒng)架構(gòu)設(shè)計(jì)中必須考慮的因素...
摘要：另外小程序云應(yīng)用有一套高可用架構(gòu)，提供監(jiān)控預(yù)警能力。自主可控小程序云應(yīng)用提供服務(wù)器，開(kāi)發(fā)者可以擁有登錄或重啟，也可以修改密碼。也就是說(shuō)，服務(wù)器是由小程序云應(yīng)用提供，但使用權(quán)歸開(kāi)發(fā)者。 前不久有一個(gè)朋友問(wèn)我，到底是做什么端的小程序比較好？ 我只問(wèn)了一句，你的產(chǎn)品里是否涉及錢和服務(wù)，如果涉及這兩者，建議你選擇支付寶小程序。你可以通過(guò)其他小程序玩裂變，但如果你想做服務(wù)和商業(yè)，一定要考慮支付寶...
閱讀 3200·2021-09-06 15:02
閱讀 2247·2019-08-30 15:48
閱讀 3443·2019-08-29 11:08
閱讀 3285·2019-08-26 13:55
閱讀 2443·2019-08-26 13:35
閱讀 3165·2019-08-26 12:11
閱讀 2601·2019-08-26 11:48
閱讀 888·2019-08-26 11:42
