資訊專欄INFORMATION COLUMN
異常檢測(cè)
離群點(diǎn)是在給定數(shù)據(jù)集中，與其他數(shù)據(jù)集顯著不同的點(diǎn)。異常檢測(cè)是找出數(shù)據(jù)中離群點(diǎn)（和大多數(shù)數(shù)據(jù)點(diǎn)顯著不同的數(shù)據(jù)點(diǎn)）的過(guò)程。
孤立森林
孤立森林（Isolation Forest）算法是西瓜書(shū)作者周志華老師的團(tuán)隊(duì)研究開(kāi)發(fā)的算法，一般用于結(jié)構(gòu)化數(shù)據(jù)的異常檢測(cè)。
圖片來(lái)源于網(wǎng)絡(luò)
從統(tǒng)計(jì)學(xué)來(lái)看，在數(shù)據(jù)空間里，若一個(gè)區(qū)域內(nèi)只有分布稀疏的點(diǎn)，表示數(shù)據(jù)點(diǎn)落在此區(qū)域的概率很低，因此可以認(rèn)為這些區(qū)域的點(diǎn)是異常的。
也就是說(shuō)，孤立森林算法的理論基礎(chǔ)有兩點(diǎn)：
異常點(diǎn)的特征值與正常點(diǎn)的差異很大。
項(xiàng)目實(shí)現(xiàn)
綜上所述，結(jié)合日常工作中的指標(biāo)周期性的告警信息，通過(guò)算法編程，實(shí)現(xiàn)對(duì)指標(biāo)的異常分析。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/129435.html
摘要：告警當(dāng)一個(gè)問(wèn)題通過(guò)告警系統(tǒng)將消息以短信電話郵件等方式告知給用戶時(shí)，我們稱之為一條告警。圖統(tǒng)一告警系統(tǒng)結(jié)構(gòu)圖告警收斂對(duì)于告警平臺(tái)每天會(huì)產(chǎn)生數(shù)以萬(wàn)計(jì)的告警，這些告警對(duì)于運(yùn)維或開(kāi)發(fā)人員都需要去分析甄別優(yōu)先級(jí)并處理故障。 一、背景一套監(jiān)控系統(tǒng)檢測(cè)和告警是密不可分的，檢測(cè)用來(lái)發(fā)現(xiàn)異常，告警用來(lái)將問(wèn)題信息發(fā)送給相應(yīng)的人。v...
摘要：隨著人工智能時(shí)代的到來(lái)，攜程生產(chǎn)環(huán)境運(yùn)維進(jìn)入了新的運(yùn)維時(shí)代。本文選取了幾種典型的運(yùn)維場(chǎng)景對(duì)在攜程的踐行展開(kāi)了介紹，首先讓我們從概念認(rèn)識(shí)下。針對(duì)應(yīng)用異常指標(biāo)檢測(cè)這種場(chǎng)景，抽取一定的樣本統(tǒng)計(jì)，在基于專家經(jīng)驗(yàn)標(biāo)注下的準(zhǔn)確率可達(dá)到以上，召回率接近。 作者簡(jiǎn)介徐新龍，攜程技術(shù)保障中心應(yīng)用管理團(tuán)隊(duì)高級(jí)工程師，負(fù)責(zé)多個(gè)AIOps項(xiàng)目的設(shè)計(jì)與研發(fā)。信號(hào)處理專業(yè)碩士畢業(yè)，對(duì)人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)及數(shù)學(xué)有...
摘要：至少可以提幾點(diǎn)不應(yīng)該做的事情不應(yīng)該用采集的難度決定你使用什么指標(biāo)去告警。 告警的本質(zhì) 沒(méi)有多少系統(tǒng)的告警是設(shè)計(jì)得當(dāng)?shù)摹Ａ己玫母婢O(shè)計(jì)是一項(xiàng)非常困難的工作。如何知道你收到的告警是糟糕的？多少次你收到了告警之后，立即就關(guān)掉了的？是不是成天被這些然而并沒(méi)有什么卵用的東西給淹沒(méi)？最常見(jiàn)的告警設(shè)置：cpu使用率超過(guò)90%，然后告警。這種設(shè)置在大部分場(chǎng)合下是沒(méi)有辦法提供高質(zhì)量的告警的。 高質(zhì)量...
摘要：近十年監(jiān)控系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺(tái)的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。監(jiān)控多維數(shù)據(jù)特點(diǎn)監(jiān)控的核心是對(duì)監(jiān)控對(duì)象的指標(biāo)采集處理檢測(cè)和分析。通過(guò)單一對(duì)象的指標(biāo)反映的狀態(tài)已不能滿足業(yè)務(wù)監(jiān)控需求。 吳樹(shù)生：騰訊高級(jí)工程師，負(fù)責(zé)SNG大數(shù)據(jù)監(jiān)控平臺(tái)建設(shè)。近十年監(jiān)控系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺(tái)的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。前言在2015年構(gòu)建多維監(jiān)控平臺(tái)時(shí)用kmeans做了異常點(diǎn)...
摘要：近十年監(jiān)控系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺(tái)的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。的哈勃多維監(jiān)控平臺(tái)在完成大數(shù)據(jù)架構(gòu)改造后，嘗試引入能力，多維根因分析是其中一試點(diǎn)，用于摸索的應(yīng)用經(jīng)驗(yàn)。 作者丨吳樹(shù)生：騰訊高級(jí)工程師，負(fù)責(zé)SNG大數(shù)據(jù)監(jiān)控平臺(tái)建設(shè)。近十年監(jiān)控系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺(tái)的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。 導(dǎo)語(yǔ)：監(jiān)控?cái)?shù)據(jù)多維化后，帶來(lái)新的應(yīng)用場(chǎng)景。SNG的哈勃多...
摘要：安全態(tài)勢(shì)可視化系統(tǒng)的目的是生成網(wǎng)絡(luò)安全綜合態(tài)勢(shì)圖，以多視圖多角度多尺度的方式與用戶進(jìn)行交互。可以看到，黑客攻擊是無(wú)處不在，無(wú)時(shí)不有的，世界互聯(lián)網(wǎng)的安全態(tài)勢(shì)并不如我們印象中那么隱蔽和少見(jiàn)。 導(dǎo)語(yǔ) 網(wǎng)絡(luò)態(tài)勢(shì)可視化技術(shù)作為一項(xiàng)新技術(shù)，是網(wǎng)絡(luò)安全態(tài)勢(shì)感知與可視化技術(shù)的結(jié)合，將網(wǎng)絡(luò)中蘊(yùn)涵的態(tài)勢(shì)狀況通過(guò)可視化圖形方式展示給用戶，并借助于人在圖形圖像方面強(qiáng)大的處理能力，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常行為的分析和檢測(cè)...
閱讀 1346·2023-01-11 13:20
閱讀 1684·2023-01-11 13:20
閱讀 1132·2023-01-11 13:20
閱讀 1858·2023-01-11 13:20
閱讀 4100·2023-01-11 13:20
閱讀 2704·2023-01-11 13:20
閱讀 1385·2023-01-11 13:20
閱讀 3597·2023-01-11 13:20
