課程描述INTRODUCTION
武漢數據分析方法與技巧培訓課程大綱



日程安排SCHEDULE
課程大綱Syllabus
課程背景
介紹大數據的概念和特征,面向安全的大數據分析的目的是希望從大數據中分析出異常行為或攻擊事件,尤其是未知且未感知的攻擊和異常。從原理的層面對適用于異常檢測的大數據分析算法做了詳細介紹,然后介紹大類數據分析的兩大思路,即告警驅動的分析方法和數據驅動的分析方法。舉例說明如何利用前述的分析算法和分析思路獲得期望的分析結果。
課程收益
通過學習,使學員了解大數據的概念和特征、如何將大數據分析方法用于安全分析、如何從大數據中發(fā)現(xiàn)異常行為和攻擊事件、如何發(fā)現(xiàn)未知攻擊和異常、如何發(fā)現(xiàn)未感知的攻擊和異常。
課程大綱
第一章 大數據分析概述
介紹大數據的概念和特征,面向安全的大數據分析的目的是希望從大數據中分析出異常行為或攻擊事件,尤其是未知且未感知的攻擊和異常。
1、大數據(Big data)的前世今生
假如我們有了一個數據預報臺,就像為企業(yè)裝上了一個GPS和雷達,企業(yè)的出海將會更有把握。——馬云2012年網商大會演講
2、大數據的4V特征
. 1V-Volume,數據體量巨大。從TB級別,躍升到PB級別
. 2V- Variety,數據類型繁多。網絡日志、圖片、視頻、地理位置信息、購物等等
. 3V- Value,價值密度低。以視頻為例,連續(xù)不間斷監(jiān)控過程中,可能有用的數據僅一兩秒
. 4V- Velocity, 處理速度快。1秒定律。這一點和傳統(tǒng)的data mining有著本質不同
3、大數據的價值
. 縱向:消費者、企業(yè)與價值鏈
. 橫向:“大交易數據”(比如支付寶的交易數據)和“大交互數據”(比如一些社交網站,移動互聯(lián)網新媒體等)
. 兩類數據融合:容易洞察“客戶足跡”,掌控消費趨勢、開發(fā)創(chuàng)新產品和推進*營銷
第二章 適用于異常檢測的大數據分析算法原理
1、經典統(tǒng)計方法
. 組合優(yōu)化
. EM優(yōu)化
2、聚類分析算法
例如,我們可以根據各個銀行網點的儲蓄量、人力資源狀況、營業(yè)面積、特色功能、網點級別、所處功能區(qū)域等因素情況,將網點分為幾個等級,再比較各銀行之間不同等級網點數量對比狀況。
. 直接聚類法
. 最短距離聚類法
. 最遠距離聚類法
3、相似性分析算法
. 檢測效率高
. 相似列表片段
4、關聯(lián)分析算法
關聯(lián)算法是數據挖掘中的一類重要算法。1993年,R.Agrawal等人首次提出了挖掘顧客交易數據中項目集間的關聯(lián)規(guī)則問題,其核心是基于兩階段頻繁集思想的遞推算法。該關聯(lián)規(guī)則在分類上屬于單維、單層及布爾關聯(lián)規(guī)則,典型的算法是Aprior算法。
5、分類算法
. 決策樹
. 貝葉斯
. K-近鄰
. 基于關聯(lián)規(guī)則的分類
. 集成學習
6、文本分析
. (I)用映射或變換的方法把原始特征變換為較少的新特征。
. (2)從原始特征中挑選出一些*代表性的特征。
. (3)根據專家的知識挑選最有影響的特征。
. (4)用數學的方法進行選取,找出*分類信息的特征,這種方法是一種比較*的方法,人為因素的干擾較少,尤其適合于文本自動分類挖掘系統(tǒng)的應用。
第三章 面向安全的大數據分析思路
1、可分析數據
. 可靠性數據分析
. 智能數據分析
. 多元統(tǒng)計分析
2、分析的過程
數據是信息的載體,也是今后系統(tǒng)要處理的主要對象。因此,必須對系統(tǒng)調查中所有搜集的數據以及統(tǒng)計處理數據的過程進行分析和整理。如有不清楚的問題,應立刻返回去弄清楚;如發(fā)現(xiàn)有數據不全、采集過程不合理、處理過程不暢、數據分析不深入等問題,應在本次分析過程中研究解決。
. 流動
. 變換
. 存貯
3、基于各種期待結果的分析場景
. 黑盒測試
. 測試用例
. 性能測試
總結課程總結
轉載:http://runho.cn/gkk_detail/15597.html
已開課時間Have start time
- 駱飛
大數據課程內訓
- 數字技術與數字工具應用 王文琭
- 《跨境電商全鏈路AI賦能轉 黃光偉
- 大數據應用現(xiàn)狀與未來發(fā)展重 胡國慶
- 數字經濟與數據技術應用與變 王文琭
- 以需求為導向的大數據精準營 張世民
- 醫(yī)療行業(yè)數字化營銷趨勢及實 王文琭
- 數字時代下的營銷趨勢 韓天成
- 《銀行數據驅動經營方法論與 宗錦(
- 數智化領域新技術與典型應用 胡國慶
- 政府數字化轉型實務 焦波
- 《數據資源入表與數據治理》 鐘凱
- 數字經濟時代銀行開展數字化 李勇