Python機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
2025-07-05 09:18:18
講師：傅一航 瀏覽次數(shù)：2952
課程描述INTRODUCTION
Python機(jī)器學(xué)習(xí)算法
培訓(xùn)講師：傅一航
課程價(jià)格：￥元/人
培訓(xùn)天數(shù)：3天
日程安排SCHEDULE
課程大綱Syllabus
Python機(jī)器學(xué)習(xí)算法
【課程目標(biāo)】
本課程為高級(jí)課程，專(zhuān)注于機(jī)器學(xué)習(xí)算法，原理，以及算法實(shí)現(xiàn)及優(yōu)化。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
1、熟悉常見(jiàn)的機(jī)器學(xué)習(xí)的算法。
2、掌握機(jī)器學(xué)習(xí)的算法原理，以及數(shù)據(jù)推導(dǎo)。
3、學(xué)會(huì)使用Python來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法，以及優(yōu)化算法。
4、掌握scikit-learn擴(kuò)展庫(kù)來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。
【授課對(duì)象】
IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)部、大數(shù)據(jù)建模等IT技術(shù)人員。
【課程大綱】
一、機(jī)器學(xué)習(xí)基礎(chǔ)
1、機(jī)器學(xué)習(xí)簡(jiǎn)介
2、機(jī)器學(xué)習(xí)的種類(lèi)
－監(jiān)督學(xué)習(xí)/無(wú)監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強(qiáng)化學(xué)習(xí)
－批量學(xué)習(xí)和在線(xiàn)學(xué)習(xí)
－基于實(shí)例與基于模型
3、機(jī)器學(xué)習(xí)的主要戰(zhàn)挑
－數(shù)據(jù)量不足
－數(shù)據(jù)質(zhì)量差
－無(wú)關(guān)特征
－過(guò)擬合/擬合不足
4、機(jī)器學(xué)習(xí)任務(wù)
－監(jiān)督：分類(lèi)、回歸
－無(wú)監(jiān)督：聚類(lèi)、降維、關(guān)聯(lián)規(guī)則
5、機(jī)器學(xué)習(xí)基本過(guò)程
6、機(jī)器學(xué)習(xí)常用庫(kù)
二、回歸算法實(shí)現(xiàn)
1、建模的本質(zhì)，其實(shí)是一個(gè)最優(yōu)化問(wèn)題
2、回歸模型的基礎(chǔ)
3、基本概念：損失函數(shù)
4、線(xiàn)性回歸常用算法
－普通最小二乘法OLS
－梯度下降算法
－牛頓法/擬牛頓法
5、最小二乘法
a) 數(shù)學(xué)推導(dǎo)
b) OLS存在的問(wèn)題
6、過(guò)擬合解決方法：正則化
－嶺回歸（Ridge）
－套索回歸Lasso
－ElasticNet回歸
－各種算法的適用場(chǎng)景
7、超大規(guī)模數(shù)據(jù)集的回歸模型：迭代算法
－梯度概念
－梯度下降/上升算法
－批量梯度BGD/隨機(jī)梯度SGD/小批量梯度MBGD
－學(xué)習(xí)率的影響
－早期停止法
8、梯度算法的關(guān)鍵問(wèn)題
9、牛頓法/擬牛頓法
－泰勒公式(Taylor)
－牛頓法(Newton)
－擬牛頓法(Quasi-Newton)的優(yōu)化
－DFP/BFGS/L-BFGS
10、算法比較
三、邏輯回歸算法
1、邏輯回歸基礎(chǔ)
2、LR的常用算法
－*似然估計(jì)法
－梯度算法
－牛頓法
3、*似然估計(jì)法
－似然函數(shù)/損失函數(shù)
－數(shù)學(xué)推導(dǎo)
4、模型優(yōu)化
－迭代樣本的隨機(jī)選擇
－變化的學(xué)習(xí)率
5、邏輯回歸+正則項(xiàng)
6、求解算法與懲罰項(xiàng)的關(guān)系
7、多元邏輯回歸處理
－ovo
－ovr
－優(yōu)缺點(diǎn)比較
8、邏輯回歸建模實(shí)戰(zhàn)
案例：用sklearn庫(kù)實(shí)現(xiàn)銀行貸款違約預(yù)測(cè)
案例：訂閱者用戶(hù)的典型特征（二元邏輯回歸）
案例：通信套餐的用戶(hù)畫(huà)像（多元邏輯回歸）
四、決策樹(shù)算法
1、決策樹(shù)簡(jiǎn)介
演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征
2、決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
－最優(yōu)屬性選擇
－熵、基尼系數(shù)
－信息增益、信息增益率
－屬性*劃分
－多元?jiǎng)澐峙c二元?jiǎng)澐?/div>
轉(zhuǎn)載：http://runho.cn/gkk_detail/265689.html
－連續(xù)變量最優(yōu)劃分
－決策樹(shù)修剪
－剪枝原則
－預(yù)剪枝與后剪枝
3、構(gòu)建決策樹(shù)的算法
－ID3、C4.5、C5.0
－CART
4、決策樹(shù)的超參優(yōu)化
5、決策樹(shù)的解讀
6、決策樹(shù)建模過(guò)程
案例：商場(chǎng)酸奶購(gòu)買(mǎi)用戶(hù)特征提取
案例：客戶(hù)流失預(yù)警與客戶(hù)挽留
案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款
案例：識(shí)別電信詐騙者嘴臉，讓通信更安全
案例：電力竊漏用戶(hù)自動(dòng)識(shí)別
五、神經(jīng)網(wǎng)絡(luò)算法
1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介（ANN）
2、神經(jīng)元基本原理
－加法器
－激活函數(shù)
3、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
－隱藏層數(shù)量
－神經(jīng)元個(gè)數(shù)
4、神經(jīng)網(wǎng)絡(luò)的建立步驟
5、神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題
6、BP算法實(shí)現(xiàn)
7、MLP多層神經(jīng)網(wǎng)絡(luò)
8、學(xué)習(xí)率的設(shè)置
案例：評(píng)估銀行用戶(hù)拖欠貨款的概率
案例：神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)產(chǎn)品銷(xiāo)量
六、線(xiàn)性判別算法
1、判別分析簡(jiǎn)介
2、判別分析算法
－中心和方差
－類(lèi)間散席Sb
－類(lèi)內(nèi)散席Sw
3、特征值和特征向量
4、多分類(lèi)LDA算法
5、算法實(shí)戰(zhàn)
案例：MBA學(xué)生錄取判別分析
案例：上市公司類(lèi)別評(píng)估
七、最近鄰算法（KNN）
1、KNN的基本原理
2、K近鄰的關(guān)鍵問(wèn)題
－距離公式
－投票機(jī)制
3、KNN算法實(shí)現(xiàn)
－Brute（蠻力計(jì)算）
－Kd_tree（KD樹(shù)）
－Ball_tre（球樹(shù)）
4、算法比較
八、貝葉斯算法（NBN）
1、貝葉斯簡(jiǎn)介
2、貝葉斯分類(lèi)原理
－先驗(yàn)概率和后驗(yàn)概率
－條件概率和類(lèi)概率
3、常見(jiàn)貝葉斯網(wǎng)絡(luò)
4、計(jì)算類(lèi)別屬性的條件概率
5、估計(jì)連續(xù)屬性的條件概率
6、預(yù)測(cè)分類(lèi)概率（計(jì)算概率）
7、拉普拉斯修正
案例：評(píng)估銀行用戶(hù)拖欠貨款的概率
九、支持向量機(jī)算法（SVM）
1、支持向量機(jī)簡(jiǎn)介
－適用場(chǎng)景
2、支持向量機(jī)原理
－支持向量
－*邊界超平面
3、線(xiàn)性不可分處理
－松弛系數(shù)
4、非線(xiàn)性SVM分類(lèi)
5、常用核函數(shù)
－線(xiàn)性核函數(shù)
－多項(xiàng)式核
－高斯RBF核
－核函數(shù)的選擇原則
6、SMO算法
十、模型集成優(yōu)化篇
1、模型的優(yōu)化思想
2、集成模型的框架
－Bagging
－Boosting
－Stacking
3、集成算法的關(guān)鍵過(guò)程
－弱分類(lèi)器如何構(gòu)建
－組合策略：多個(gè)弱學(xué)習(xí)器如何形成強(qiáng)學(xué)習(xí)器
4、Bagging集成算法
－數(shù)據(jù)/屬性重抽樣
－決策依據(jù)：少數(shù)服從多數(shù)
－隨機(jī)森林RandomForest
5、Boosting集成算法
－基于誤分?jǐn)?shù)據(jù)建模
－樣本選擇權(quán)重更新
－決策依據(jù)：加權(quán)投票
－AdaBoost模型
6、GBDT模型
7、XGBoost模型
8、LightGBM模型
十一、聚類(lèi)分析（客戶(hù)細(xì)分）實(shí)戰(zhàn)
1、聚類(lèi)基本原理
2、K均值聚類(lèi)算法
－K均值算法
3、距離計(jì)算公式
－閔可夫斯基距離(Minkowski Distance)
－曼哈頓距離(Manhattan Distance)
－歐氏距離(Euclidean Distance)
－切比雪夫距離(Chebyshev Distance)
－余弦距離(Cosine)
－Pearson相似距離
－馬哈拉諾比斯距離（Mahalanobis）
－漢明距離(Hamming distance)
－杰卡德相似系數(shù)(Jaccard similarity coefficient)
－相對(duì)熵（K-L距離）
4、K均值算法的關(guān)鍵問(wèn)題
－初始中心的選取方式
－最優(yōu)K值的選取
5、聚類(lèi)算法的評(píng)價(jià)方法
－Elbow method（手肘法）
－Calinski-Harabasz Index（CH準(zhǔn)則法）
－Silhouette Coefficient（輪廓系數(shù)法）
－Gap Statistic（間隔統(tǒng)計(jì)量法）
－Canopy算法
6、算法實(shí)戰(zhàn)
案例：使用SKLearn實(shí)現(xiàn)K均值聚類(lèi)
十二、關(guān)聯(lián)規(guī)則算法
1、關(guān)聯(lián)規(guī)則基本原理
2、常用關(guān)聯(lián)規(guī)則算法
－Apriori算法
－發(fā)現(xiàn)頻繁集
－生成關(guān)聯(lián)規(guī)則
－FP-Growth算法
－構(gòu)建FP樹(shù)
－提取規(guī)則
3、算法實(shí)戰(zhàn)
案例：使用apriori庫(kù)實(shí)現(xiàn)關(guān)聯(lián)分析
案例：中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
十三、協(xié)同過(guò)濾算法
1、協(xié)同過(guò)濾基本原理
2、協(xié)同過(guò)濾的兩各類(lèi)型
－基于用戶(hù)的協(xié)同過(guò)濾UserCF
－基于物品的協(xié)同過(guò)濾ItemCF
3、相似度評(píng)估常用公式
4、UserCF算法實(shí)現(xiàn)
－計(jì)算用戶(hù)間的興趣相似度
－篩選前K個(gè)相似用戶(hù)
－合并相似用戶(hù)購(gòu)買(mǎi)過(guò)的物品集
－剔除該用戶(hù)已經(jīng)購(gòu)買(mǎi)過(guò)的產(chǎn)品，得到候選物品集
－計(jì)算該用戶(hù)對(duì)物品的喜歡程度，物品集排序
－優(yōu)先推薦前N個(gè)物品
5、ItemCF算法實(shí)現(xiàn)
－計(jì)算物品間的相似度
－篩選前K個(gè)喜歡的物品
－合并與前K個(gè)物品相似的前L個(gè)物品集
－剔除該用戶(hù)已經(jīng)購(gòu)買(mǎi)過(guò)的物品，得到候選物品集
－計(jì)算該用戶(hù)到候選物品的喜愛(ài)程度，物品排序
－優(yōu)先推薦前N個(gè)物品
6、關(guān)于冷啟動(dòng)問(wèn)題
7、協(xié)同過(guò)濾算法比較
結(jié)束：課程總結(jié)與問(wèn)題答疑。
Python機(jī)器學(xué)習(xí)算法
轉(zhuǎn)載：http://runho.cn/gkk_detail/265689.html
已開(kāi)課時(shí)間Have start time
- 傅一航
[僅限會(huì)員]
IT相關(guān)內(nèi)訓(xùn)
- 數(shù)據(jù)庫(kù)基礎(chǔ)及實(shí)操（MySQ 郭振杰
- 前沿信息技術(shù)解析與應(yīng)用創(chuàng)新 張世民
- Mysql基礎(chǔ)使用 郭振杰
- Python基礎(chǔ)與基礎(chǔ)應(yīng)用 郭振杰
- 金融科技賦能業(yè)務(wù) 李福東
- IPA應(yīng)用實(shí)戰(zhàn) 郭振杰
- 自智網(wǎng)絡(luò) 楓影
- Java企業(yè)級(jí)后臺(tái)開(kāi)發(fā) 郭振杰
- Java微服務(wù)開(kāi)發(fā) 郭振杰
- SQL語(yǔ)句基礎(chǔ)使用 郭振杰
- 6G技術(shù)與發(fā)展趨勢(shì) 楓影
- 業(yè)務(wù)與IT融合創(chuàng)新的方法與 李福東