2023-04-10 16:38:36來源:魔方格
(資料圖片僅供參考)
大慶大數(shù)據(jù)算法培訓班就選達內(nèi),歡迎咨詢哈爾濱達內(nèi)大數(shù)據(jù)培訓機構,IT培訓選達內(nèi),17年專業(yè)IT培訓機構,美國上市集團,開設IT培訓班Java、python、大數(shù)據(jù)、linux、UI、會計等IT培訓,泛IT培訓和非IT培訓共24大課程,了解更多相關培訓課程歡迎咨詢 大數(shù)據(jù)分析四大算法有K―平均算法、奇異值分解、主成分分析(PCA算法)、決策樹學習。在應用該算法進行數(shù)據(jù)分析時,首先應輸入包含M個對象的數(shù)據(jù)集A以及簇的數(shù)目N。從A中任意選擇N個對象作為初始簇中心并且不斷重復,隨后計算出簇中對象的均值,將每個對象分配到相似的簇并且不斷更新簇均值,后計算準則函數(shù)直到其不再發(fā)生變化為止。
大數(shù)據(jù)分析算法一:K―平均算法 K―平均算法是一種得到廣泛應用的基于劃分的聚類算法。其把M個對象分為N個簇,使得每個簇內(nèi)具有較高的相似度。 在應用該算法進行數(shù)據(jù)分析時,首先應輸入包含M個對象的數(shù)據(jù)集A以及簇的數(shù)目N。從A中任意選擇N個對象作為初始簇中心并且不斷重復,隨后計算出簇中對象的均值,將每個對象分配到相似的簇并且不斷更新簇均值,后計算準則函數(shù)直到其不再發(fā)生變化為止。因為該算法的復雜度大約是0(nkt),所以該算法在處理大數(shù)據(jù)集時是相對可伸縮的和率的。
大數(shù)據(jù)分析算法二:奇異值分解 假設A是一個m×n階矩陣,其中的元素全部屬于實數(shù)域或復數(shù)域。如此則存在一個分解使得A=U∑V*。其中U是m×m階酉矩陣,Σ是半正定m×n階對角矩陣,而V*是n×n階酉矩陣的共軛轉置矩陣。這樣的分解就稱為A的奇異值分解。 在MATLAB仿真軟件中計算奇異值分解的函數(shù)式為:[b.c.d]=svd(x)
大數(shù)據(jù)分析算法三:主成分分析(PCA算法) 從宏觀上來說,主成分分析是指在研究一項變量較多的課題時,將這些變量通過線性變換而簡化為幾個重要變量的一種多元統(tǒng)計分析方法。而在數(shù)據(jù)分析領域,主成分分析的主要作用是對大規(guī)模的數(shù)據(jù)集進行分析與簡化。其主要體現(xiàn)在降低數(shù)據(jù)集的維數(shù),同時盡可能保持數(shù)據(jù)集中的對所研究的問題有價值的特征。簡而言之,就是保留低階主成分,忽略高階主成分。其具體方法是通過對協(xié)方差矩陣進行特征分解,從而得出數(shù)據(jù)的特征向量與特征值。主成分分析在數(shù)學上可以理解為一個正交化的線性變換,把數(shù)據(jù)整體變換到一個新的坐標系中,使得這一數(shù)據(jù)的任何投影的大方差在主成分上,第二大方差在第二主成分上,依次類推。 大數(shù)據(jù)分析算法四:決策樹學習 從廣義上講,決策樹是一種運用圖解法的概率分析,即在已知各種事件發(fā)生概率的基礎上,通過構建決策樹來探究期望值大于等于零的概率,同時判斷可行性的決策分析方法。 決策樹學習是數(shù)據(jù)分析領域常用的方法,其目的是構建一個模型來預測樣本的目標值。一棵決策樹的訓練就是依據(jù)一個既定指標,將訓練數(shù)據(jù)集分為幾個子集并且在所產(chǎn)生的子集中不斷重復此方法的過程,直到一個訓練子集的類標都相同時為止。決策樹主要有兩種類型:分類樹和回歸樹。其中分類樹的輸出是樣本的類標,而回歸樹輸出的是一個實數(shù)。決策樹的優(yōu)點體現(xiàn)在即可以處理數(shù)值型數(shù)據(jù)也可以處理類別型數(shù)據(jù),并且適合處理大規(guī)模數(shù)據(jù)。