python做相關系數分析詳細步驟 目前最快的神經網絡訓練算法是什么？

目前最快的神經網絡訓練算法是什么？最優化方法總是是機器學習中非常重要的部分，都是學過程的核心算法。而Adam自14年提議以來就造成應用廣泛關注，目前該論文的直接引用量早都沒有達到了10047。但自去年

目前最快的神經網絡訓練算法是什么？

最優化方法總是是機器學習中非常重要的部分，都是學過程的核心算法。而Adam自14年提議以來就造成應用廣泛關注，目前該論文的直接引用量早都沒有達到了10047。但自去年以來，很多研究者發現Adam優化算法的收斂性不能得到能保證，ICLR2017的最佳的方文也重點關注它的收斂性。在本文中，依附的SylvainGugger、Jeremy Howard發現大多數深度學習庫的Adam實現方法都有吧一些問題，并在fastai庫中實現方法了一種新型AdamW算法。依據一些實驗，作者來表示該算法是目前訓練神經網絡最多的。

Adam過山車

Adam優化軟件器之旅的確是過山車（roller-coaster）式的。該優化軟件器于2014年所推出，本質上是兩個是因為直覺的很簡單想法：既然如此我們必須明確地知道某些參數必須移動手機得快的、更遠，這樣為什么不每個參數還要不違背相同的學習率？畢竟最近梯度的平方幫幫我們每一個權重可以不我得到多少信號，所以才我們可以乘以2這個，以切實保障就算是是最反應慢的權重也有機會發光。Adam接受了這個想法，在過程中加入到了標準方法，就產生了Adam優化系統器（再勤加變動以以免早期批次會出現偏差）！

首次公開發表之時，深度學習社區都為不知從何而來原論文的一些圖表（如下圖）興奮不已：

Adam和其他系統優化器的對比

訓練速度想提高200%！「整體而言，我們突然發現Adam太魯棒，并且越來越廣泛可以參照于機器學習領域的各種非凸優化問題」論文結尾那樣大致意思。那是三年前，深度學習的黃金時期。但這，事情并沒有什么明確的我們希望的方向發展。使用Adam訓練模型的研究文章其實并不多，新的研究結束肯定地抑制了它的應用，并在幾個實驗中說，SGDmomentum可能比奇怪的Adam表現更好。2018課程開班之際，可惡的Adam被從早期課程中刪掉。

但是到了2017年末，Adam倒是又獲得了重生。IlyaLoshchilov和FrankHutter在他們的論文《Fixing Weight Decay Regularization in Adam》中提道，每個庫在Adam上率先實施的權重能量損失很顯然也是出現了錯誤的，并提議了一種簡單的方法（他們稱之為AdamW）來再修復它。哪怕結果略為相同，但他們確實是能提供了一些的的下圖的積極的結果的圖表：

Adam和AdamW差別不大

我們如果能人們恢復對Adam的熱情，而且該360優化器的一些早期結果似乎這個可以再現歷史。但事與愿違。只不過，應用它的僅有一個深度學習框架是使用Sylvain編碼的fastai。導致普遍缺乏可用的越來越廣泛框架，日常注意實踐者就只有穩守又舊又當然不好用的Adam。

但這不是同樣的問題。前面有很多阻礙。兩篇論文一針見血地指出了Adam在收斂性證明方面的確實問題，事實上其中一篇提出來了名為AMSGrad的關于修改〈專利法〉的決定（并在享有聲譽的ICLR大會上贏來了「最佳的位置論文」獎）。不過，如果不是說我們從這種最戲劇化的生活（至少按照系統優化器的標準來說是戲劇化的）簡史中學到了什么，如果不是，沒有什么是它表面看上去的樣子。確實是，博士生JeremyBernstein提道，所謂的的收斂問題反正只是中,選擇方法錯誤的超參數的跡象，也許AMSGrad也可以解決不了問題。另一名博士生FilipKorzeniowski可以展示了一些早期成果，似乎意見了AMSGrad這種令人沮喪的觀點。

啟動時過山車

那就我們這些只我希望飛速訓練計算精確模型的人該干些什么呢？我們選擇用數百年來能解決科學辯論的——科學實驗——來能解決這一爭議！稍后將呈所有細節，但首先讓我們來看看看確切結果：

適度調參之后，Adam確實是可以用！我們在以下幾個任務中換取了訓練時間方面的2011版結果：

在含有測試出來時間減少的僅18個epoch或30個epoch上訓練什么CIFAR10，等到其準確率達到94%，如DAWNBench競賽；

對Resnet50通過調參，直至其在斯坦福汽車數據集上的準確率都沒有達到90%，到時訓練訓練60個epoch（之前提升同一的準確率不需要600個epoch）；

從零開始訓練另一個AWDLSTM有.QRNN，歷經世間90個epoch（或在一個GPU上特訓1個半小時），其困惑度在Wikitext-2上都沒有達到當前最優水平（之前的LSTM必須750個epoch，QRNN需要500個epoch）。

這意味著我們也看見在用Adam的超收斂！超收斂是特訓學習率高的神經網絡時直接出現的一種現象，它它表示省掉了一半訓練過程。在AdamW之前，練習CIFAR10至94%的準確率需要一共100個epoch。

與之前的工作相比較，我們發現自己只要你根據情況方法對頭，Adam在我們試圖過的每一個CNN圖像問題上都也可以獲得與SGDMomentum一樣的好的準確率，不過全都總是慢點。

關于AMSGrad是兩個糟糕的「解決的辦法方案」的建議是對的的。我們一直在發現自己，AMSGrad在準確率（或其他去相關指標）上就沒完成任務比特殊Adam/AdamW更高的增益。

當你聽著人們說Adam的泛化性能不如我SGDMomentum時，你基本都總會突然發現他們為自己的模型所選擇類型的超參數不怎么地。常見Adam必須的正則化比SGD多，但在從SGD轉過頭Adam時，以保證調整正則化超參數。

文章結構：

理解AdamW

實現AdamW

AdamW實驗和AdamW-ish

再理解AMSGrad

實現程序AMSGrad

AMSGrad實驗的結果

3.完整而圖表

AdamW

明白AdanW：權重衰減作用與L2正則化

L2正則化是減少過擬合的很經典方法，它會向損失函數先添加由模型所有權重的平方和分成的懲罰項，并乘上某一特定的超參數以操縱懲罰力度。以下本文所有的方程式全是用Python、NumPy和PyTorch風格的表達

final_losslosswd*all_weights.pow(2).len()/2

其中wd為我們設置的超參數，用以完全控制懲罰力度。這也可以不一般稱權重能量損失，因為在這一瞬間發揮原版SGD時，它都互逆于可以使用追加方程式更新完權重：

ww-lr*-lr*wd*w

其中lr可以表示去學習率、來表示損失函數對w的導數，而后面的wd*w則意思是嚴厲懲罰項對w的求導結果。在這個等式中，我們會見到每當自動更新都會乘以一小部分權重，這也就是「衰減」的來源。

查看過的所有庫都在用第一種形式。在實踐中，簡直是是從向梯度wd*w而實現方法算法，而又不是完全地決定損失函數。畢竟我們當然不如果能提升額外的計算量來抵消損失，尤其是還有其它簡單方法的時候。

呢既然它們是同一種表達，那就我們為什么需要怎么分辨這兩種概念呢？原因本質它們只是對原版SGD是等價的，而當我們添加動量或可以使用如Adam這樣復雜的最優化方法，L2正則化（第一個方程）和權重能量損失（第二個方程）可能會存在很小的不同。在本文其余的部分中，我們討論權重脈沖前沿指的全是第三個方程式，而再討論L2正則化大都討論另一個經典。

:在加快量的SGD中，L2正則化與權重衰減作用是不真包含的。L2正則化會將wd*w添加到梯度中，但現在權重并不是真接減去梯度。是需要我們需要計算移動均值：

moving_avgalpha*moving_avg(1-alpha)*(wd*w)

然后權重才能實際乘以3乘上了學習率的移動均值而換取可以更新。所以我w更新完中牽涉到到的正則化為lr*(1-alpha)*wd*w再加已經在moving_avg中前面權重的組合。

并且，權重能量損失的更新可以意思是為：

moving_avgalpha*moving_avg(1-alpha)*

ww-lr*moving_avg-lr*wd*w

我們是可以仔細觀察到，從w中乘以3無關正則化的部分在兩種方法中是差別的。當我們不使用Adam360優化器時，權重衰減時間的部分可能會相差無幾更大。是因為Adam中的L2正則化必須再添加wd*w到梯度中，并共有可以計算梯度非盈利組織會計平方的移動均值，然后再能更新權重。但權重能量損失方法只是因為簡單地沒更新權重，并有時候從權重中乘以點。

看樣子這是兩種有所不同的方法，在參與了實驗后，IlyaLoshchilov和FrankHutter個人建議我們估計在Adam算法中建議使用權重衰減時間方法，而不是像超經典深度學習庫中實現的L2正則化。

利用AdamW

那你我們要如何才能實現程序AdamW算法呢？要是你們在建議使用fastai的庫，那就在可以使用active函數時直接添加參數use_wd_schedTrue就能簡單點地實現方法：

(lr,1,wds1e-4,use_wd_schedTrue)

如果不是你更喜歡新的訓練API，你就能在每一個訓練階段中建議使用參數wd_lossFalse：

phases [TrainingPhase(1,,lr,wds1-e4,wd_lossFalse)]

_opt_sched(phases)

以下以此為例地概述了fastai是該如何實現方法AdamW的。在優化軟件器中的階梯函數，我們只是需要使用梯度修正參數，根本不會不建議使用參數本身的值（之外權重衰減時間，我們將在外部處理它）。接著我們是可以在最優化器之前通簡單實現程序權重脈沖前沿，但這仍不需要在計算梯度后才能完成，不然的話它都會影響不大梯度的值。因此在訓練循環中，我們要判斷計算權重衰減作用的位置。

()

#'theweightsheerhere!

()

當然了，最系統優化器應該是修改wd0，要不然它可能會做一些L2正則化，這都是我們不只希望看見了的?，F在在權重脈沖前沿的位置中，我們可以在所有參數上寫一個循環語句，并排列采用權重能量損失的更新。而我們的參數應該是儲存在360優化器的字典param_groups中，所以才這個循環應該要意思是為萬分感謝語句：

()

forgroupof_groups():

forparamofgroup[params]:

(-wd*group[lr],)

()

AdamW實驗的結果：它真有沒問題嗎?

我們首先在計算機視覺問題上并且測試，效果的很好。具體來說，Adam和L2正則化在30個epoch中額外的換算下來準確率為93.96%，在兩次中有四次達到94%。我們選擇30個epoch是因為策略和SGD可以不我得到94%準確率。當我們使用Adam與權重脈沖前沿方法，我們緩慢我得到94%到94.25%的準確率。這一點，我們發現使用1cycle策略時的選擇最優beta2值為0.99。我們將beta1參數更視SGD中的動量，這不它去學習率的增長由0.95會降低到0.85，然后隨學率的降低而又提升到0.95。

L2正則化或權重衰減作用準確率

更令人印象深刻的是，不使用測試3時間提高（即在測試集的一個圖像和它四個減少數據的版本上取預測的平均值），我們可以在單單18個epoch內至少94%的準確率（平均93.98%）！是從最簡單Adam和L2正則化，每數次20次就會又出現三次將近94%的情況。

在這些比較中需要確定的一點是，變動正則化會變化權重衰減作用或學習率的適宜值。在我們參與的測試3中，L2代價函數的最佳的位置學習率為1e-6（最大學習率為1e-3），而權重衰減作用的適宜值為0.3（學習率為3e-3）。在我們的所有測試出來中，數量級的差異也是相當完全不同的，主要是因為L2正則化被梯度的總平均范數（也是非常低）最有效地再劃分，但是Adam的學習率也是非常小（所以權重脈沖前沿的更新不需要更為強大的系數）。

這樣，權重衰減時間時總比Adam的L2正則化更好？我們還就沒發現到的確更糟的情況，但無論是無監督學習問題（或者斯坦福汽車數據集上Resnet50的微調）那就RNNs，它都也沒具體更好的結果。

AMSGrad

理解AMSGrad

AMSGrad是由Sashank J. Reddi、SatyenKale和SanjivKumar在近期的一篇文章中推薦的。結論Adam360優化器收斂的證明，他們在更新規則中發現了一個錯誤，該錯誤可能倒致算法收斂到次優點。他們怎么設計了理論實驗，展示Adam失敗的話的情形，并提出來了一個簡單的解決方案。機器之心也曾從適應性去學習率算法向北出發分析過這一篇最佳的位置論文：BeyondAdam。

替更好地解釋錯誤和解決方案，讓我們來看再看看Adam的更新規則：

avg_gradsbeta1*avg_grads(1-beta1)*

avg_squaredbeta2*(avg_squared)(1-beta2)*(**2)

ww-lr*avg_grads/sqrt(avg_squared)

我們剛才進不了了偏差正鏡（對訓練的開始很用處），把重心放在旁邊了通常點上。作者發現到Adam收斂其他證明中的錯誤之處本質：

lr/sqrt(avg_squared)

這是我們朝那平均梯度方向邁出的三步，在訓練中逐漸地降低。由于學率常常覺得是恒定或趨于零的，作者給出的解決方案是通過添加一個變量來跟蹤它們的大值，從而最終迫使avg_square量增強。

基于AMSGrad

歷史文章在ICLR2018中完成了一項大獎并非常受歡迎，但它也在兩個主要的深度學習庫——PyTorch和Keras中實現程序。因為，我們到時傳入參數amsgradTrue去掉。

avg_gradsbeta1*avg_grads(1-beta1)*

avg_squaredbeta2*(avg_squared)(1-beta2)*(**2)

obj_squaredair(avg_squared,max_squared)

ww-lr*avg_grads/sqrt(max2_squared)

AMSGrad實驗結果：大量噪音是沒用的

AMSGrad的結果令人的很吃驚。在所有實驗中，我們都才發現它沒有半點幫助。除非AMSGrad才發現的最小值偶爾會比Adam都沒有達到的最小值稍低（在死傷方面），其心胸氣量（準確率、f_1分數…）到最后老是更糟（詳情請見引言中的表格）。

Adam優化器在深度學習中隱斂的證明（而且它針對凸問題）和他們在其中發現到的錯誤對此與現實就是現實問題無關的怎么合實驗很重要。實際測什么是因為，當這些avg_square梯度想減小時，如此做能我得到建議的結果。

這因為，除非把重點放在理論上可促進血液循環額外一些新想法，也沒有什么可以取代實驗（不過很多實驗！）以必須保證這些想法實際上有助從業人員訓練更好的模型。

附錄：所有結果

從零做起訓練CIFAR10（模型是Wide-ResNet-22，以下為五個模型的來算結果）：

在用fastai庫化入的標準頭對斯坦福汽車數據集上的Resnet50并且微調（解凍以后前對頭訓練20個epoch，并用完全不同的學習率練習40個epoch）：

建議使用來自GitHub（）的超參數訓練AWD LSTM（結果總是顯示在有或沒有緩存指針（cachepointer）情況下驗證驗證/測什么集的困惑度）：

可以使用來自GitHubrepo的超參數訓練QRNN（結果會顯示在有或沒有緩存指針情況下驗正/測什么集的困惑度）：

因為這一具體任務，我們需要了1cycle策略的修改版本，更快了學習速度，之后長時間保持較高的恒定學習速度，然后再往會下降。

Adam和其它優化器之間的差不多

所有咨詢超參數的值和用于出現這些結果的代碼地址萬分感謝：

python可視化界面怎么做？

本文所演示的的可視化方法

散點圖（Scatterplot)

直方圖(Histogram）

小提琴圖（Violinplot)

特征兩兩綜合比圖（Pairplot）

安德魯斯曲線(Andrewscurves)

核密度圖(Kerneldensityestimationplot)

垂直于坐標圖（Parallelcoordinates）

Radviz（彎矩圖？）

熱力圖(Heatmap)

氣泡圖(Bubbleplot)

這里通?？梢允褂肞ython一個流行的作圖工具:Seabornlibrary，同樣的Pandas和bubbly輔助。我想知道為什么Seaborn比較比較好？

而且大部分事情數據分析，建模前，都要擦洗數據，刷洗后數據的結果總要有個格式，我明白了的最容易建議使用，最方便些再輸入模型,建議作圖的格式叫暗