7月24日下午，應(yīng)數(shù)學與信息科學學院邀請，河北工業(yè)大學黃亞魁教授作了題為《Stochastic Polyak step size for SGD with variance reduction and momentum》的專題報告。報告由數(shù)學與信息科學學院裴永剛副院長主持。學院相關(guān)研究方向的青年教師和研究生參加了此次報告。

報告主要關(guān)注梯度類算法，步長是影響隨機梯度下降(SGD)方法收斂性和效率的關(guān)鍵因素。隨機Polyak步長(SPS)在機器學習問題中顯示出巨大的潛力。在此次講座中，黃亞魁教授介紹了一種新的SPS的變體，它是由原始目標函數(shù)與方差縮減技術(shù)和動量相結(jié)合構(gòu)造的隨機函數(shù)的最小值的下界來計算的，它適用于非插值問題。基于所提出的步長和SGD，開發(fā)了一種算法SPSVRM，該算法以亞線性速率收斂于凸和非內(nèi)插問題的精確解。數(shù)值實驗表明，SPSVRM的性能優(yōu)于其他具有最新SPS變體的SGDs。黃亞魁教授的講座給了與會師生很多思考和啟發(fā)，使與會青年教師和研究生受益匪淺。

講座結(jié)束后，黃亞魁教授對與會師生提出的問題進行詳細解答，并在優(yōu)化問題方面展開了熱烈的交流討論。

專家簡介：

黃亞魁，河北工業(yè)大學準聘教授、碩士生導(dǎo)師。2015年博士畢業(yè)于西安電子科技大學，2015年7月至2017年5月在中國科學院數(shù)學與系統(tǒng)科學研究院從事博士后研究。主要研究興趣包括梯度類算法理論及應(yīng)用、大規(guī)模機器學習和分布式優(yōu)化等領(lǐng)域的一階算法，相關(guān)成果發(fā)表在SIAM Journal on Optimization、Journal of Scientific Computing、Computational Optimization and Applications等期刊，主持國家自然科學基金、河北省自然科學基金、中國博士后基金等科研項目。現(xiàn)任中國運籌學會數(shù)學規(guī)劃分會理事、算法軟件與應(yīng)用分會常務(wù)理事，中國數(shù)學會計算數(shù)學分會理事，河北省運籌學會秘書長。

 (數(shù)學與信息科學學院 郭靜邑 裴永剛)