7月24日下午,，應(yīng)數(shù)學(xué)與信息科學(xué)學(xué)院邀請,，河北工業(yè)大學(xué)黃亞魁教授作了題為《Stochastic Polyak step size for SGD with variance reduction and momentum》的專題報告。報告由數(shù)學(xué)與信息科學(xué)學(xué)院裴永剛副院長主持,。學(xué)院相關(guān)研究方向的青年教師和研究生參加了此次報告,。

報告主要關(guān)注梯度類算法，步長是影響隨機梯度下降(SGD)方法收斂性和效率的關(guān)鍵因素,。隨機Polyak步長(SPS)在機器學(xué)習(xí)問題中顯示出巨大的潛力,。在此次講座中，黃亞魁教授介紹了一種新的SPS的變體,，它是由原始目標函數(shù)與方差縮減技術(shù)和動量相結(jié)合構(gòu)造的隨機函數(shù)的最小值的下界來計算的,，它適用于非插值問題?；谒岢龅牟介L和SGD,，開發(fā)了一種算法SPSVRM，該算法以亞線性速率收斂于凸和非內(nèi)插問題的精確解,。數(shù)值實驗表明,，SPSVRM的性能優(yōu)于其他具有最新SPS變體的SGDs,。黃亞魁教授的講座給了與會師生很多思考和啟發(fā),，使與會青年教師和研究生受益匪淺。

講座結(jié)束后,，黃亞魁教授對與會師生提出的問題進行詳細解答,，并在優(yōu)化問題方面展開了熱烈的交流討論。

專家簡介：

黃亞魁,，河北工業(yè)大學(xué)準聘教授,、碩士生導(dǎo)師,。2015年博士畢業(yè)于西安電子科技大學(xué)，2015年7月至2017年5月在中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院從事博士后研究,。主要研究興趣包括梯度類算法理論及應(yīng)用,、大規(guī)模機器學(xué)習(xí)和分布式優(yōu)化等領(lǐng)域的一階算法，相關(guān)成果發(fā)表在SIAM Journal on Optimization,、Journal of Scientific Computing,、Computational Optimization and Applications等期刊，主持國家自然科學(xué)基金,、河北省自然科學(xué)基金,、中國博士后基金等科研項目。現(xiàn)任中國運籌學(xué)會數(shù)學(xué)規(guī)劃分會理事,、算法軟件與應(yīng)用分會常務(wù)理事,，中國數(shù)學(xué)會計算數(shù)學(xué)分會理事，河北省運籌學(xué)會秘書長,。

 (數(shù)學(xué)與信息科學(xué)學(xué)院 郭靜邑 裴永剛)