7月24日下午，應(yīng)數(shù)學(xué)與信息科學(xué)學(xué)院邀請,，河北工業(yè)大學(xué)黃亞魁教授作了題為《Stochastic Polyak step size for SGD with variance reduction and momentum》的專題報告,。報告由數(shù)學(xué)與信息科學(xué)學(xué)院裴永剛副院長主持,。學(xué)院相關(guān)研究方向的青年教師和研究生參加了此次報告,。
報告主要關(guān)注梯度類算法,，步長是影響隨機(jī)梯度下降(SGD)方法收斂性和效率的關(guān)鍵因素,。隨機(jī)Polyak步長(SPS)在機(jī)器學(xué)習(xí)問題中顯示出巨大的潛力,。在此次講座中，黃亞魁教授介紹了一種新的SPS的變體,，它是由原始目標(biāo)函數(shù)與方差縮減技術(shù)和動量相結(jié)合構(gòu)造的隨機(jī)函數(shù)的最小值的下界來計(jì)算的,，它適用于非插值問題?；谒岢龅牟介L和SGD，開發(fā)了一種算法SPSVRM,，該算法以亞線性速率收斂于凸和非內(nèi)插問題的精確解,。數(shù)值實(shí)驗(yàn)表明，SPSVRM的性能優(yōu)于其他具有最新SPS變體的SGDs,。黃亞魁教授的講座給了與會師生很多思考和啟發(fā),，使與會青年教師和研究生受益匪淺。
講座結(jié)束后,，黃亞魁教授對與會師生提出的問題進(jìn)行詳細(xì)解答,，并在優(yōu)化問題方面展開了熱烈的交流討論。
專家簡介：
黃亞魁,，河北工業(yè)大學(xué)準(zhǔn)聘教授,、碩士生導(dǎo)師。2015年博士畢業(yè)于西安電子科技大學(xué),，2015年7月至2017年5月在中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院從事博士后研究,。主要研究興趣包括梯度類算法理論及應(yīng)用、大規(guī)模機(jī)器學(xué)習(xí)和分布式優(yōu)化等領(lǐng)域的一階算法,，相關(guān)成果發(fā)表在SIAM Journal on Optimization,、Journal of Scientific Computing、Computational Optimization and Applications等期刊,，主持國家自然科學(xué)基金,、河北省自然科學(xué)基金、中國博士后基金等科研項(xiàng)目?，F(xiàn)任中國運(yùn)籌學(xué)會數(shù)學(xué)規(guī)劃分會理事,、算法軟件與應(yīng)用分會常務(wù)理事，中國數(shù)學(xué)會計(jì)算數(shù)學(xué)分會理事，河北省運(yùn)籌學(xué)會秘書長,。
(數(shù)學(xué)與信息科學(xué)學(xué)院 郭靜邑 裴永剛)
