12月4日,應(yīng)數(shù)學(xué)與統(tǒng)計學(xué)院邀請,復(fù)旦大學(xué)江如俊副教授做客百年校慶之“牧野格致”講堂,為學(xué)院師生作題為“Accelerated Gradient Descent by Concatenation of Stepsize Schedules”的學(xué)術(shù)講座,學(xué)院相關(guān)研究方向師生參加此次講座,副院長裴永剛主持。
講座主要研究光滑凸目標(biāo)上梯度下降的步長調(diào)度問題。首先,江如俊副教授介紹了研究相關(guān)的主要文獻(xiàn)綜述和背景,提出了一種統(tǒng)一的方法來構(gòu)造任意迭代的具有解析界的步長。該技術(shù)通過連接兩個短的步長調(diào)度來構(gòu)建新的步長調(diào)度。然后,江如俊副教授利用這種方法,引入了兩個新的步長調(diào)度族,實現(xiàn)了的良好的收斂速率,分別為最后一次迭代的目標(biāo)值和梯度范數(shù)的最新常數(shù)。此外,江如俊副教授的分析導(dǎo)出的步長調(diào)度匹配或超過現(xiàn)有的最佳數(shù)值計算步長調(diào)度。報告結(jié)束后,江如俊副教授就相關(guān)問題與臺下師生展開深入的討論和交流。江如俊副教授的報告內(nèi)容豐富,使參會師生對梯度下降的步長調(diào)度問題有了深刻的認(rèn)識,受益匪淺。
專家簡介:江如俊,復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院副教授,博士生導(dǎo)師。2016年7月于香港中文大學(xué)獲得博士學(xué)位。研究方向主要包括優(yōu)化算法和理論分析及其在運籌學(xué)、機(jī)器學(xué)習(xí)和金融工程領(lǐng)域的應(yīng)用。其研究成果發(fā)表在Math. Program., SIAM J. Optim.、Math. Oper. Res.、INFORMS J. Comput.和ICML、NeurIPS等國際頂級期刊或會議上。獲上海市揚(yáng)帆計劃、國家級青年人才計劃支持,主持國家自然科學(xué)基金青年項目和面上項目。獲國際機(jī)器學(xué)習(xí)大會ICML 2022杰出論文獎。
(數(shù)學(xué)與統(tǒng)計學(xué)院 郭靜邑)