12月4日,,應(yīng)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院邀請(qǐng),復(fù)旦大學(xué)江如俊副教授做客百年校慶之“牧野格致”講堂,,為學(xué)院師生作題為“Accelerated Gradient Descent by Concatenation of Stepsize Schedules”的學(xué)術(shù)講座,,學(xué)院相關(guān)研究方向師生參加此次講座,副院長(zhǎng)裴永剛主持。
講座主要研究光滑凸目標(biāo)上梯度下降的步長(zhǎng)調(diào)度問(wèn)題,。首先,,江如俊副教授介紹了研究相關(guān)的主要文獻(xiàn)綜述和背景,提出了一種統(tǒng)一的方法來(lái)構(gòu)造任意迭代的具有解析界的步長(zhǎng),。該技術(shù)通過(guò)連接兩個(gè)短的步長(zhǎng)調(diào)度來(lái)構(gòu)建新的步長(zhǎng)調(diào)度,。然后,江如俊副教授利用這種方法,,引入了兩個(gè)新的步長(zhǎng)調(diào)度族,,實(shí)現(xiàn)了的良好的收斂速率,分別為最后一次迭代的目標(biāo)值和梯度范數(shù)的最新常數(shù),。此外,,江如俊副教授的分析導(dǎo)出的步長(zhǎng)調(diào)度匹配或超過(guò)現(xiàn)有的最佳數(shù)值計(jì)算步長(zhǎng)調(diào)度。報(bào)告結(jié)束后,,江如俊副教授就相關(guān)問(wèn)題與臺(tái)下師生展開(kāi)深入的討論和交流,。江如俊副教授的報(bào)告內(nèi)容豐富,使參會(huì)師生對(duì)梯度下降的步長(zhǎng)調(diào)度問(wèn)題有了深刻的認(rèn)識(shí),,受益匪淺,。
專家簡(jiǎn)介:江如俊,復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院副教授,,博士生導(dǎo)師,。2016年7月于香港中文大學(xué)獲得博士學(xué)位。研究方向主要包括優(yōu)化算法和理論分析及其在運(yùn)籌學(xué),、機(jī)器學(xué)習(xí)和金融工程領(lǐng)域的應(yīng)用,。其研究成果發(fā)表在Math. Program., SIAM J. Optim.、Math. Oper. Res.,、INFORMS J. Comput.和ICML,、NeurIPS等國(guó)際頂級(jí)期刊或會(huì)議上。獲上海市揚(yáng)帆計(jì)劃,、國(guó)家級(jí)青年人才計(jì)劃支持,,主持國(guó)家自然科學(xué)基金青年項(xiàng)目和面上項(xiàng)目。獲國(guó)際機(jī)器學(xué)習(xí)大會(huì)ICML 2022杰出論文獎(jiǎng),。
(數(shù)學(xué)與統(tǒng)計(jì)學(xué)院 郭靜邑)