101 - The lottery ticket hypothesis, with Jonathan Frankle

NLP Highlights

Контент предоставлен NLP Highlights and Allen Institute for Artificial Intelligence. Весь контент подкастов, включая эпизоды, графику и описания подкастов, загружается и предоставляется непосредственно компанией NLP Highlights and Allen Institute for Artificial Intelligence или ее партнером по платформе подкастов. Если вы считаете, что кто-то использует вашу работу, защищенную авторским правом, без вашего разрешения, вы можете выполнить процедуру, описанную здесь https://ru.player.fm/legal.

5y ago 41:16

MP3•Главная эпизода

In this episode, Jonathan Frankle describes the lottery ticket hypothesis, a popular explanation of how over-parameterization helps in training neural networks. We discuss pruning methods used to uncover subnetworks (winning tickets) which were initialized in a particularly effective way. We also discuss patterns observed in pruned networks, stability of networks pruned at different time steps and transferring uncovered subnetworks across tasks, among other topics. A recent paper on the topic by Frankle and Carbin, ICLR 2019: https://arxiv.org/abs/1803.03635 Jonathan Frankle’s homepage: http://www.jfrankle.com/

145 эпизодов

#Artificial Intelligence #Tech #Science #NLP Highlights #Allen Institute for Artificial Intelligence #Tell Us