114 - Behavioral Testing of NLP Models, with Marco Tulio Ribeiro

NLP Highlights

Вміст надано NLP Highlights and Allen Institute for Artificial Intelligence. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією NLP Highlights and Allen Institute for Artificial Intelligence або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.

4+ y ago 43:32

MP3•Головна епізоду

We invited Marco Tulio Ribeiro, a Senior Researcher at Microsoft, to talk about evaluating NLP models using behavioral testing, a framework borrowed from Software Engineering. Marco describes three kinds of black-box tests the check whether NLP models satisfy certain necessary conditions. While breaking the standard IID assumption, this framework presents a way to evaluate whether NLP systems are ready for real-world use. We also discuss what capabilities can be tested using this framework, how one can come up with good tests, and the need for an evolving set of behavioral tests for NLP systems. Marco’s homepage: https://homes.cs.washington.edu/~marcotcr/

145 епізодів

#Artificial Intelligence #Tech #Science #NLP Highlights #Allen Institute for Artificial Intelligence #Tell Us