Public attitudes value interpretability but prioritize accuracy in Artificial Intelligence

En studie som undersöker attityder till “förklarbar AI” och i vilka sammanhang det är något som medborgarna/användarna kommer att efterfråga. 

Resultaten visar att ju viktigare tillämpningen är och/eller handlar om fördelning av begränsade resurser, desto viktigare är det också att de AI-modeller som används går att förklara. 

Men studien visar också på ett viktigt men: Om det är en trade off mellan förklarbarhet och resultat, då trumfar ett bra resultat – och särskilt om det är en viktig tillämpning och/eller rör begränsade resurser. 

Författarna varnar dock i diskussionen för slutsatsen att det därmed går att strunta i förklarbarhet för modeller som visar hög precision:

When we confronted participants with a tradeoff between AI interpretability and AI accuracy, they sacrificed interpretability for accuracy, and were more inclined to do so for high-stakes applications and those involving the allocation of scarce resources. Prioritizing accuracy over interpretability by seeking  “answers first, explanations later” accrues what the legal scholar Jonathan Zittrain has described as “intellectual debt”: answers gained at the expense of understanding. Intellectual debt is risky because  lacking understanding of how something works can produce negative unintended consequences in complex systems. For instance, if a drug is effective but the underlying mechanism is unknown, prescribing that drug can lead to dangerous side-effects if administered in combination with other drugs. Likewise, accruing intellectual debt in AI systems becomes riskier in settings where multiple AI applications will interact: consider a medical system where AI diagnosis applications are used in combination with AI applications that decide who gets access to scarce medical treatments.

Attributes

Competence & Expertise, Culture & Mindset, Execution, Usecases & Inspiration
Authority & Agency, Civil Society, Education, Energy, Financial, Health, Municipality, Region
Operations
Research & Reports