

Public attitudes value interpretability but prioritize accuracy in Artificial Intelligence
Resultaten visar att ju viktigare tillämpningen är och/eller handlar om fördelning av begränsade resurser, desto viktigare är det också att de AI-modeller som används går att förklara.
Men studien visar också på ett viktigt men: Om det är en trade off mellan förklarbarhet och resultat, då trumfar ett bra resultat – och särskilt om det är en viktig tillämpning och/eller rör begränsade resurser.
Författarna varnar dock i diskussionen för slutsatsen att det därmed går att strunta i förklarbarhet för modeller som visar hög precision:
When we confronted participants with a tradeoff between AI interpretability and AI accuracy, they sacrificed interpretability for accuracy, and were more inclined to do so for high-stakes applications and those involving the allocation of scarce resources. Prioritizing accuracy over interpretability by seeking “answers first, explanations later” accrues what the legal scholar Jonathan Zittrain has described as “intellectual debt”: answers gained at the expense of understanding. Intellectual debt is risky because lacking understanding of how something works can produce negative unintended consequences in complex systems. For instance, if a drug is effective but the underlying mechanism is unknown, prescribing that drug can lead to dangerous side-effects if administered in combination with other drugs. Likewise, accruing intellectual debt in AI systems becomes riskier in settings where multiple AI applications will interact: consider a medical system where AI diagnosis applications are used in combination with AI applications that decide who gets access to scarce medical treatments.