Je třeba otevřít „černou skříňku“ umělé inteligence, dokud není příliš pozdě

Již několik let se v roce 1980, studenti lékařské fakulty nemocnice svatého Jiří v Londýně byly pořízeny za použití metody high-tech. Počítačový program, jedním z prvních svého druhu, mohli resumé, výběrem ze všech nároků kolem 2000 kandidátů ročně. Program analyzuje záznamy o příjmech studují vlastnosti úspěšných žadatelů, a opravil tak dlouho, jak její řešení se nekryjí s názorem výběrové komise.

Je třeba otevřít „černou skříňku“ umělé inteligence, dokud není příliš pozdě

Program však naučila najít více než dobrými známkami a známkami akademických hodností. Čtyři roky po zavedení programu, dva lékaři v nemocnici zjistili, že program, zpravidla odmítají kandidátek a ty s mimoevropskými jmen, bez ohledu na jejich akademických zásluh. Lékaři zjistili, že asi 60 kandidátů ročně prostě odmítli pohovor kvůli svému pohlaví nebo rasy. Program zahrnoval pohlaví a rasové předsudky v datech použitých pro jeho přípravu - ve skutečnosti se dozvěděl, že lékaři a cizinci nejsou nejlepší kandidáty pro lékaře.

O třicet let později, jsme se potýkají s podobným problémem, ale programy s vnitřním předpojatosti je nyní běžnější a rozhodovat s ještě vyššími sázkami. Algoritmy umělé inteligence založené na strojovém učení se používají všude, počínaje vládními institucemi a konče zdravotnictví, přijímání rozhodnutí a dělat předpovědi na základě historických dat. Tím, že studuje vzory v datech, ale také absorbují a předsudky v nich. Google, například ukazuje další reklamní nízkou placenou práci pro počet žen než mužů; dodávka Amazon den obchází čtvrtiny Negro a digitálních fotoaparátů s těžko rozpoznat osoba není bílá. Je obtížné pochopit, zda je algoritmus je neobjektivní nebo spravedlivé, a proto zvážit i počítačoví odborníci. Jedním z důvodů je skutečnost, že podrobnosti o vytvoření algoritmu je často považována za důvěrná informace, takže jsou pečlivě střeženy vlastníků. Ve složitějších případech, algoritmy jsou tak složité, že i tvůrci přesně nevědí, jak fungují. To je problém takzvané „černé skříňky“ AI - naše neschopnost vidět vnitřek algoritmus a pochopit, jak to přijde k rozhodnutí. Necháte-li ji zamkl, naše společnost může být vážně ovlivněna: v digitálním prostředí jsou realizovány historickou diskriminaci, které jsme bojovali po mnoho let, z otroctví a nevolnictví k diskriminaci žen.

Tyto obavy jsou vyjádřeny v malých obcích informatiky dříve, je nyní získává vážně. V uplynulých dvou letech v této oblasti bylo poměrně dost publikací o transparentnosti umělé inteligence. S touto rostoucí povědomí a pocit odpovědnosti. „Může tam být některé věci, které bychom neměli stavět?“ Žádá Kate Crawford, výzkumník společnosti Microsoft a spoluzakladatel AI Nyní Insitute v New Yorku.

„Strojové učení konečně přišel do popředí. Nyní se snažíme používat pro stovky různých úkolů v reálném světě, „řekl Rich Caruana, Microsoft senior výzkumník. „Je možné, že lidé budou moci nasadit škodlivé algoritmy, které významně ovlivňují společnost v dlouhodobém horizontu. Nyní se zdá, že najednou si uvědomil, že se jedná o důležitou kapitolu v našem regionu. "

Neoprávněné algoritmus

Je třeba otevřít „černou skříňku“ umělé inteligence, dokud není příliš pozdě

Byli jsme pomocí algoritmu, ale box problém černá je bezprecedentní. První algoritmy jsou jednoduché a transparentní. Mnoho z nich stále používají - například pro posouzení bonity. S každým novým použitím v případě vstupuje do regulace.

„Lidé byli s použitím algoritmů pro posouzení bonity po celá desetiletí, ale v těchto oblastech byly dost silné osada, která vyrostla v souběžně s využitím prediktivních algoritmů,“ říká Caruana. Pravidla kontroly zajistit, aby predikční algoritmy poskytnout vysvětlení každého skóre: jste byl zamítnut, protože máte příliš mnoho kreditní nebo nízký příjem.

V jiných oblastech, jako je právní systém a reklamy, neexistují žádná pravidla zakazují používání algoritmů známých neproschityvaemyh. Možná nevíte, proč jste byl odepřen úvěr nebo nemají práci, protože nikdo nutí majitele, aby vysvětlil algoritmus, jak to funguje. „Ale my víme, že vzhledem k tomu, že algoritmy jsou trénovány na datech z reálného světa, musí být neobjektivní - protože skutečný svět je neobjektivní,“ říká Caruana.

Vezměme si například, jazyk - jeden z nejvýraznějších zdrojů zaujatosti. Když jsou algoritmy vyškoleni na psaný text, oni tvořili nějaké asociace mezi slovy, které se vyskytují společně častěji. Například, oni se učí, že „pro muže být počítačový programátor - je to totéž pro ženu být v domácnosti.“ Kdy bude tento algoritmus účtovat najít ten správný životopis pro programátora, s největší pravděpodobností se bude vybírat mezi kandidáty lidí. Tyto problémy jsou relativně snadno opravit, ale mnoho firem to prostě nepůjde. Místo toho se budou schovávat za štítu takových rozporů chráněných informací. Bez přístupu k podrobnosti algoritmu, budou odborníci v mnoha případech není možné zjistit, zda existuje zaujatost, nebo ne.

Vzhledem k tomu, tyto algoritmy jsou tajné a jsou mimo jurisdikci orgánů, občané téměř nemožné žalovat tvůrce algoritmů. V roce 2016, nejvyšší soud zamítl žádost Wisconsin muže zvážit vnitřní fungování kompas. Ten muž, Eric Loomis, byl odsouzen k šesti letům vězení, z části proto, že COMPAS „vysokým rizikem“ v úvahu. Loomis říká, že jeho právo na spravedlivý proces byl porušen závislost soudců z neprůhledného algoritmu. Poslední žádost o přezkoumání případu Nejvyššího soudu USA selhal v červnu 2017.

Ale mlčenlivá společnost nebude používat svobodu po neomezenou dobu. V březnu, bude Evropská unie přijmout zákon, který by vyžadoval firmám vysvětlit možnost zainteresovaným zákazníkům, jak jejich algoritmy pracují a jak se rozhodují. USA nemá takovou legislativu v pracích.

Černá skříňka forenzní

Bez ohledu na to, zda jsou regulační orgány zapojeny do všeho, kulturní posun v tom, jak se vyvíjet a implementovat algoritmy, může snížit výskyt neobjektivních algoritmů. Jak stále více firem a vývojáři zavazují, aby se jejich algoritmy transparentní a vysvětlitelný, někteří doufají, že společnosti, které nesplňují ztratit dobrou pověst v očích veřejnosti. Nárůst výpočetního výkonu umožnilo vytvořit algoritmy, které jsou jak přesné a srozumitelné - tento technický problém vývojáři nemohli překonat historicky. Nedávné studie ukazují, že je možné vytvořit srozumitelné modely, které předpovídají opakování trestné předmětů tak přesně jako černá skříňka kriminologové jako kompas.

„Vše je připraveno - víme, jak vytvořit model bez černých skříněk“, říká Cynthia Rudin, odborný asistent informatiky a elektrotechniky na Duke University. „Ale to není tak snadné upozornit lidí pro tuto práci. Pokud vládní agentury již nebudou platit pro model černé skříňky, bylo by to pomohlo. V případě, že soudci odmítají používat černou modelu box na verdikt, bude to také pomůže. "

Jiní se snaží přijít se způsoby, jak testovat platnost algoritmů, vytvoření systému brzd a protivah, než algoritmus bude uvolněna do světa, stejně jako se testuje každý nový lék.

„V současné době je model vyroben a nasazen příliš rychle. Neprovádějí kontroly před vydáním algoritmu ve světle, „říká Sarah Tan z Cornell University.

V ideálním případě, vývojáři odmítl známý zaujatost - například podle pohlaví, věku a rasy - a interním simulace pro testování jejich algoritmy na přítomnost dalších problémů.

Do té doby, než se dostanete do bodu, kdy jsou všechny algoritmy důkladně testován před vydáním, již je možné určit, který z nich bude trpět zkreslení. Ve svém posledním díle, Tan, Caruana a jejich kolegové popisují nový způsob, jak pochopit, co se může dít pod kapotou černá skříňka algoritmů. Vědci vytvořili model, který simuluje algoritmus černou skříňku, naučit se posoudit riziko recidivy by Compas dat. ale také vytvořil další model, který je vyškolen v závislosti na skutečném světě, které ukazují, zda došlo k předpovědět recidivu ve skutečnosti. Srovnání obou modelů umožnilo vědcům posoudit správnost předpovězené skóre bez analyzování algoritmus. Rozdíly ve výsledcích obou modelů může ukázat, jak proměnné jako je rasa nebo věk, může být důležitější v jedné cestě nebo jiný model. Jejich výsledky ukázaly, že COMPAS diskriminaci černochů.

Správně postavené algoritmy lze eliminovat dlouhotrvající zaujatost v trestním soudnictví, policejní a mnoho dalších oblastí společnosti.