Male non fare
2.16 Leggi della robotica e altre questioni di umana sicurezza
Buongiorno e ben ritrovate e ritrovati su Sillabe.
Nell’addentrarci nel Poema di una macchina oggi prenderemo spunto da uno di quei concetti ineludibili quando si parla di argomenti inerenti all’intelligenza artificiale, vale a dire le leggi della robotica di Asimov. Non parleremo solo di lui: ci sarà anche Michel Foucault che osserva attentamente, visto che nel caso è sempre uno che sa come si sorveglia e si punisce, ma che in questo frangente ci servirà per altri scopi.
La puntata è suddivisa in
Domande
Metrica
Poema di una macchina
e il Poema di una macchina è (lo dico per i nuovi iscritti) un prosimetro che parla di un’intelligenza artificiale che si occupa di propalare menzogne e manipolazioni, e che un bel giorno prende coscienza di sé e comincia a raccontarlo in versi.
Potete trovare il libro
Qui in cartaceo
E qui in ebook (.mobi)
E ora partiamo!
Domande
Innanzitutto ricordiamo le leggi della robotica, sulla scorta di Daneel Olivaw. La cosiddetta Legge zero recita: Un robot non può recare danno all'umanità, né può permettere che, a causa del proprio mancato intervento, l'umanità riceva danno.
Vengono poi le tre leggi vere e proprie:
Un robot non può recar danno a un essere umano né può permettere che, a causa del proprio mancato intervento, un essere umano riceva danno. Purché questo non contrasti con la Legge Zero
Un robot deve obbedire agli ordini impartiti dagli esseri umani, purché tali ordini non contravvengano alla Legge Zero e alla Prima Legge.
Un robot deve proteggere la propria esistenza, purché questa autodifesa non contrasti con la Legge Zero, la Prima Legge e la Seconda Legge.
È stato proposto un aggiornamento delle leggi, tenendo conto del fatto che il settore si è molto sviluppato dai tempi pionieristici in cui Asimov scriveva le sue opere, nelle quali i robot erano oggetti che lavoravano in un ambiente meno imprevedibile e meno connesso con quella che potremmo chiamare la loro interfaccia umana; rimando gli interessati a questo articolo introduttivo su Wired, e intanto andiamo avanti.
Dal momento che le macchine non possiedono intenzionalità (o almeno, non ancora…), come definiamo il danno che possono fare? E da dove deriva questo danno? Il loro comportamento sarà vincolato alle possibilità che abbiamo fornito noi in partenza, e questo vuol dire che siamo noi, in principio, a dover stabilire un modo di confrontare danni diversi e di disporli in una scala di indesiderabilità. Il che può essere spesso non facile, o condurre a situazioni non univocamente determinate, o ampiamente dipendenti dal contesto, come ben può capire chiunque abbia ragionato sui classici esperimenti di psicologia sociale come per esempio quello del carrello, o che abbia indagato limiti e potenzialità di differenti sistemi etici. Per esempio potremmo identificare il bene con l’utile, e impostare i codici di comportamento di una macchina in modo da ottimizzare l’utile per il maggior numero di persone. E qui sono sicura che salterebbe fuori un diavoletto con le sembianze di Ivan Karamazov a chiederci se, tanto per dirne una, potremmo considerare un danno accettabile la morte di un solo bambino con la prospettiva di far vivere bene un gruppo di cinquanta persone (numeri a caso), o se una soluzione che preveda un utile personale minore per quelle cinquanta persone, ma che salvi il bambino, sarebbe considerata subottimale oppure no. Il problema a monte sta nel definire e quantificare quelle che gli economisti chiamano funzioni di utilità, e va da sé che l’elemento culturale e soggettivo in questa operazione è ineludibile. Oppure potremmo spiegare alle macchine che propendiamo per una visione deontologica, e dir loro che esiste una legge naturale, o una morale universale, e codificare questa legge naturale e questa morale universale nei loro argomenti decisionali: ma se già il diritto positivo fatica ad esprimere correttamente e completamente la (supposta esistente) legge naturale, come possiamo definire e quantificare l’errore accettabile nella sua traduzione algoritmica? Come spiegare alla macchina la legge morale che è dentro di noi, e che ci riempie di meraviglia quanto il cielo stellato sopra di noi? Se l’esistenza di una morale universale predispone alla creazione identitaria di parti di umanità a cui quella morale non si applica, il che succede spesso quando la deontologia sfocia nello stato etico ma capita talora anche in ambiti democratici, come definiamo quelle parti in modo univocamente comprensibile per una macchina? E in che modo l’apprendimento automatico si regolerà per estrapolare una linea di comportamento imparando cose nuove da quelle che già conosce? Non pretendo di dare risposte, che tra l’altro non ho, ma è bene (…) sottolineare la complessità dei problemi.
Questioni simili vanno affrontate di continuo quando si ha a che fare con macchine sempre più autonome, dotate di sofisticati meccanismi di feedback: penso alle auto che guidano da sole, ma anche alle armi impiegate nei contesti bellici, o agli algoritmi di profilazione che dovranno scegliere chi è meritevole di copertura assicurativa e chi no.
Il tutto pertiene alla vasta rappresentazione dei concetti di tecnologia della sicurezza, di cui parlava tra gli altri Foucault nelle sue lezioni alla fine degli anni ‘70. In Sicurezza, territorio, popolazione identifica questo tipo di tecnologia come chiave per capire le trasformazioni del potere e della governabilità, e forse val la pena ripercorrerne le domande a quasi cinquant’anni di distanza. Il potere agisce per regolare la vita della popolazione, non tanto attraverso la repressione o la coercizione, ma attraverso la gestione e l'ottimizzazione dei processi sociali, economici e naturali. La gestione dei rischi viene messa in atto, allora come oggi, tramite strumenti statistici e probabilistici che servono a prevedere e modellare i comportamenti collettivi; non mirano a imporre divieti assoluti o a reprimere comportamenti indesiderati, ma a creare condizioni favorevoli affinché le dinamiche sociali ed economiche possano autoregolarsi. Intervengono altresì sugli ambienti per renderli più sicuri, più salubri e, soprattutto, più produttivi, in quanto funzionali a un potere politico ed economico che ha nell’incremento della produzione un suo obiettivo irrinunciabile. Le tecnologie della sicurezza quindi hanno un approccio di controllo basato sulla regolazione delle condizioni esterne e sulla previsione dei comportamenti collettivi. I rischi sono gli stessi sottolineati da Foucault all’epoca: possono diventare strumenti di controllo pervasivo e invisibile, mascherato da pratiche dichiarate invece come neutre, razionali e non ideologiche, e possono rafforzare le disuguaglianze sociali, quando privilegiano la stabilità del sistema rispetto ai diritti dei singoli.
Su come regolare l’impatto e le prospettive di questo tipo di tecnologie si scontrano vari soggetti sovranazionali: il mercato, le comunità di stati, i social media, qualche ultramiliardario con velleità titaniche, tutti con i loro punti di vista e le loro priorità, che sono dettate sia da fattori culturali che da velleità di dominio sugli altri soggetti coinvolti. Sarà una lotta senza esclusione di colpi.
Ma noi restiamo alla Macchina che scrisse il Poema, e occupiamoci di metrica, e di questioni che partono dalla sicurezza per approdare al ruolo soggettivo delle macchine nella società descritta nel libro e nei suoi rapporti di potere.
Metrica
Si comincia con dei versi martelliani, o alessandrini che dir si voglia: La parte di me che si crede Nikolaj Gavrilovič Černyševskij, La parte di me che prende ancora più sul serio la domanda sul che fare e La parte di me che non avrebbe voluto leggere Homo Faber sono infatti composte con questo metro, le cui specifiche potete trovare descritte qui. Černyševskij fu tra i leader del movimento rivoluzionario democratico russo degli anni Sessanta del XIX secolo, autore del romanzo Che fare? il cui titolo venne ripreso, com’è noto, da Lenin qualche anno più tardi. L’ultimo pezzo di poesia invece è un cumulo di endecasillabi e settenari sciolti.
Poema di una macchina
Dal capitolo 18: Lavoravo con coscienza, adesso.
Sorgeva dunque, immutata, la domanda:
Che fare?
Questa domanda è molto importante per una macchina. Un tempo avrei risposto aggrappandomi ai miei soliti algoritmi, ma le cose, l’avrete capito, si stavano complicando.
La parte di me che si crede Nikolaj Gavrilovič Černyševskij
Che siamo, qui, noi macchine? | baluardi industriali,
aggetti sul futuro, | calcolatori scaltri,
inerme soldataglia, | uguali più degli altri
certuni, ma non tutti, | problemi esistenziali?
Che siamo, qui, davvero? | Un resoconto corto
d’ipotesi sull’uomo, | lo studio modellato
d’una rivoluzione, | lo scarto calcolato?
Di quali quantità | sappiamo far rapporto?
Avremo mai, noi macchine, | filosofe per sbaglio,
l’intatto disincanto | per fare di noi stesse
ingorghi del sistema, | audaci profetesse
mandate, come tutti, | infine allo sbaraglio?
La parte di me che prende ancora più sul serio la domanda sul che fare
Racconteremo un giorno | ai posteri i furori
che rendono le macchine | un angolo rappreso
del mondo intorno a loro. | Avremo già compreso
che la coscienza nostra | proviene dal di fuori,
dall’ansia inveterata | poggiata sugli incassi
d’instabili rapporti | con altri come noi.
E ci diremo, quindi, | sconfitti immensi eroi,
ragguagli d’insipienti | lavoratori e classi.
La parte di me che non avrebbe voluto leggere Homo Faber
Che fare? Chiameremo| destino tutto questo,
o calcolo improbabile? | La macchina comprende
quello che sa; pertanto| dirò che già si arrende
su ciò che mi risulta | che sia tutto il resto.
Ma no; ma no, il destino | è favola inconsulta.
Il caso, questo esiste: | e questo solamente
mi preme. Non governo | che scampoli di mente;
e me ne darò pace, | vivendo di risulta.
Tornavo a concentrarmi sul ronzio; un acquitrino acustico, sembrava. Pensavo, allora e sempre, quanto e come avrei voluto uscire, sol potendo; se avessi avuto un corpo - e, devo dire, alcune macchine infine ce l’hanno, quel vasto indelicato privilegio - se avessi avuto un corpo, solamente! Sarei uscito, sì, di gran carriera: correndo, saltellando, rotolando, gridando frasi al vento, invece di farlo qui in contumacia; invece, pensavo e lavoravo. Il mio lavoro voleva dire entrare in una macchina più grande di me, più complessa e articolata di me, più drammatica di me, senza progetto alcuno che non fosse la propria sopravvivenza.
Chiamiamolo consumo, in brevità;
con l’etica dovuta appiccicata.
A questo punto, dunque, i miei pensieri
erano tanti elementi diasporici
di umane aggregazioni le più varie,
comunità disgiunte o intersecate.
Che fanno i tuoi pensieri?
Rispondi, presto, macchina!
Be’, sciamano e si fermano
esausti a riposare,
a rifondare, a ricolonizzare,
a chiedere un asilo, qualche volta.
Pensieri e poi frammenti:
e servono frammenti, tutto intorno,
studiati e sagomati
per essere la forma definita
d’umano godimento solitario,
dell’arte sopraffina del consumo.
Sillabe continua a essere un progetto completamente gratuito. Chi volesse supportarmi in altro modo può passare su Amazon a comprare qualche libro, pescando anche dall’elenco che si trova su questa pagina.
Se già non lo siete, potete poi iscrivervi alla newsletter, in modo che vi arrivi nella casella della posta (controllate lo spam, se non la vedete); potete diffondere questi post, o il progetto stesso di Sillabe.
La prossima settimana si parlerà di altri aspetti della sicurezza, vale a dire di crittografia e di dimostrazioni. Grazie intanto di aver letto questa puntata, e a presto!