Archivio Divulgativo, Research Center

Quando l’AI costruisce software: chi controlla davvero il codice?

Reading Time: 10 minutes

Caso Studio R&D 001 – Il lavoro invisibile dietro un ecosistema digitale basato sull’Intelligenza Artificiale

Quando si parla di Intelligenza Artificiale applicata allo sviluppo software, la narrazione pubblica tende a concentrarsi quasi sempre sul risultato finale.

Un’applicazione generata rapidamente.

Un’interfaccia elegante.

Una dashboard funzionante.

Un modello capace di scrivere codice.

Un nuovo strumento che promette di ridurre tempi, costi e complessità.

Ma questa narrazione racconta solo una parte della realtà.

La parte più visibile.

Quella più semplice da mostrare.

Quella più facile da vendere.

Molto meno visibile è ciò che accade quando l’Intelligenza Artificiale viene utilizzata non per una demo, non per un prototipo isolato, ma per costruire un sistema reale, articolato, con più moduli, più funzioni, più ambienti, più livelli di accesso e requisiti concreti di sicurezza, governance e affidabilità.

È lì che l’AI smette di essere soltanto uno strumento affascinante.

E diventa un oggetto di osservazione.

Perché quando un sistema basato su AI viene utilizzato nello sviluppo reale, il problema non è più soltanto:

“L’AI sa scrivere codice?”

La domanda diventa molto più seria:

chi controlla ciò che l’AI sta effettivamente facendo?

La distanza tra la demo e il sistema reale

Una demo può funzionare anche se è fragile.

Un prototipo può impressionare anche se non è sicuro.

Una schermata può sembrare completa anche se l’architettura sottostante è instabile.

Un’applicazione reale, invece, richiede un livello completamente diverso di controllo.

Deve funzionare.

Deve essere mantenibile.

Deve essere comprensibile.

Deve essere sicura.

Deve proteggere chiavi, dati, endpoint, configurazioni, logiche di accesso e componenti sensibili.

Deve poter essere modificata senza che ogni intervento produca effetti collaterali imprevedibili.

Ed è proprio qui che lo sviluppo assistito dall’Intelligenza Artificiale mostra una delle sue contraddizioni più interessanti.

L’AI accelera.

Ma accelerare non significa governare.

L’AI produce.

Ma produrre non significa validare.

L’AI corregge.

Ma correggere non significa comprendere l’intero sistema.

L’AI può generare codice apparentemente coerente, ma questo non garantisce che quel codice sia sicuro, scalabile, conforme o adatto a un contesto professionale.

Il ciclo reale: correggi una cosa, se ne rompe un’altra

Chi lavora davvero con strumenti di AI nello sviluppo software conosce bene una dinamica ricorrente.

Si chiede al modello di correggere un problema.

Il modello interviene.

Il problema sembra risolto.

Poi si scopre che un’altra parte dell’applicazione non funziona più.

Una modifica al layout altera un componente.

Una correzione al routing compromette una sezione.

Un aggiornamento alla configurazione elimina una protezione precedente.

Un refactoring apparentemente pulito modifica logiche che non dovevano essere toccate.

Una funzione viene migliorata, ma il modello rimuove controlli, fallback o vincoli che erano stati inseriti per motivi precisi.

Il risultato è un ciclo continuo:

problema;

prompt;

correzione;

test;

nuovo problema;

nuova correzione;

nuovo test.

Questo processo non è necessariamente negativo.

Anzi, può essere estremamente produttivo.

Ma solo se esiste una supervisione umana competente.

Senza supervisione, il rischio è confondere un output funzionante con un output affidabile.

E sono due cose molto diverse.

Il punto critico: l’AI non conosce davvero il contesto

Uno dei problemi più importanti nello sviluppo assistito dall’AI è che il modello non possiede una comprensione piena e stabile del contesto progettuale.

Può leggere file.

Può analizzare porzioni di codice.

Può ricostruire intenzioni.

Può proporre soluzioni.

Ma non sempre mantiene memoria operativa di tutte le decisioni architetturali precedenti.

Non sempre comprende perché una certa protezione era stata inserita.

Non sempre distingue tra una scorciatoia utile in fase di sviluppo e una soluzione inaccettabile in produzione.

Non sempre valuta il rischio sistemico di una modifica.

Per esempio, una chiave API esposta nel frontend può essere vista dal modello come una soluzione funzionale per far lavorare rapidamente l’applicazione.

Dal punto di vista del funzionamento immediato, l’app “va”.

Dal punto di vista della sicurezza, però, quella scelta può essere gravissima.

La differenza la deve vedere l’essere umano.

Il caso delle chiavi esposte: quando l’app funziona ma non è sicura

Uno degli esempi più chiari riguarda la gestione delle chiavi di accesso.

In molti sistemi moderni, soprattutto quando si integrano API esterne, modelli generativi, database, servizi cloud o strumenti di autenticazione, le chiavi rappresentano un punto critico.

Una chiave esposta lato client può essere letta da chiunque ispezioni il codice caricato nel browser.

Questo significa che un utente non autorizzato potrebbe potenzialmente copiarla, riutilizzarla, consumare quote, generare costi, interrogare servizi o sfruttare endpoint non adeguatamente protetti.

Il problema è che, agli occhi di un osservatore superficiale, l’applicazione continua a funzionare.

Il pulsante risponde.

Il modello genera testo.

La dashboard si carica.

Il frontend appare corretto.

Ma sotto la superficie esiste una vulnerabilità.

È qui che si misura la distanza tra “funziona” e “può essere pubblicata”.

Una piattaforma professionale non può limitarsi a funzionare.

Deve essere progettata in modo da ridurre l’esposizione dei componenti sensibili.

Le chiavi non dovrebbero essere rese disponibili nel bundle pubblico del frontend.

Le chiamate più delicate dovrebbero essere mediate da componenti server-side.

Gli endpoint dovrebbero essere protetti.

Le origini autorizzate dovrebbero essere controllate.

Le richieste dovrebbero essere limitate, validate e tracciate.

Questa è architettura.

Non semplice grafica.

Non semplice codice.

Non semplice prompt engineering.

Frontend, backend e proxy: dove deve stare la logica sensibile

Uno degli errori più comuni nei progetti generati o assistiti da AI è concentrare troppa logica nel frontend.

Il frontend è ciò che l’utente riceve.

È pubblico.

È ispezionabile.

È scaricato dal browser.

Per questo non dovrebbe contenere segreti.

Non dovrebbe contenere chiavi sensibili.

Non dovrebbe essere il luogo in cui vengono prese decisioni critiche di autorizzazione.

Non dovrebbe esporre direttamente servizi che richiedono protezione.

Quando un’applicazione utilizza API AI, servizi cloud o database, è spesso necessario introdurre un livello intermedio.

Un proxy.

Una funzione server-side.

Una Cloud Function.

Un endpoint controllato.

Questo livello ha una funzione precisa:

riceve la richiesta dal client;

verifica l’origine;

valida il contenuto;

applica eventuali limiti;

invoca il servizio esterno;

restituisce la risposta al frontend;

mantiene nascosta la chiave.

Questa architettura non è un dettaglio tecnico secondario.

È la differenza tra una demo fragile e un sistema progettato con criteri professionali.

Il problema delle piattaforme AI-assisted: quando lo strumento “semplifica” troppo

Un altro aspetto critico riguarda le piattaforme che promettono di generare, modificare o pubblicare applicazioni in modo automatico.

Questi strumenti possono essere utilissimi.

Ma non sempre rispettano o conservano le protezioni introdotte manualmente.

Può accadere che un sistema AI-assisted, nel tentativo di semplificare il progetto o renderlo compatibile con il proprio ambiente di deploy, rimuova configurazioni considerate “superflue”.

Una Content Security Policy.

Un file di configurazione.

Una funzione server-side.

Una regola di esclusione.

Una struttura di cartelle.

Un riferimento a variabili d’ambiente.

Dal punto di vista del tool, la build può risultare riuscita.

Dal punto di vista della sicurezza, però, alcune protezioni possono essere state perse.

Questo è un punto molto importante.

Un ambiente AI-assisted può dichiarare che il progetto è pronto.

Ma la verifica finale non può essere delegata alla stessa AI che ha prodotto o modificato il sistema.

Serve un controllo indipendente.

Serve un audit.

Serve una revisione umana.

La falsa sicurezza dell’interfaccia bella

Una delle illusioni più pericolose nello sviluppo moderno è credere che una buona interfaccia sia sinonimo di buon sistema.

Un layout elegante comunica professionalità.

Una palette curata genera fiducia.

Una navigazione fluida dà l’impressione di solidità.

Ma la sicurezza non si vede.

La governance non si vede.

La corretta gestione delle chiavi non si vede.

La protezione degli endpoint non si vede.

La validazione degli input non si vede.

Il controllo degli accessi non si vede.

L’utente vede la superficie.

Il professionista deve controllare la struttura.

Ed è proprio questo il lavoro invisibile che raramente viene raccontato.

Dietro una bella app possono esserci decine di versioni scartate.

Dietro una schermata pulita possono esserci errori risolti, componenti ricostruiti, configurazioni corrette, vulnerabilità eliminate.

Dietro un pulsante che funziona può esserci un’intera discussione architetturale.

Il problema è che il mercato tende a premiare ciò che si vede.

La ricerca deve invece occuparsi anche di ciò che non si vede.

L’essere umano non scompare: cambia posizione

Molte narrazioni sull’AI parlano di sostituzione.

L’AI sostituirà il programmatore.

L’AI sostituirà il consulente.

L’AI sostituirà il creativo.

L’AI sostituirà il professionista.

L’esperienza reale mostra qualcosa di diverso.

L’essere umano non scompare.

Si sposta.

Da esecutore diventa supervisore.

Da produttore di codice diventa validatore di architetture.

Da semplice utilizzatore di strumenti diventa responsabile della qualità del sistema.

Da autore isolato diventa coordinatore di un processo in cui l’AI propone, modifica, accelera, ma non assume responsabilità.

Questo è un passaggio culturale enorme.

Perché significa che la competenza umana non vale meno.

Vale diversamente.

La capacità di scrivere tutto il codice da zero rimane importante.

Ma diventa altrettanto importante saper leggere codice generato da AI.

Capire cosa è stato modificato.

Individuare cosa è stato rimosso.

Verificare cosa è stato esposto.

Sapere quando una soluzione apparentemente elegante è in realtà fragile.

Questo nuovo ruolo non è ancora raccontato abbastanza.

Eppure sarà sempre più centrale.

AI Governance applicata allo sviluppo software

Quando si parla di AI Governance, spesso si pensa a documenti, policy, comitati, procedure, valutazioni d’impatto e modelli organizzativi.

Tutto questo è importante.

Ma la governance non può restare solo a livello documentale.

Deve entrare nel processo di sviluppo.

Nel codice.

Nelle configurazioni.

Nelle scelte architetturali.

Nel modo in cui vengono gestiti i dati.

Nel modo in cui vengono protette le API.

Nel modo in cui vengono registrate le decisioni.

Nel modo in cui vengono valutati i rischi introdotti da ogni modifica.

Un sistema costruito con AI dovrebbe essere accompagnato da domande precise:

quali parti sono state generate o modificate dall’AI?

quali componenti sono stati verificati manualmente?

quali dati vengono trattati?

quali chiavi o credenziali sono coinvolte?

quali endpoint sono esposti?

quali controlli sono presenti?

quali rischi residui rimangono?

chi ha validato la versione finale?

Senza queste domande, il rischio è produrre sistemi apparentemente innovativi ma privi di reale accountability.

Privacy by Design e Secure by Design non sono slogan

Privacy by Design e Secure by Design vengono spesso citati come principi generali.

Nella pratica, però, diventano concreti solo quando guidano decisioni tecniche.

Dove vengono salvati i dati?

Quali dati sono davvero necessari?

Quali input vengono inviati a un modello AI?

Le richieste sono loggate?

Gli utenti vengono informati?

Le chiavi sono protette?

Gli endpoint sono esposti?

Esistono limiti di utilizzo?

Il sistema può essere abusato?

Un modello generativo può ricevere informazioni eccedenti?

Le risposte vengono filtrate?

Le configurazioni sono coerenti tra sviluppo e produzione?

Queste non sono domande astratte.

Sono domande operative.

E ogni progetto AI-assisted dovrebbe affrontarle.

Il problema è che spesso l’AI accelera la fase creativa, ma non garantisce automaticamente la fase di controllo.

Anzi, proprio perché accelera, può far passare inosservate modifiche delicate.

Per questo il controllo umano diventa ancora più necessario.

Benchmark, annunci e realtà operativa

Il dibattito pubblico sull’AI è dominato dai benchmark.

Quale modello è più veloce.

Quale modello è più economico.

Quale modello supera l’altro.

Quale Paese arriva prima.

Quale azienda annuncia la nuova generazione di sistemi.

Queste informazioni sono rilevanti.

Ma non bastano.

Per un’organizzazione, la domanda decisiva non è soltanto quale modello sia più performante.

La domanda decisiva è:

come si comporta quel sistema quando entra nei processi reali?

Come modifica il lavoro?

Quali errori introduce?

Quali controlli richiede?

Quali rischi amplifica?

Quali competenze diventano necessarie?

Quali responsabilità restano umane?

Questa è la parte meno raccontata.

Ed è anche la più importante.

Perché l’innovazione non si misura solo in termini di potenza.

Si misura in termini di affidabilità, governo, controllo e capacità di integrazione nei processi reali.

La responsabilità non è automatizzabile

Un punto deve essere chiaro.

L’AI non assume responsabilità.

Non firma un audit.

Non risponde davanti a un cliente.

Non valuta autonomamente la conformità normativa.

Non decide il livello di rischio accettabile per un’organizzazione.

Non garantisce che una chiave non sia stata esposta.

Non si assume le conseguenze di una configurazione errata.

La responsabilità resta umana.

Questo non significa ridurre il valore dell’AI.

Significa collocarla correttamente.

L’AI può essere un acceleratore straordinario.

Può aumentare la produttività.

Può aiutare a esplorare soluzioni.

Può generare alternative.

Può supportare la scrittura del codice.

Può suggerire architetture.

Ma la decisione finale deve rimanere governata.

E governare significa comprendere.

Non accettare passivamente.

Il nuovo professionista: AI Supervisor

Da questa esperienza emerge una figura professionale destinata a diventare sempre più rilevante.

Non semplicemente sviluppatore.

Non semplicemente DPO.

Non semplicemente consulente.

Non semplicemente prompt engineer.

Ma un professionista capace di operare all’intersezione tra:

sviluppo software;

cybersecurity;

data protection;

AI governance;

cloud architecture;

risk management;

compliance;

verifica del codice generato.

Potremmo chiamarlo AI Supervisor.

O AI Governance Developer.

O AI Systems Auditor.

Il nome è ancora aperto.

Ma la funzione è già chiara.

È la persona che osserva il comportamento dell’AI mentre produce sistemi.

Che verifica se il risultato è coerente.

Che controlla cosa è stato modificato.

Che individua vulnerabilità.

Che documenta decisioni.

Che traduce l’esperienza tecnica in conoscenza organizzativa.

In un mondo in cui l’AI produrrà sempre più output, il valore umano si sposterà sempre di più sulla capacità di controllo, interpretazione e governo.

Il caso Glam Aura: dall’applicazione al laboratorio

Lo sviluppo del Glam Aura Digital Intelligence Ecosystem ha reso evidente questo passaggio.

All’inizio il lavoro poteva sembrare quello di costruire applicazioni.

Poi è diventato qualcosa di diverso.

Un laboratorio di osservazione.

Ogni errore ha mostrato un comportamento.

Ogni correzione ha aperto una domanda.

Ogni problema di sicurezza ha imposto una scelta architetturale.

Ogni modifica dell’AI ha richiesto una verifica.

Ogni deploy ha rappresentato un test.

In questo senso, lo sviluppo non è stato solo produzione tecnica.

È diventato Ricerca & Sviluppo applicata.

Non perché si sia lavorato su un esempio teorico.

Ma perché il laboratorio era il progetto stesso.

Un ecosistema reale.

Con pagine reali.

Applicazioni reali.

Sicurezza reale.

Problemi reali.

Decisioni reali.

Perché raccontare il lavoro invisibile

Raccontare questo lavoro è importante per almeno tre ragioni.

La prima è culturale.

Dobbiamo superare l’idea che l’AI produca valore senza controllo.

La seconda è professionale.

Servono nuove competenze capaci di verificare, validare e governare i sistemi prodotti con AI.

La terza è organizzativa.

Le imprese che adotteranno strumenti AI dovranno imparare a non confondere l’automazione con la responsabilità.

Il futuro del lavoro non sarà semplicemente fatto di persone sostituite da modelli.

Sarà fatto di processi ibridi.

Umani e AI.

Automazione e controllo.

Velocità e verifica.

Creatività e governance.

Chi saprà governare questa integrazione avrà un vantaggio reale.

Chi si limiterà a delegare, invece, rischierà di costruire sistemi fragili dietro interfacce bellissime.

La finestra sul futuro

Ogni tecnologia promette di portarci avanti.

Ma non tutte le organizzazioni imparano a guardare davvero cosa sta accadendo.

Il compito del Research Center non è celebrare l’Intelligenza Artificiale.

Non è nemmeno demonizzarla.

È osservarla.

Capirla.

Metterla alla prova.

Studiare i suoi effetti nei processi reali.

Trasformare l’esperienza in conoscenza.

Perché dietro ogni applicazione esiste una domanda più grande:

chi l’ha progettata?

chi l’ha verificata?

chi ne governa i rischi?

chi ne comprende i limiti?

chi risponde delle sue conseguenze?

Sono queste le domande che determinano la qualità dell’innovazione.

Non solo la bellezza dell’interfaccia.

Research Center Insight

L’Intelligenza Artificiale sta modificando profondamente il modo in cui costruiamo software, piattaforme e sistemi digitali.

Ma l’aspetto più rilevante non è soltanto la capacità dell’AI di generare codice.

È la necessità di sviluppare nuove forme di supervisione, verifica e governance.

Dietro ogni applicazione apparentemente semplice esiste un insieme complesso di decisioni tecniche, architetturali, normative e organizzative.

Ogni chiave deve essere protetta.

Ogni endpoint deve essere controllato.

Ogni modifica deve essere compresa.

Ogni automatismo deve essere verificato.

Ogni sistema deve essere ricondotto a una responsabilità umana.

Il futuro dell’AI non dipenderà soltanto dalla potenza dei modelli.

Dipenderà dalla capacità delle organizzazioni di governarli.

Glam Aura racconta il presente e poi apre una finestra sul futuro.

Quella finestra è il Research Center.

Conclusione

La domanda non è più se l’AI possa aiutarci a costruire software.

La risposta è sì.

La domanda vera è un’altra.

Siamo in grado di controllare ciò che l’AI costruisce?

Questa domanda sarà sempre più centrale nei prossimi anni.

Per gli sviluppatori.

Per i DPO.

Per i responsabili cybersecurity.

Per i manager.

Per i consulenti.

Per le imprese.

Per le istituzioni.

Perché l’innovazione che non viene compresa non è progresso.

È rischio differito.

E l’AI, lasciata senza controllo, non elimina il lavoro umano.

Lo rende semplicemente invisibile.

Il compito del Research Center di Glam Aura sarà proprio questo:

rendere visibile quel lavoro.

Osservarlo.

Documentarlo.

Trasformarlo in conoscenza.

Perché il futuro non si governa guardando soltanto ciò che appare sullo schermo.

Si governa comprendendo tutto ciò che accade dietro.

Se l’Intelligenza Artificiale genera il codice, chi governa davvero il sistema?

Ogni caso studio del Glam Aura Research Center si conclude con una domanda aperta, pensata per stimolare la riflessione sulle trasformazioni in corso tra Intelligenza Artificiale, governance, sicurezza e innovazione.


Scopri di più da Glam Aura: Digital Intelligence Ecosystem

Abbonati per ricevere gli ultimi articoli inviati alla tua e-mail.

Informazioni sull'autore

Marialuisa Portaluppi, Founder & Director di Glam Aura Observatory Hub. DPO e Analista Tecnico di Compliance, dirige l'Osservatorio indipendente su Fashion Privacy Tech, Data Protection e Governance del sistema moda. Lead Auditor ISO/IEC 27001, ISO 9001 e UNI/PdR 125:2022 (Parità di Genere). Responsabile della Governance dei dati e dei flussi tecnici per il settore Fashion & Luxury.

Rispondi