Guida avanzata a ChatGPT: prompt engineering e design per output

12' di lettura

C'è grande dibattito intorno al tema dell'intelligenza artificiale e delle nuove frontiere del Web3.0. Gran parte del merito è da attribuire all'incredibile ascesa di Chat GPT, modello di intelligenza artificiale generativa realizzato da OpenAI che in meno di due mesi dal lancio ha raggiunto i 100 milioni di utenti diventando l'app consumer con la più rapida crescita di sempre.

I segreti del suo successo li sintetizziamo in tre punti chiave:

• eccezionale semplicità d'utilizzo (UX semplicissima);
• generazione di risultati di eccezionale qualità ("Hero" content);
• gratuità (Chat-GPT può essere utilizzato gratis).

Non è casuale che il portale ResumeBuilder - intervistando 1.187 leader aziendali statunitensi - ha rilevato come la disruption di ChatGPT sia ormai inarrestabile: il 91% dei CEO USA cerca lavoratori con esperienza in ChatGPT e il 30% di essi afferma di avere urgenza di trovare esperti di ChatGPT. 

Abbiamo scritto un'introduzione a ChatGPT in un pezzo dedicato, in questo articolo, invece abbiamo l'ambizione di presentarci come una guida avanzata sull'utilizzo di tutte le potenzialità di ChatGPT , all'introduzione di concetti complessi come LLM, machine learning, prompting, prompt engineering e design e tanto altro.

Vi lasciamo un indice degli argomenti per districarvi tra i tanti argomenti che verranno trattati:

1. Breve introduzione a Chat GPT e definizione di LLM

2. Dare istruzioni alla macchina: il "prompting"

3. Comprendere i punti deboli di Chat GPT per scrivere prompt efficaci

4. La potenza di GPT e degli LLM nell'elaborazione di informazioni non strutturate

5. Bypassare il limite di caratteri di input e output in ChatG

6. Tecniche avanzate di prompting

🐙 Clicca qui sotto e scopri come affrontare la Digital Transformation con Digital Dictionary!

1. Breve introduzione a Chat GPT e definizione di LLM

Chat GPT è un modello di IA basato su una rete neurale artificiale addestrata su enormi quantità di dati testuali, in modo che possa riconoscere schemi e costruzioni linguistiche. Il prompting sfrutta questa capacità di riconoscimento per fornire al sistema di IA una serie di parole e frasi chiave, dalle quali questo può generare una risposta con un rischio di errore minore e una qualità di output maggiore. Abbiamo scritto un'introduzione più approfondita all'utilizzo di ChatGPT in un articolo dedicato (QUI).

L'errore principale che si fa quando si parla di Chat GPT è confonderlo con un motore di ricerca. ChatGPT - nonché il suo genitore GPT - è un LLM, Large Language Model, un modello di linguaggio avanzato che utilizza tecniche di deep learning per generare testo coerente e plausibile.
Chat GPT può essere utilizzato per creare contenuti, completare frasi, rispondere a domande, tradurre testo e altre funzionalità avanzate di elaborazione del linguaggio naturale, non per ricercare informazioni all'interno della sua conoscenza pregressa.

I motori di ricerca sono utilizzati per trovare informazioni online in base alle parole chiave inserite, mentre un LLM è utilizzato principalmente per generare contenuti e rispondere a domande utilizzando il linguaggio naturale.

È pertanto improprio - poi si può comunque fare, ma i risultati non saranno di pari qualità - utilizzare Chat GPT come un motore all'interno del quale ricercare informazioni. Bisogna intenderlo come una macchina (o meglio un "modello di intelligenza artificiale generativa") molto potente in grado di elaborare grandi moli di informazioni con grande affidabilità.

ChatGPT è abbreviativo di "Chatbot-GPT" e, in quanto tale, si presenta con un'interfaccia simile a quella delle app di messaggistica: elemento principale della pagina sarà dedicato allo spazio per la conversazione con il modello, mentre a sinistra sarà presente una sidebar con le ultime conversazioni iniziate col modello. Come racconteremo anche più avanti, infatti, il modello conserva una piccola memoria delle conversazioni avute, in grado anche di influenzare le risposte future.

La complessità dietro GPT è notevole e per questo motivo l'AI non può mai essere abbandonata a sé stessa aspettandosi un output adeguato: leggere, revisionare e integrare l'output del modello è fondamentale tanto quanto riuscire a scrivere un prompt (input) efficace.

Abbiamo parlato in un articolo dedicato al fenomeno delle hallucination (ne abbiamo parlato in un articolo dedicato QUI) che colpiscono le Ai - per cui, in breve, esse possono incorrere nella generazione di risposte viziate da informazioni sbagliati e non supportate da dati reali -, ma la "minaccia" più importante per un LLM arriva direttamente dal consumatore/usufruitore e alla sua generale incapacità di dialogare con il modello, che si traduce nella scrittura di prompt insufficienti, senza "contesto" e/o in grado di fuorviare la macchina.

Questa guida ha proprio lo scopo di capire la differenza tra un prompt buoni e modesti, aiutando a scriverne di corretti e in grado di permettere la generazione di output affidabili, coerenti e di qualità.

2. Dare istruzioni alla macchina: il "prompting"

Con "prompting" si definisce l'arte di costruire input adeguati e in grado di fornire istruzioni efficaci ad un modello, mettendolo in condizione di generare risposte coerenti e di qualità rispetto alla richiesta.

Il ruolo del prompt è molteplice:

• fornire informazioni essenziali;
• definire il "contesto" (cioè il perimetro entro cui il modello deve operare ed elaborare le informazioni);
• fornire istruzioni circa l'output da generare;
• fornire esempi o chiarificare le risposte che ci si attende (o meno) di ottenere.

Fondamentalmente, è nota la correlazione esistente tra prompt lunghi e output generati di maggior qualità - nonché più lunghi. Il prompt però non deve obbligatoriamente essere lungo, quanto piuttosto essere costruito affinché il margine di errore del modello si riduca al minimo.

Fondamentale è l'introduzione del concetto di contesto.Esso rappresenta tutti gli elementi e le informazioni che orbitano attorno ad una determinata richiesta, nonché necessariamente attorno all'output. Fanno parte del contesto elementi come il target di riferimento, il canale di comunicazione pensato, il tono di voce, dettagli territoriali, limiti, barriere, requisiti da rispettare da parte del modello, ... e qualsiasi altra informazione in grado di descrivere lo scenario di inserimento del prompt.

In termini di lunghezza, a Giugno 2023 ChatGPT ha un limite tecnico di 500 parole o 4.000 caratteri nella generazione di output e di circa 15.000 caratteri massimo all'interno del singolo prompt.

Dicevamo, le istruzioni possono essere brevi o lunghe a seconda della complessità della richiesta. Forniamo di seguito alcuni esempi di prompting su Chat GPT:

Se abbiamo bisogno di imprimere uno stile alla risposta della macchina si può chiedere a Chat GPT di farlo ("immagina di dover rispondere ad un avvocato...", "usa uno stile colloquiale...", "considera che sarà scritto nella letterina di compleanno di una bambina di 4 anni...").  Mai provato a chiedere a Chat GPT di spiegare un concetto a ritmo di rap? Il risultato può essere esilarante... 

Se cerchiamo un output più leggibile, possiamo porre la stessa domanda ma chiedere un elenco puntato, oppure una tabella come risultato della risposta.

La malleabilità dello strumento è unica e totale, sta a noi (nelle veci di prompt designer) trovare il giusto prompt in modo da scrivere l'input in grado di soddisfare le nostre esigenze.

3. Comprendere i punti deboli di Chat GPT per scrivere prompt efficaci

Sfatiamo subito un mito: Chat GPT e le intelligenze artificiali generative non sono perfette nel restituire output.

Comprendere i punti deboli alla base della tecnologia delle AI generative diventa dunque cruciale per scrivere prompt efficaci. Non a caso, le tecniche più efficaci di prompting si basano proprio sull'aggiramento dei limiti dei modelli di AI per cercare di andare incontro allo strumento, fornendogli informazioni utili a ottimizzare l'output.

I principali punti deboli di Chat GPT comprendono:

Comprensione del contesto limitata: ChatGPT è molto bravo a generare testo in base al contesto dato in input, tuttavia può avere difficoltà a comprendere completamente il contesto di una conversazione a causa della sua natura di modello statistico. Ciò può portare a risposte imprecise o errate.

Mancanza di conoscenza specifica: ChatGPT non ha accesso a conoscenze specifiche che non sono presenti nel corpus di addestramento. Ciò significa che potrebbe non essere in grado di fornire risposte accurate su argomenti molto specialistici o di nicchia.

Risposte incoerenti: in alcuni casi, ChatGPT può generare risposte incoerenti o contraddittorie. Questo potrebbe essere dovuto al fatto che il modello non riesce a comprendere la logica della conversazione o a mantenere una coerenza tra le risposte.

Bias di dati: i dati di addestramento utilizzati per creare ChatGPT possono contenere bias culturali o di genere, che possono influenzare le risposte generate dal modello.

Mancanza di creatività: ChatGPT non è in grado di creare idee originali o innovazioni in modo autonomo. Il suo scopo principale è quello di generare testo basato su ciò che ha appreso dal corpus di addestramento.

Soprattutto in termini matematico-logici, Chat GPT e altre AI generative rischiano spesso di incorrere in errore. Prompt anche semplici (per una calcolatrice) come

possono generare risposte sbagliate, proprio perché, in quanto LLM che lavorano in logica statistica, il calcolo computazionale entra in conflitto con la natura dell'output naturale del modello (statistico, appunto). Per noi esseri umani è un interrogativo molto semplice, ma per un modello - per farla semplice - non è immediato dover passare dal fornire "output in ottica statistica" ad "output in ottica rigida/aritmetica".

Ecco uno schema di come ragiona il modello di AI generativa:

Il nostro ruolo in quanto scrittori di prompt è quello di semplificare il lavoro ed evitare gli errori dell'AI. Vediamo ora qualche tecnica.

4. La potenza di GPT e degli LLM nell'elaborazione di informazioni non strutturate

Le AI generative sono fantastiche per svolgere data analysis, se correttamente istruite, ma come se la cavano con dati non strutturati (quindi non tabellari, non numerici, caotici, ...)?

La risposta è molto bene.
Se, ad esempio, vogliamo inviare una mail ad una persona che non conosciamo per provare a fare buona impressione e le uniche informazioni che abbiamo a disposizione sono quelle che riusciamo a raccogliere dal suo profilo Linkedin, modelli come ChatGPT possono essere eccezionali per intavolare una prima bozza di email.

Partiamo dunque dal copia e incollare le informazioni che abbiamo a disposizione all'interno del nostro prompt, riportando brutalmente tutte le informazioni di questa persona e ponendo la richiesta al modello.

Ecco un esempio:

Ecco l'output realizzato dal modello:

Gli LLM sono degli organizzatori e dei rielaboratori di informazioni in grado di fornire output che presentano solo il succo essenziale del discorso, elaborato secondo i dettagli e le caratteristiche volute. 

Le applicazioni di questa potenzialità sono innumerevoli. Come per tutte le applicazioni dell’AI, però, è importante non lasciare mai tutto il lavoro esclusivamente all’intelligenza artificiale: l’output dev’essere rivisto, revisionato e migliorato dall’uomo per essere al 100% affidabile.

In tantissimi contesti aziendali, come è intuibile, Chat GPT rappresenta una vera e propria manna per produttività e miglioramento dei processi interni.

In certi casi è possibile richiedere a ChatGPT di riassumere opere famose senza o fornire informazioni aggiuntive dal momento che sono contenuti compresi nella sua memoria di base. Ovviamente, questo concetto non si applica a testi di nicchia - e vale comunque sempre la pena di testare se innanzitutto GPT ha nel database informazioni in materia...

Prendendo l'esempio di "Romeo e Giulietta", si può chiedere a ChatGPT:

In alternativa, se il testo che hai bisogno di riassumere non è presente nel suo database (è una ricerca che hai realizzato tu, una mail o un messaggio ricevuto, ...) si può digitare:

5. Bypassare il limite di caratteri di input e output in ChatGPT

Sebbene ChatGPT e le ai generative possano fornire output molto lunghi, a volte può capire che il modello interrompa bruscamente la risposta fornita, troncando, letteralmente, l'output senza apparente motivo.

È colpa del limite di caratteri di risposta imposto.

Per ChatGPT questo limite è impostato su circa 4096 caratteri di output, ma esistono vari approcci semplici per superare questo limite di "fabbrica":

6. Tecniche avanzate di prompting

Arrivati a questo punto si può alzare l'asticella. Vediamo ora alcune tecniche leggermente più complesse per sfruttare il prompt engineering per generare prompt in grado di fornire contesti sempre più funzionali ai vari modelli di LLM.

Ecco le tecniche che vedremo:

• Comprendere il concetto di Zero-Shot Prompting
• Role Prompting
• Q&A Format
• Priming effect
• Few-Shot Prompting
• Chain of Thought (CoT) Prompting
• Zero-Shot Chain of Thought
• Autocoerenza
• Conoscenza Generata
• Tree of Thought Prompting

6.1. Comprendere il concetto di Zero-Shot Prompting

Con Zero-Shot Chain of Thought (Zero-shot-CoT) si intende la generazione di prompt che basano la risposta semplicemente sulla conoscenza "standard" del modello, senza dunque effettuare affinamento.

Si tratta della stragrande maggioranza dei prompt generati dagli utenti comuni, in pratica, nonché i più fragili e meno precisi.

Un esempio è il seguente:

Pur senza fornire al modello alcun esempio o riferimento, l'LLM è stato in grado di comprendere il concetto di Sentiment e fornire una risposta coerente "zero-shot" (che si potrebbe tradurre con "senza suggerimenti").

Ne parliamo perché, generalmente, si tratta di una bad practice, nonché ciò che il prompt engineering e il prompt design cercano di elevare

Arricchire il prompt con istruzioni, dettagli e un contesto ha dimostrato di migliorare l'output che viene generato dal modello. Quando questo approccio "zero-shot" non funziona (spoiler: succederà spesso), si consiglia di fornire dimostrazioni o esempi.

Introduciamo quindi le tecniche di Few-Shot Prompting e Chain of Thought (CoT).

6.2. Role Prompting

Una tecnica tanto efficace quanto semplice consiste nell'assegnare un ruolo a ChatGPT. Il role prompting fornisce importanti informazioni in termini di contesto e spiana la strada all'interpretazione dell'input da parte dell'IA.

Un esempio potrebbe essere quello di iniziare la propria richiesta con "Sei un medico" o "Sei un avvocato" per chiedere all'IA di rispondere a qualche domanda medica o legale. È la traduzione dall'inglese del comando “act as”.

6.3. Q&A Format

Il Q&A format, dall'inglese question and answer ("domanda e risposta"), è un secondo approccio, molto sistematico, che si può utilizzare quando si sta ponendo una domanda particolarmente specifica all'AI. Si costruisce semplicemente inserendo un marcatore a inizio domanda, sia per chi pone la domanda che per la macchina che dovrà rispondere, come in questo caso:

D: Qual è la capitale della Francia?

U:

Ripetiamo il concetto: per noi esseri umani è palese che "Qual è la capitale della Francia?" sia una domanda e che richieda come risposta una città specifica, ma per un LLM non è banale. È solo grazie al machine learning e al tempo che Chat GPT, è stato in grado di affinare sempre di più le sue capacità capendo l'intento di ricerca dietro al prompt e la risposta da fornire ("Parigi"). 

Utilizzare questo formato di scrittura del prompt non lascia dubbi al modello, che capisce che quello che ci aspettiamo è una risposta a quella specifica domanda.

A volte però non basta. Un prompt ancora migliore è teoricamente il seguente:

Lo vedremo anche nei prossimi paragrafi, ma quello che si è cercato di fare qua è stato fornire degli esempi concreti di cosa ci aspettiamo come risposta dal modello. In termini tecnici abbiamo fornito un contesto al nostro prompt.

Il modello si trova dunque a dover interpretare il nostro interrogativo a partire da degli esempi. In quanto AI basata sul machine learning si tratta di una manna: l'errore di interpretazione si riduce notevolmente. In questo caso la risposta "Parigi" sarà pressoché sempre scontata.

6.4. Priming effect

Dato che ChatGPT è dotato di memoria, questo fattore può essere sfruttato attraverso il cosiddetto "effetto priming", che può tradursi in "effetto addescamento".

Per capirci: se cominciassimo una conversazione affrontando il tema dei "liquori" e poi chiedessimo a ChatGPT informazioni su "attività che si possono fare nel tempo libero", è statisticamente più probabile che l'output generato dal modello possa includere una voce "andare a fare una degustazione di rum presso una qualche cantina".

Siamo in grado di influenzare gli output con le nostre conversazioni precedenti.

Sfruttando questa caratteristica come un vantaggio, è possibile utilizzare la chat con ChatGPT come una repository di informazioni da cui la macchina potrà prendere spunto per ottimizzare gli output successivi.

Esploriamo meglio il concetto, con un'applicazione avanzata.

Facciamo l'esempio che vogliamo chiedere un parere filosofico a ChatGPT generico. Se chiedessimo "Qual è la tua area di studi filosofici preferita?" la risposta potrebbe essere incredibilmente aleatoria, mentre noi abbiamo bisogno che la risposta sia simile a quella di un professore esperto che parla con uno studente non troppo alle prime armi.

Sfruttiamo quindi l'effetto priming per dare pesi e definizioni alla macchina prima di richiedere un output. 

Fornire una definizione significa semplicemente scrivere qualcosa come:

oppure

A questo punto potrei aver bisogno di dare altre definizioni chiare alla macchina per evitare che si incappi in errori di contestualizzazione e di sinonimia. Posso inserire nello stesso prompt quanto segue:

Notare il maiuscolo: va molto bene fornire un esempio di applicazione delle istruzioni appena impartite, come vedevamo nel precedente paragrafo.

Una volta sazi del prompt scritto possiamo sancire il contenuto e sottoporlo al modello scrivendo come ultima frase:

Quest'ultima frase è molto importante e permette di saggiare la qualità della prompt inserita. Infatti, dall'output generato dal modello potremo subito capire se le istruzioni sono state chiare o meno nel momento stesso in cui la sua risposta dovesse essere in qualche modo diversa dal semplice "si".

Attenzione: l'effetto priming funziona bene se si usa l'inglese. È suggeribile quindi tradurre il contenuto così realizzato prima di darlo in pasto al modello.

Questo è ciò che viene fuori:

E questa la risposta successiva:

È molto interessante comparare le risposte fornite sfruttando l'effetto addescamento e senza per capire le nette differenze che può generare nell'output GPT se non correttamente contestualizzato:

Si può notare facilmente che la risposta condivide alcuni aspetti con la prima - ad esempio, le domande che offre come esempi per vari campi sono simili - ma fornisce un contesto più profondo, rinuncia al formato dell'elenco a favore di paragrafi coerenti e collega esempi alla vita reale. Molto meglio, no?
Incorporare i primer (“esche”) nei propri prompt è un modo più avanzato di interagire con i LLM.

6.5. Few-Shot Prompting

Fidatevi se vi diciamo che i prompt "zero-shot" hanno vita breve all'interno degli LLM e portano con sé numerose problematiche dal momento che non forniscono informazioni circa il contesto all'interno del quale dovrebbe operare il modello. Le risposte risultano spesso errate o comunque inconsistenti e/o insufficienti.

La tecnica Few-Shot può essere utilizzata come tecnica per introdurre al LLM delle prime informazioni di contesto per ottimizzare il proprio output. La tecnica opera sfruttando il condizionamento, inducendo il modello a seguire indicazioni da noi fornite influenzando gli output che verranno generati in futuro.

Un normale prompt "zero-shot" come:

viene dunque rivisto in questa maniera:

Così facendo stiamo fornendo un contesto e degli esempi di corretto ragionamento da seguire per rispondere al nostro interrogativo. Dato che abbiamo portato tre esempi, tecnicamente, questo prompt si può definire "Three-Shot".

Sembrerebbe tutto fantastico, ma in realtà la Few-Shot non è ancora una tecnica perfetta, specialmente quando si ha a che fare con attività di ragionamento più complesse.

Proviamo a dimostrare il concetto con un prompt particolare.

Partiamo da un prompt zero-shot:

l'output che genera Chat GPT è il seguente:

Sfatiamo dunque subito il mito che anche prompt "zero-shot" possano funzionare. Proviamo a vedere cosa succede aggiungendo esempi (Few-Shot) per vedere se migliorano i risultati.

l'ouput, sorprendentemente è:

Non ha funzionato. Ecco dimostrato che il Few-Shot prompting non è sufficiente ad ottenere risposte affidabili per questo tipo di problema di ragionamento.

L'esempio precedente fornisce informazioni di base sulla risposta richiesta, ma il ragionamento effettivo richiederebbe alcuni passaggi di ragionamento in più. In altre parole, potrebbe essere utile suddividere il problema in ulteriori micro-passaggi per istruire ulteriormente il modello ad una risposta più consistente.

In altre parole, serve introdurre la prossima tecnica, quella della "catena di pensiero" (Chain of Thought), una delle tecniche di prompting più efficaci.

6.6. Chain of Thought (CoT) Prompting

Il Chain of Thought (CoT) è un metodo di prompting sviluppato di recente - di cui si è parlato tanto durante l'ultimo Google I/O 2023 - che forza il LLM a mostrare il passaggio logico sul quale ha costruito il ragionamento dietro al suo output.

Detto così potrebbe sembrare una sciocchezza, ma come spesso accade le soluzioni più semplici sono quelle più efficaci. Chiedere - o mostrare - al modello i passaggi logici per iscritto lo costringe a porre particolare attenzione alle micro-task celate dietro la risoluzione di un interrogativo, e riduce drasticamente l’errore nell’output.

Ecco un esempio di prompt standard (a sinistra) e uno con CoT (a destra):

Giochi di parole, rompicapi, filastrocche, … ovunque ci sia un sotterfugio linguistico o comunque laddove l'AI generativa mostri una difficoltà nel restituire l'output (come nell'esempio precedente di Few-Shot Prompting), la Chain of Thought può rivelarsi un salvavita.

Facciamo un secondo esempio partendo dal Few-Shot Prompting - che rimane comunque una valida tecnica che può continuare ad essere utilizzata:

In questo caso l'output è sbagliato. Per qualche motivo, durante l'elaborazione dell'output il modello ha interpretato male l'input di partenza generando un errore.

Potere alla Chain of Thought!
Ecco come la CoT può venire in nostro aiuto per scrivere un prompt più efficace:

Il trucco, insomma, è guidare l’AI verso la soluzione istruendola sui processi logici effettuati per arrivare alla risposta corretta. Fornito qualche esempio essa diventa autonoma. È la logica del machine learning e del training, d'altronde.

Si tratta di una tecnica estremamente efficace, ma possono esistere dei casi in cui fisiologicamente la sua applicazione risulti particolarmente complessa.

Immaginiamo casi in cui l'LLM ci serve proprio per capire il ragionamento richiesto per il completamento di una task: è chiaramente impossibile fornire al modello le informazioni che stiamo cercando.

Per ovviare a questo problema esistono tecniche specifiche come la Zero-Shot Chain of Thought

6.7. Zero-Shot Chain of Thought

Quindi, non possiamo dare suggerimenti (siamo dunque nel perimetro del "Zero-Shot") ad una catena di pensiero (Chain Of Thought), come possiamo risolvere una task che richiede un prompt più articolato da fornire al modello?

Esattamente con lo Zero-Shot Chain of Thought, una tecnica che permette di far elaborare direttamente al modello il percorso logico da seguire.

La genialata - perché di colpo di genio si tratta - è frutto del lavoro di Kojima et al. 2022 che per risolvere questa problematica hanno introdotto una tecnica talmente essenziale e semplice da essere disarmante: basta aggiungere al prompt di cui serve l'esplicitazione del processo logico la frase "Let's think step by step".

Un'altra tecnica molto banale, ma estremamente efficace: l'AI generativa in questo modo è forzata a interrogarsi circa i micro-passaggi necessari a rispondere alla domanda. I benefici di questo escamotage sono presto riportati all'interno del paper di Kojima et al. 2022: errori di output ridotti di decine di punti percentuale (!); output più precisi, complessi e consistenti.

L'attivazione della tecnica può effettuarsi scrivendo la formula in vari formati come:

Abbiamo testato la funzione e funziona correttamente anche combinando italiano e

Ma vediamo nel dettaglio un esempio concreto:

Questo Zero-Shot Prompt genera un output erroneo.

A questo punto è possibile applicare la tecnica di Few-Shot Prompting per fornire degli esempi di ragionamento, ma proviamo a tentare l'approccio Zero-Shot-CoT facendo ragionare  "step by step" il modello per vedere cosa succede.

L'input quindi cambia così:

L'ouput è sorprendente:

È successo esattamente quanto descritto in precedenza: il modello è stato costretto ad esplicitare i passaggi e questa semplice tecnica - senza che noi avessimo dovuto aggiungere ulteriori informazioni di contesto al prompt di input - gli hanno permesso di eliminare l'errore nell'output.

Sbalorditivo, no?

Lo Zero-shot-CoT può essere utilizzato anche nell'elaborazione di prompt composti, cioè costituiti dalla costruzione di due richieste e output separati.

Nell'immagine sottostante, a sinistra viene in primis generato un output in "stile" Chain of Thought (qui "ragiona step by step" fa costruire direttamente al LLM il ragionamento), che poi viene inserito all'interno di un secondo prompt (quello in alto a destra) che raccoglie l'output dal primo prompt (incluso il primo prompt stesso).

In termini tecnici il prompt a destra si definisce "self augmented prompt" (prompt auto-aumentato).

Intero processo di Zero-Shot-Chain-Of-Thought (Kojima et al.)

6.8. Autocoerenza

Cambiamo contesto. Facciamo finta di trovarci in una situazione in cui non siamo in grado di stabilire quale risposta sia corretta, né quale ragionamento sia giusto da seguire. Ciò può succedere con alcuni problemi matematici o in contesti che richiedono analisi di dati.

La tecnica che può venire in aiuto si definisce "Self-Consistency" (auto-coerenza) implica il campionamento di varie risposte a partire da Few-Shot Chain of Thought Prompting per poi utilizzare gli stessi output per stabilire quale sia la risposta migliore (più coerente) all'input iniziale.

Proposta da Wang et al. (2022), l'autoconsistenza:

Self-consistency aims to replace the naive greedy decoding used in chain-of-thought prompting (Wang et al., 2022

L'autoconsistenza campiona una serie diversificata di percorsi di ragionamento, facendo leva sull'intuizione che un problema di ragionamento complesso in genere può essere risolto adottando soluzioni molto differenti tra loro. Si fornisce al modello un prompt con all'interno "coppie" di domande-risposte o input-output, ciascuna di esse correlate ad una precisa descrizione del processo di pensiero (utilizzando se serve la tecnica di Chain of Thought) che la costituisce.

Per sfruttare l'auto-coerenza del LLM serve svolgere, dunque, alcuni passaggi:

Utilizzando alcuni prompt di esempio presi dal paper di Wang et al. 2022:

Il terzo output è il seguente:

Decifrare la risposta finale (quella più coerente) richiede alcuni passaggi (Wang et al. (2022)) ma, per semplicità, è già possibile vedere come stia già emergendo una risposta statisticamente più frequente, che potrebbe effettivamente essere quella definitiva.

6.9. Conoscenza Generata

Un'altra tecnica funzionale per risolvere problematiche complesse è utilizzare il cosiddetto approccio di "Generated Knowledge" (Conoscenza generata).

L'idea alla base dell'approccio è quello di chiedere al LLM di generare informazioni potenzialmente utili su una data domanda/richiesta prima di porre la domanda effettiva su quell'argomento.

In poche parole si tratta di far generare il contesto direttamente al modello, per poi utilizzarlo all'interno di un secondo prompt ("prompt composto"). Ciò aiuterà il LLM a scrivere un contenuto più completo e arricchito di informazioni.

Per mettere in pratica questa tecnica esistono due approcci:

Single prompt approach

Ovvero utilizzando un singolo prompt. Nello stesso messaggio, dunque, si digitano sia la domanda che le informazioni da utilizzare per sviluppare il contenuto:

Dual prompt approach

Ovvero utilizzando più di un prompt, nello specifico almeno due. In un primo input chiederemo informazioni al modello circa l'argomento di cui vorremmo informazioni:

Quindi utilizziamo l'output generato dal primo prompt per costruire il prompt con la vera richiesta:

6.10. Least to Most (LtM): scomporre il problema

Il Least to Most prompting (LtM) fa compiere un ulteriore passo avanti al Chain of Thought Prompting scomponendo un problema in tanti piccoli sotto-problemi per farli risolvere uno alla volta.

È una tecnica che trae ispirazione dalle strategie educative adottate in ambito educativo pedagogico, per far comprendere problemi complessi ai bambini.

Esattamente come nel prompt CoT, il problema da risolvere viene scomposto e riformulato in "forma" di sotto-problemi sequenziali, che verranno in un secondo momento risolti uno per volta. La differenza rispetto all'approccio CoT è che la soluzione dei sotto-problemi già risolti viene inserita all'interno del prompt che prova a risolvere il sotto-problema problema successivo, andando ad arricchire il contesto a disposizione del modello.

Facciamo un esempio partendo ancora una volta da un Zero-Shot Prompt:

Lo Zero-Shot ha fallito un'altra volta.

Proviamo con la Chain of Thought:

Lo stesso prompt formulato con la tecnica Least to Most diventerebbe:

Qual è la differenza?

La differenza fondamentale sta nell'accuratezza dell'output: il metodo Least To Most in un problema in cui vengono concatenate fino a 12 parole restituisce risultati esatti nel 74% dei casi, mentre la tecnica Chain of Thought solo nel 34% (utilizzando il modello text-davinci-002).

6.10. Tree of Thought Prompting

Il Tree of Thought (ToT) prompting è una nuova tecnica di costruzione di input che prende in prestito idee dal framework Tree-of-Thoughts, ampliando e migliorando la tecnica della Chain of Thought: il percorso CoT è singolo e lineare, mentre quello ToT si basa su una strategia maggiormente dinamica e flessibile, simile ad una mappa concettuale composta da più rami.

Ecco una rappresentazione grafica del framework:

La novità che introduce questa tecnica è quella per cui essa consente ai LLM di correggere autonomamente i propri errori accumulando progressivamente conoscenza.

Il framework ToT conferisce inoltre all'IA la capacità di valutare la qualità degli output, introducendo un meccanismo di autovalutazione per poter decidere la linea d'azione da adottare successivamente.
L'IA viene quinid messa nelle condizioni di anticipare passaggi successivi, ma anche di valutare e rivalutare scelte e decisioni passate, in modo da poter prendere decisioni successive da lì in poi. Un modello che si autoregola, in pratica.

In un esempio, un prompt ToT migliora la capacità di ragionamento di ChatGPT 3.5 per rispondere a una domanda a cui in precedenza poteva essere data risposta solo da ChatGPT 4.

I Large Language Models (LLM) spesso faticano a rispondere a determinati tipi di domande complesse. Ecco un esempio rappresentativo:

La palla è in camera da letto, ma dal momento che i LLM non sono deterministici, durante diversi tentativi gli output ricevuti sono stati:

Pensiamo alla definizione di Tree of Thought: come si mette in moto un framework in grado di mettere un modello nelle condizioni di autoregolarsi? Con la creatività.

Proviamo a comporre il prompt precedente con la seguente aggiunta:

Diventa molto interessante leggere l'output di risposta:

Si tratta di un esempio molto stupido e c'è grande manovra per perfezionare la domanda sotto molti punti di vista portando, potenzialmente, a risposte più concise, ma ci basta che passi il concetto.

La risposta è perfettamente coerente con il grafico mostrato a inizio paragrafo: una mappa concettuale che viene vista, rivista, valutata e rivalutata continuamente fino a quando il modello non arriva ad elaborare la risposta più coerente - in grado di mettere d'accordo tutti gli "esperti".

Con l'approccio ToT:

l'IA è in grado di spaziare attraverso intricate logiche problematiche, prendendo decisioni ottimali autonomamente;
l'IA riesce a ridurre di molto gli errori bias-oriented, riuscendo ad elaborare il problema a partire da prospettive multiple;
portano a risultati sono nettamente superiori. 

Per attivare questa tecnica, dunque, è sufficiente mettere il modello nelle condizioni di

Scrittura creativa, processi decisionali, strategie si applicano bene a questo framework, che dà la possibilità di espandere ulteriormente i confini di utilizzo dell'AI.

7. Conclusioni

Concludiamo qui l'articolo, ma ci sarebbe da raccontare molto di più. Volevamo scrivere questa guida avanzata per dare dimostrazione dell'incredibile potenzialità dell'AI generativa, generale e nello specifico di ChatGPT, ma anche per sensibilizzare circa la necessità di sviluppare competenze più o meno avanzate in materia di prompt design ed engineering per poterne sfruttare a pieno il potenziale - nonché per non incorrere nei principali errori e limiti di questa tecnologia.

Se siamo arrivati a fornire questa base di sensibilità ci definiamo soddisfatti. Crediamo che questo strumento sia efficace anche per districarsi nel mare di disinformazione presente oggi sul tema dell'AI e sui possibili risvolti apocalittici e tenebrosi della sua propagazione (l'ultimo, in ordine cronologico, la notizia secondo cui "In una simulazione bellica un drone guidato da intelligenza artificiale si è ribellato al suo operatore e l'ha ucciso").

L'AI è già un argomento abbastanza complesso senza che giornalisti sprovveduti di sensibilità - o ancor peggio in malafede - inizino a giocare con i titoli degli articoli.

Vi lasciamo con l'auspicio di avervi suscitato la curiosità necessaria a continuare ad esplorare ulteriormente questo mondo (ad esempio le integrazioni di ChatGPT tramite API in azienda) e gli universi del prompt engineering e del prompt design, già da molti osservatori descritti come alcune dell skill che si svilupperanno maggiormente in futuro.

🐙 Clicca qui sotto e scopri come affrontare la Digital Transformation con Digital Dictionary!