Archivio per gennaio, 2014

Teaching cues, not behaviors (part 2)

Pubblicato: gennaio 15, 2014 in Uncategorized

 

This is Skinner’s tale about the discovery of Shaping:

“In 1943 Keller Breland, Norman Guttman, and I were working on a war-time project sponsored by General Mills, Inc. Our laboratory was the top floor of a flour mill in Minneapolis, where we spent a good deal of time waiting for decisions to be made in Washington. All day long, around the mill, wheeled great flocks of pigeons. They were easily snared on the window sills and proved to be an irresistible supply of experimental subjects… This was serious research, but we had our lighter moments. One day we decided to teach a pigeon to bowl. The pigeon was to send a wooden ball down a miniature alley toward a set of toy pins by swiping the ball with a sharp sideward movement of the beak. To condition the response, we put the ball on the floor of an experimental box and prepared to operate the food-magazine as soon as the first swipe occurred. But nothing happened. Though we had all the time in the world, we grew tired of waiting. We decided to reinforce any response which had the slightest resemblance to a swipe—perhaps, at first, merely the behavior of looking at the ball—and then to select responses which more closely approximated the final form. The result amazed us. In a few minutes, the ball was caroming off the walls of the box as if the pigeon had been a champion squash player. The spectacle so impressed Keller Breland that he gave up a promising career in psychology and went into the commercial production of behavior”. (1)

In an article written in 1958 Skinner clarified what was, for him, the key component for effective Shaping:

“In the acquisition of a bowling response in pigeons 3 points are relevant:

– The temporal relationships between behavior and reinforcement are very important.

– Behavior was set up through successive approximations.

 – Behavior gradual “shapes up” by “reinforcing crude approximations of the final topography instead of waiting for the complete response”(2).

What, in my opinion, Skinner meant by “shapes” and “raw approximations” is the conditioning of behavior to environmental signals: experimental box, toy pins and ball. Obviously, if I, as a teacher, wait for the exhibition of what I mean being the goal behavior right from the beginning, given the lack of relation (conditioning) between cues and pigeon’s behavior, the animal can never be reinforced and will likely quit the task. But by strengthening the emission of selected behaviors that progressively shape the learner toward the goal behavior, the conditioning will take place and, as Skinner says, our pigeon will prove to be a Bowling Champion.

So it happens with the potter as well: the possibility of the finished shape of the pot is already contained in the clay that is being worked. Indeed it is necessary to precisely shape it. We can also throw the clay on the wheel, but the chances of getting a vessel will be extremely low. The physical characteristics of the clay contain the necessary elements so that it can be modeled. A block of marble or a piece of iron can never be molded – by hand- into a pot. There is not a chance: in their physical characteristics it is not present the possibility of “manual modeling”. As for the clay, or our student – physically – is able to exhibit the behavior or this will never can be taught. Michelangelo could already see the shape of his statues inside the rough blocks of marble: he could try to hit with a hammer randomly the marble trying to create a David, or he could shape it one hit at a time, with approximation -and success- to the final result.

 

david michelangelo

Skinner writes: “A solution is a response that exists in some strength in the repertoire of the individual, if the problem is soluble by him.” In other words: or you can exhibit a given behavior, or you cannot. This skill cannot be taught.

Teaching is to condition the emission of a specific behavior, or of a chain of behaviors, to a given signal. How do we make this happen? If I decide to teach my dog a target nose (the dog touches her nose to the palm of the hand), I have to be sure–or I have to arrange the conditions–that my hand is a clear and new cue with respect to the environment. This is true even if I have to put a piece of food between my fingers to encourage the dog to touch with her nose. Moreover, it is the hand that cues–loud and clear–“Touch me with your nose!”. For this reason the hand should be presented in the same position in order to become a clear signal that affects a specific behavior .

From animals to humans, this pattern does not change, We do, however, have one more tool with humans that we don’t with other animals: the use of language. This gives us a huge advantage in that we can more clearly define the relationship between cue and behavior. In other words, we can specify what to do when a cue is presented. In the following example the cue is the opportunity to shoot for the basket.

THE LESSON IS: “When we shoot the ball, we must have our right hand under the ball with the wrist at eye level. The right forearm is vertical to support the ball. Left hand is resting on the side of the ball to give a guide. The center of the palm of the left hand is resting on the maximum circumference of the ball. the toes look the basket, feet are shoulder-width apart, knees slightly bent and your back is slightly bent forward“.

What is the clear cue to condition this set of behaviors, assuming that the student knows how to do these things? If you are visually impaired, you can not put your toes toward the basket by yourself (the iron can’t be shaped like the clay). The cue is the opportunity  to shoot the ball and not the basket itself. We shoot when we’re reasonably sure to have the chance to score… This involves, at least: being close enough to the basket and having time for aiming the basket. This opportunity is the cue activating the behaviors chain. Obviously we have to teach (to shape) how to put together a whole sequence so that it becomes fluent: performed automatically when the cue occurs. We need to avoid overloading the working memory of the student who would otherwise not be able to hold together all the instructions in his or her memory. Michelangelo created his works one step at a time. Then we will choose the first component to be conditioned to “shoot for the basket .”

THE INSTRUCTIONS ARE: “When we shoot the ball, we focus on the basket. The easiest way to do this is to point your feet toward the basket. Start from the center, go to the cones (placed on the floor around the basket to indicate where to throw) and shoot. Feet are pointed toward the basket.

We have reduced the amount of information. If we deliver too many steps, at least some get lost in the working memory and the behaviors that will be exhibited in the presence of the cue will be poor in reference to our goals. Therefore we choose a single point of attention, just one behavior to start to signal “shoot for the basket.”

THE TAGPOINT IS: “Feet to the basket”.

The sound of the marker, the click or “TAG,” indicates the learner’s success and affects the behavior, further strengthening it: when there is a basket and you have the chance to score, just put the feet toward the basket. Once we have this behavior fluent we can, gradually, add the following steps. Finally, the opportunity to shoot for the basket will determine the position of the feet that will then effect the shoulders, the legs, and so on.

Let me be crystal clear: I have not taught to point the feet toward the basket. What I have taught is that at the cue: “shoot for the basket” what has the greatest chance of being reinforced (because it increases the chances of scoring) is if the feet point the basket. In Skinner ‘s example of shaping the pigeon: the pigeon knows how to hit a ball with its beak. What Skinner has taught us is that, given the presence of the ball and skittles (cues) that will be reinforced (or will have the opportunity to be reinforced) will be: ” Hit the ball in a certain and specific direction”.

____________________________________

NOTES:

(1) PETERSON G.B., A day of Great illumination – Skinner’s discovery of Shaping, ” Journal Of The Experimental Analysis Of Behavior”,82, (November 2004), p. 317–328. Breland ended being quite famous (and rich) training animals for show, movies and TV series.

(2) SKINNER B.F., Reinforcement today, “American Psychologist”,13 (1958), p 94-99

 

B.F. Skinner racconta come ha scoperto lo shaping :

“Nel 1943 Keller Breland, Norman Guttman, ed io stavamo lavorando su un progetto militare sponsorizzato dalla General Mills, Inc. Il nostro laboratorio si trovava all’ultimo piano di un mulino a Minneapolis, dove abbiamo trascorso un bel po ‘di tempo in attesa che a Washington prendessero delle decisioni. Per tutto il giorno, intorno al mulino, giravano grandi stormi di piccioni. Restavano facilmente intrappolati sui davanzali ed erano una “fornitura” irresistibile di soggetti sperimentali. .. . Il nostro era un progetto di ricerca serio, ma abbiamo avuto anche dei momenti più leggeri. Un giorno abbiamo deciso di insegnare a un piccione a giocare a bowling. Il piccione doveva lanciare una palla di legno per una pista in miniatura verso dei birilli giocattolo, lanciando la palla con un forte colpo del becco. Per condizionare il comportamento, abbiamo messo la palla sul pavimento di una scatola per esperimenti e ci siamo preparati per consegnare il cibo non appena il primo colpo si fosse verificato. Ma non è successo niente. Anche se avevamo tutto il tempo del mondo, ci siamo stancati presto di aspettare. Abbiamo quindi deciso di rinforzare ogni risposta che avesse la minima somiglianza con un colpo alla palla, a costo in un primo momento, di rinforzare anche il solo guardare la palla e quindi per selezionare le risposte che più strettamente si avvicinavano al comportamento finito. Il risultato ci ha stupito. In pochi minuti, la palla veniva scagliata fuori della scatola come se il piccione fosse sempre stato un campione di bowling. Lo spettacolo impressionò talmente Keller Breland da indurlo a abbandonare una promettente carriera in psicologia per entrare nel business della produzione di comportamento”. (1)

In un articolo del 1958, Skinner chiarisce quali sono, secondo lui gli “ingredienti” necessari per uno shaping efficace:

“Per l’acquisizione del comportamento di giocare a bowling nei piccioni 3 punti sono rilevanti:

a)      I rapporti temporali tra comportamento e rinforzo sono molto importanti.

b)     il comportamento viene creato per approssimazioni successive.

c)      Il comportamento si modella gradualmente rinforzando approssimazioni grezze alla topografia finale (del comportamento) invece di aspettare la risposta completa“.(2)

Quello che, secondo me, Skinner intende con “modella” ed “approssimazioni grezze” costituisce il condizionamento del comportamento ai segnali ambientali: scatola, birilli e pallina di legno. Ovvio che se aspetto l’esibizione di quello che io, come insegnante, intendo come comportamento finito fin dall’inizio, data la mancanza di relazione (condizionamento) tra segnali e comportamento il piccione potrebbe anche non venire mai rinforzato e quindi lasciar perdere. Ma rinforzando l’emissione di comportamenti selezionati che progressivamente modellano il comportamento finale, il condizionamento avverrà e, come dice Skinner, il nostro piccione si rivelerà essere un campione di Bowling.

Un po’ come il vasaio: la possibilità della forma finita del vaso è già contenuta nell’argilla che viene lavorata. E’ necessario, appunto, modellarla. Possiamo  anche buttare l’argilla sul tornio, ma le probabilità di ottenere un vaso saranno estremamente basse. Nelle caratteristiche fisiche dell’argilla sono contenuti gli elementi necessari affinchè possa essere modellata. Un blocco di marmo o un pezzo di ferro non potranno mai venire modellati -a mano- in un vaso. Non ne esiste la possibilità: nelle loro caratteristiche fisiche non è presente la possibilità del “modellaggio manuale”. Come per l’argilla, o il nostro allievo è -fisicamente- in grado di esibire il comportamento o questo non potrà mai venire insegnato. Michelangelo vedeva già la forma delle sue statue all’interno dei blocchi grezzi di marmo: poteva provare a prenderli a martellate a caso per vedere se ne usciva il David o poteva modellarli, con approssimazione -e successo- verso il risultato finale.

david michelangelo

Scolpire un blocco di marmo è come modellare un comportamento…

Skinner scrive: “Una soluzione (a un problema) è una risposta che esiste già con qualche forza all’interno del repertorio di un individuo, se è in grado di risolvere il problema”. Parafrasando: o si è in grado di fare una cosa o non lo si è e questa abilità non può venire insegnata.

Insegnare diventa, quindi condizionare l’emissione di uno specifico comportamento o di una catena di comportamenti a un determinato segnale. Come fare in modo che questo avvenga? Se decido di insegnare al mio cane un target naso (il cane tocca con il naso il palmo della mano), devo essere sicuro -o fare in modo- che la mia mano sia un chiaro e nuovo segnale rispetto all’ambiente. Anche a costo di dover mettere un pezzetto di cibo tra le dita per incoraggiare il cane a toccare con il naso. E’ la mano che segnala a chiare lettere: “Toccami con il naso!” e per questo motivo la mano deve essere messa sempre nella stessa posizione in modo da divenire un chiaro segnale che condiziona uno specifico comportamento.

Dagli animali alle persone lo schema non cambia, Abbiamo, però uno strumento in più: l’uso del linguaggio. Questo ci dà un grandissimo vantaggio a patto che sia sempre chiaramente definita la relazione segnale – comportamento. Ovvero cosa fare quando un dato segnale appare. Nell’esempio seguente il segnale è l’opportunità di tirare a canestro (3).

LA LEZIONE E’: “Quando tiriamo a canestro dobbiamo avere la mano destra sotto il pallone, con il polso all’altezza degli occhi. L’avambraccio destro è verticale a sostenere la palla. La mano sinistra è appoggiata sul fianco del pallone per dargli una guida d’appoggio. Il centro del palmo della mano  sinistra è appoggiato sulla massima circonferenza del pallone. Le punte dei piedi guardano il canestro, i piedi sono alla larghezza delle spalle, le ginocchia sono leggermente piegate e la schiena è leggermente flessa in avanti”.

Qual è il segnale chiaro per condizionare questa serie di comportamenti, dando per scontato che l’allievo sappia fare queste cose? Se è ipovedente non può mettere le punte dei piedi verso il canestro autonomamente (il marmo non può venire modellato a mano). Nel nostro caso è “tiriamo a canestro”, ovvero l’opportunità di fare punto. Questa opportunità è il segnale per esibire la sequenza di comportamenti. Ovviamente dobbiamo insegnare a mettere insieme tutta la sequenza in modo che questa diventi fluente: ovvero che venga esibita automaticamente non appena il segnale si presenta. Dobbiamo evitare di sovraccaricare la memoria di lavoro dell’allievo che altrimenti non riuscirà a tenere insieme in memoria tutte le istruzioni. Michelangelo creava le sue opere un passaggio alla volta. Sceglieremo quindi il primo componente da condizionare per “tirare a canestro”.

LE ISTRUZIONI SONO: “Quando tiriamo a canestro dobbiamo orientarci verso l’anello. Il modo più veloce per farlo è quello di puntare i piedi verso il canestro. Parti dal centro vai verso i coni (messi sul pavimento intorno al canestro per indicare da dove tirare) e tira a canestro. I piedi sono puntati verso il canestro”.

Abbiamo ridotto l’ammontare delle informazioni. Se ne diamo troppe vengono perse dalla memoria di lavoro e i comportamenti che verranno esibiti in presenza del segnale saranno di povera qualità in riferimento ai nostri obiettivi. Pertanto scegliamo un solo punto d’attenzione un solo comportamento da condizionare, per iniziare, al segnale “tirare a canestro”.

IL TAGPOINT E’: “Piedi verso il canestro”.

Il suono del marker segnala il successo e, rinforzandolo, condiziona il comportamento: quando c’è un canestro e c’ è da tirare, li piedi puntano verso il canestro. Una volta condizionati i piedi possiamo proseguire, aggiungendo progressivamente  il resto della sequenza. Alla fine l’opportunità di tirare a canestro condizionerà la posizione dei piedi che condizionerà quella delle spalle, delle gambe etc etc…

Pallacanestroo tiro libero

Ripeto: non ho insegnato a puntare i piedi verso il canestro. Quello che ho insegnato è che, al segnale: “tirare a canestro”, quello che ha la maggiore probabilità di venire rinforzato (perché aumenta le probabilità di fare canestro) sarà: “Piedi verso il canestro”. Nel caso citato dello shaping del piccione di Skinner: il piccione sa colpire una palla con il becco. quello che Skinner ha insegnato è che, data la presenza di palla e birilli (segnale) quello che verrà rinforzato (o che avrà l’opportunità di venire rinforzato) sarà: “manda la palla in una determinata e specifica direzione: verso i birilli”.

 _______________________________________

NOTE:

(1) PETERSON G.B., A day fo Great illumination – Skinner’s discovery of Shaping, ” Journal Of The Experimental Analysis Of Behavior”,82, (November 2004), p. 317–328. Breland divenne piuttosto famoso (e ricco) come addestratore di animali per spettacoli, film  e TV.

(2) SKINNER B.F., Reinforcement today , “American Psychologist”,13 (1958), p 94-99

(3) Il segnale è l’opportunità di tirare a canestro e non il canestro di per sè perchè si tira quando si è ragionevolemente sicuri di fare centro. Inutile tirare da una parte all’altra del campo….

Teaching cues, not behaviors (part 1)

Pubblicato: gennaio 4, 2014 in Uncategorized

Many thanks to my dear friend, Ted DesMaisons, who edited the English version for the articles of this series.Ted runs an amazing Blog about learning, teaching, meditation and improvisation: http://tedwordsblog.com/

The environment bombs us with stimuli. We learn to respond to these stimuli or–at least to those relevant stimuli–important for our “survival ” through the exhibition of certain behaviors. Inside the classroom you are – hopefully – seated; in the gym you train; in the agility yard, you (your dog, actually) jump the hurdles.

Learning consists of coming to know what behavior to exhibit, under certain conditions: we call these conditions cues. The behaviors become conditioned to these signals. When I type on the keyboard, I learn that to get the letter “A”, which I have learned, represents the sound “a”, I need to hit a given key <A>.

Una tastiera... quanti segnali da discriminare!

A keyboard… how many cues to dscriminate!

I do not learn to hit the key: I do learn under what conditions hitting the <A> key will work and it will be- reinforced. If you want to write “casa” (“home” in Italian), there are two sounds “A” that reinforce hitting the key <A>. If I, instead of <A>, type <E> I’ d get “Cese”, a word that has no meaning in my language and, for this reason, will not bring any reinforcement . Even my dog, Akira, knows how to hit on a keyboard; what he doesn’t know and he will never be able to do, given his physical-cognitive skills, is to discriminate the meaning of hitting the <A> key. (I can shape this behavior, but, to the dog, it will not have ever had the same meaning it will have for an human being.) Without disturbing my border collie, who, after his daily walk lies blissfully asleep, my son (5 and a half years old) knows how to hit on the keyboard. He can also send a text message to his older cousin: ”AIHHIHEEEEEE4444FDFFFF FFFFFFFFFFFFFFHJH” which means “Hello , how are you?”

Which is the skill that the kid should learn? Not the behavior of tapping the keys —he already knows that- but to discriminate when the tapping works (reinforcer) to hit the <A>. In other words, he has to learn to write.
Again, this is not to teach new physical motor skills. These skills are either present in the repertoire of the individual or are not, and cannot , therefore, be taught. These are things that will come, “naturally”, with the cognitive – psycho- physical development of the person in a natural and normal environment. Genes are activated progressively throughout the lifetime, to ensure in every moment the best behavioral resources and, consequently, the best chance of survival. This heritage of behaviors is shaped by the environment that selects both what behaviors will remain and when it will be appropriate to exhibit them. If I play soccer I know that it is appropriate to wear a certain uniform for the game, the same behavior: ”wearing my soccer team’s uniform” will not be reinforced by a romantic date. The behavior is the same, what changes are the cues. The game is a cue that, when it occurs, is the condition for which it makes sense to wear the soccer uniform, or rather, it will be reinforced. But the wearing behavior is not taught: or one individual is biologically able to wear the suit or he/she’s not . For this reason I will never get to teach Akira to dress himself with shorts: He lacks the right joints, the opposable fingers. Most importantly, he doesn’t have the cognitive skill to discriminate the “usefulness” of wearing the shorts.

What is taught is the conditioning of behavior given a specific cue. For this reason we must pay close attention so that, in the learning environment in which we operate, there are no other cues that may distract or confuse the student. If you teach a dog a hand target, the cue, presenting the hand, must be absolutely consistent, as is a traffic light when it turns red.

You can Imagine what could happen if traffic lights at different crossings would come in different sizes or in slightly different colors : larger or smaller, emerald green or lime green, … How many car accidents would happen then?

A cue that influences the behavior is always present during teaching. Shaping, in my idea, is not teaching in gradual increments a certain behavior, but, rather, is conditioning, in gradual increments, a given cue.

L’ ambiente ci bombarda di stimoli. Impariamo a rispondere a questi stimoli o per lo meno a quelli rilevanti, importanti per la “sopravvivenza”, attraverso l’esibizione di determinati comportamenti. In classe si sta –sperabilmente– seduti, in palestra ci si allena, nel campo di agility salti (effettivamente è il cane a saltare) gli ostacoli.

L’apprendimento consiste nell’imparare quale comportamento esibire, date certe condizioni: potremmo chiamare queste condizioni segnali. I comportamenti diventano condizionati a questi segnali. Quando batto sulla tastiera, ho imparato che per ottenere la lettera “A”, che ho imparato a sua volta rappresenta il suono “a”, devo battere un certo tasto <A>.

Una tastiera... quanti segnali da discriminare!

Una tastiera… quanti segnali da discriminare!

Non imparo a battere il tasto: imparo in quali condizioni battere il tasto <A> funziona e viene –quindi– rinforzato. Se voglio scrivere “CASA”, ho due suoni “A” che rinforzano il battere il tasto <A>. Se invece di <A> battessi <E> otterrei “CESE” parola che non ha senso nella mia lingua e che non mi porterebbe nessun rinforzo. Anche il mio cane Akira sa battere su una tastiera, quello che non sa e non potrà mai saper fare, date le sue competenze fisico cognitive è discriminare il significato di battere <A> .(Potrei modellare il comportamento, ma, per il cane, questo non avrà mai il significato che potrà avere per una persona.) Senza disturbare il mio border, che dopo la passeggiata quotidiana dorme beato, anche mio figlio a 5 anni e mezzo sa “battere” sulla tastiera. E’ anche capace di mandare SMS ai suoi cugini più grandi: “AIHHIHEEEEEE4444FDFFFF   FFFFFFFFFFFFFFHJH” che significa “Ciao, come stai?”

Quale competenza deve apprendere il bambino?  Non il comportamento di battere sui tasti –quello lo sa già fare– ma discriminare quando battere la <A> funziona ovvero verrà rinforzato. In altre parole, deve imparare a scrivere.

Di nuovo, non si tratta di insegnare delle nuove capacità fisiche o motorie. Questi o sono presenti nel repertorio dell’individuo o non lo sono e non possono, pertanto venire insegnati. Sono cose che vengono “naturalmente” con lo sviluppo psico-fisico-cognitivo della persona in un ambiente naturale e normale. Il patrimonio genetico si attiva progressivamente durante tutta la vita, per assicurare in ogni momento le migliori risorse comportamentali e di conseguenza le migliori probabilità di sopravvivenza. Questo patrimonio di comportamenti viene modellato dall’ambiente che seleziona sia quali comportamenti resteranno, sia quando questi dovranno essere esibiti. Se gioco a calcio so che è opportuno indossare la divisa per una partita; lo stesso comportamento “indossa la divisa” non verrà rinforzato per un incontro galante. Il comportamento è uguale; ciò che cambia sono i segnali. La partita è il segnale che, quando si presenta, è la condizione per cui l’indossare la divisa ha senso, o meglio sarà rinforzato. Ma l’indossare in sé e per sé non viene insegnato: o si è biologicamente in grado di indossare la divisa o non lo si è. Per questo motivo non potrò mai insegnare ad Akira a mettersi –da solo– i pantaloncini: gli mancano le giuste articolazioni, le dita opponibili etc. etc. Inoltre gli manca la competenza cognitiva per discriminare l’”utilità” di indossare i pantaloncini.

Quello che viene insegnato è il condizionamento del comportamento a usemaforono specifico segnale. Per questo motivo dobbiamo prestare la massima attenzione che nell’ambiente d’apprendimento in cui ci troviamo ad operare non siano presenti altri segnali che possono distrarre o confondere l’allievo. Se insegno un target mano a un cane, il segnale che do, presentando la mano deve essere assolutamente consistente, come lo è un semaforo rosso. Immaginate cosa potrebbe capitare se i semafori agli incroci fossero di dimensioni o colori leggermente diversi: verde smeraldo o verde acido più o meno grandi… Quanti incidenti?

Un segnale che condiziona il comportamento è sempre presente per insegnare. Lo shaping non è insegnare a incrementi graduali un certo comportamento, ma, piuttosto è condizionare, per incrementi graduali, un determinato segnale.