Archivio per la categoria ‘Uncategorized’

Oltre il Clicker Training: Walden Due

Pubblicato: novembre 10, 2014 in Uncategorized

Walden Duiskinne001p1e è un romanzo scritto da B. F. Skinner nel 1948. Racconta di una comunità di persone, Walden Due, appunto che vive e prospera sui principi della scienza del comportamento. Il romanzo è estremamante didascalico, con i personaggi ridotti al minimo di figure stereotipate che Skinner usa per introdurre le proprie idee. Questo che riporto è il passaggio che più mi ha colpito. Spiega perché il rafforzamento positivo funziona e la punizione no. Indica una strada percorribile verso un domani migliore per tutti.

Si parte da un Clicker in mano per educare il proprio cane o un altro animale ma si deve e si può guardare oltre.

Nel dialogo che segue, Frazier è uno dei fondatori della comunità; Castle è il filosofo scettico allo stremo. Il testo in blu corsivo sono mie idee.

“Dovrò servirmi di termini tecnici”, disse Frazier, “ma solo per un attimo. Si tratta di quello che la scienza del comportamento chiama teoria del “rinforzo”. Le cose che possono accaderci rientrano in tre classi. Di fronte a certe cose siamo indifferenti. Ci sono altre cose che ci piacciono… vogliamo che si verifichino, e prendiamo delle misure che si verifichino di nuovo. Ci sono infine altre cose che non ci piacciono… non vogliamo che si verifichino, e prendiamo delle misure per liberarcene o per impedire che si verifichino nuovamente”.

“Ora”, proseguì Frazier con ardore, “se siamo in grado di creare una qualsiasi delle situazioni che piacciono ad una persona o di rimuovere una qualsiasi situazione che non le piace, possiamo controllare il comportamento di quella persona. Quando si comporta come vogliamo che si comporti creiamo semplicemente una situazione che le piace, oppure ne rimuoviamo una che non le piace. Come risultato si avrà un aumento della probabilità che quella persona si comporti nuovamente in quel dato modo,il che è proprio quello che vogliamo. Tecnicamente, questo viene chiamato “rafforzamento positivo”.

Anche se il termine “controllare” suona orribile se riferito al comportamento umano è inutile cercare di nascondersi dietro al dito. Qualsiasi interazione che abbiamo con l’ambiente serve per esercitare una forma di controllo. Se scrivo una mail è per “controllare” il comportamento del ricevente e sollecitarlo, magari, a rispondermi. Se dico “Bravo!” a un bambino è per controllare il suo comportamento. Si tratta solo di decidere che tipo di controllori desideriamo diventare.

“La vecchia scuola ha compiuto il sorprendente errore di supporre che fosse vero il contrario, ossia che rimuovendo una situazione che piace ad una persona o instaurandone una che non le piace – in altre parole punendo quella persona- fosse possibile ridurre la probabilità che si comportasse nuovamente in un dato modo. Questa supposizione non regge, come è stato dimostrato senza ombra di dubbio. Quello che sta emergendo in questa fase critica dell’evoluzione della società è una tecnologia comportamentale e culturale basata sul rafforzamento positivo. Stiamo gradualmente scoprendo – a prezzo di enormi sofferenze umane- che a lungo andare la punizione non riduce la probabilità che una certa azione si verifichi” (…)

“Non sono certo un difensore della forza”, disse Castle, “ma non sono d’accordo sul fatto che non sia efficace”.

“E’ temporaneamente efficace, questa è la cosa peggiore. Ciò spiega parecchie migliaia di anni di spargimenti di sangue. Perfino la natura è stata ingannata. Noi puniamo “istintivamente” una persona che non si comporta come vogliamo: la sculacciamo se è un bambino o la picchiamo se è un adulto. E’ proprio una bella distinzione! L’effetto immediato del colpo inferto ci insegna a picchiare nuovamente. Il castigo e la vendetta sono le cose più naturali della terra. Ma a lungo andare l’uomo che picchiamo non ha meno probabilità di ripetere quella data azione”.

“Ma non la ripeterà se lo picchiamo piuttosto duramente”, disse Castle.

“Avrà ancora la tendenza a ripeterla. Vorrà ripeterla. Non abbiamo in realtà alterato il suo comportamento potenziale. Questo è il punto. Anche se non ripete quella azione in nostra presenza, lo farà in presenza di qualche altra persona. Oppure quella azione verrà ripetuta mascherandola da sintomo di neurosi. Se picchiamo piuttosto duramente, ci liberiamo un piccolo spazio nella landa desolata della civiltà, ma rendiamo ancora più terribile il resto della landa.”

landa desolata

La punizione controlla il comportamento, non la la volontà. Non blocca il desiderio di fare qualcosa ma il comportamento in sé per sé. E’ una forma estremamente rozza di esercitare (o meglio di pretendere di esercitare controllo). Una multa per eccesso di velocità blocca (per un po’) il mio correre, non il mio desiderio di correre. Infatti…

“Ora, le forme primitive di governo sono naturalmente basate sulla punizione. E’ la tecnica ovvia di quando chi è fisicamente forte controlla il debole. Ma siamo nel bel mezzo di un notevole cambiamento in favore del rafforzamento positivo: da una società competitiva in cui la ricompensa di un uomo è la punizione di un altro, ad una società cooperativa in cui nessuno ottiene qualcosa a spese di qualche altro.

Il cambiamento è lento e doloroso perché l’effetto immediato, temporaneo, della punizione eclissa il vantaggio finale del rafforzamento positivo. Noi tutti abbiamo visto innumerevoli casi di effetto temporaneo della forza, ma una chiara prova dell’effetto di non servirsi della forza è rara”.

Chi ha la fortuna di fare o conoscere il Clicker Training o forme simili di educazione quali il TAGteach è stato, diverse volte, testimone della “prova dell’ effetto di non servirsi della forza”.

(…) “Adesso che sappiamo come funziona il rinforzo positivo e perché quello negativo non funziona”, disse infine Frazier, “possiamo essere più ponderati nel nostro progetto culturale, ed avere quindi più successo. Possiamo realizzare un tipo di controllo in cui le persone controllate, sebbene stiano seguendo un codice molto più scrupolosamente di quanto non fosse mai accaduto con il vecchio sistema, si sentano ciononostante libere. Stanno facendo quello che vogliono e non quello che sono costrette a fare. Questa è la fonte del tremendo potere del rinforzo positivo: non vi è restrizione né rivolta. Tramite un accurato progetto culturale noi controlliamo non il comportamento nella sua forma finale, ma l’inclinazione a comportarsi in un dato modo: i motivi, le passioni, i desideri.”

Il rafforzamento positivo controlla non tanto il comportamento quanto le pulsioni a comportarsi in un certo modo. Vogliamo -liberamente- fare qualcosa perché questo ha delle conseguenze positive. Questa è la forma più alta di libertà che ci possa venire concessa.

Annunci

Teaching Cues, not behaviors (part 3)

Pubblicato: febbraio 6, 2014 in Uncategorized

CONDITIONED CUES (1)

Third and last part of my post devoted to conditioned cues.

CONDITIONED CUES

We, often, underestimate the interference of environmental factors in the failure of exhibition of well- learned behaviors. Basically, we blame our students for this failure. Alessandro, my son, had, for a while, the habit to talk loudly during our dinners. We tried to change his behavior ,”exchanging” with extra seconds of game on his tablet, every performance of the tag point: “Low voice”. Since “Low voice” is not a quantifiable behavior, before we had established together the meaning of: “Low voice.” Things run smoothly for a while, and we didn’t need to reinforce “Low voice” anymore. But one evening we had as dinner guests Alessandro’s  grandparents and his voice went back to high volume. Even the chance to earn extra game-time didn’t  have any  effect. “Grandparents at dinner” overwhelmed the cue: “At the dinner table” to which the child was responding with “low voice”. New cue, new behavior and, also, new child’s response to reinforcement.”At the dinner table with grandparents” is a different cue, which reinforces a different behavior.

What should we do?  Teaching the cue “At the dinner table” means, in addition to other things (“Sit on the chair”,” Use  knife and fork” etc. etc. ), also: “Low voice” no matter what the environment is. It’s the cue that needs to be taught, not the behavior. It is the cue “At the dinner table” that elicits “Low voice.” To achieve this conditioning practice is required.

 WHAT IS PRACTICE?

Practice is not the mechanical repetition of an action, but the conscious, eventually repeated, execution of an action. If we want to learn how to shoot for the basket, it’s meaningless to throw 100 shots a day, if no one teaches us how  we should throw. This is just a rather sterile trying over and over again. The deliberate practice should aim, in first instance, to learn the components of “Shoot for the basket”, until they become fluent skills. Now, the 100 shots a day, are intended as an exercise in order to maintain fluency in the learned behavior. Kobe Bryant, one of the top players in the NBA, scores 800 baskets per day to maintain his performance level (2).

bryant

800 throws each day…

As sport training develops muscles and skills,” behavioral practice” develops attention to the cues and fluency in the responses. The practice must be intentional, aimed at achieving specific results. Practicing involves both sides of the student-teacher relationship. Students focus their attention to the task, the teacher must be ready to reinforce students’ achievements and to set the right environment where students can have success. Sometimes, it is better to quit. If you are unable to manage a child in a supermarket, or a dog in the presence of a cat, it’s far more effective to avoid putting students in situations where they easily could fail our expectations. These are OUR expectations as teachers, not theirs. The dog or the child in the supermarket, are perfectly comfortable with the behaviors they exhibit given  a specific cue. The responsibility of the practice is up  the teacher.

What could I do to get “Low voice” during ALL our meals? I should -constantly- reinforce all the exhibitions of” Low voice”, in an environment where it is easy to obtain this  behavior,  gradually moving towards more challenging  situations: dinner with the grandparents or in a Pizzeria. In difficult situations I have to generously reinforce the desired behavior and ignore the performances of the opposite behavior. As teacher, I never have to take for granted that a certain level of expertise in a certain environment could be generalized. As the (italian) saying goes ,” You never stop to learn .”

SOLUTIONS: “The Aladdin’s cave” and the “Busy hands” Principles

TAGteach ( Clicker Training works effectively at the same way, with animals) delivers both to teachers and students a common focus point. The tag point clearly indicates what exhibit to a given  cue and strengthens the elicited behavior with surgical precision. Deliberate practice is consciuos repetition of each tag point as many times as are necessary to gain fluency. It is simple, in these conditions, being able to have something to reinforce, rather than the opposite. We can continue to condition our cue even in the presence of new, concurrent stimuli. To return to basketball, we can strengthen a given elbow position before the throw, both when the player is standing and when he is moving or running, pressed by some adversary .

Less simple – but it should not be an excuse for the teacher – to be able to understand when and how the reinforcement work or not.

Alessandro was always rather difficult to manage in the supermarket. Everything in sight on the shelve was good  to be thrown in the cart (especially gloves for dishes washing… See you never know where the Reinforcer can be…). So, instead of trying to stop his desire to splurge I gave him something to focus on, a new cue. First I started granting him some little buying: (you can not get into the Aladdin’s cave and not even put a dime in your pocket … ) usually a small Coke can,or some cheap toys. If you have your hands full holding on something that you enjoy, It’s gonna be more difficult to plunder the shelves. Then we moved on to draw a shopping list. Together, we drew it at home. Together, we have stated that only what was on the shopping list would be buyed (obviously a small Coke was included, following the “Aladdin’s cave” principle ).Finally, we went to the supermarket. Alessandro was holding a pencil and the list: his task was to check off the list as the items went in the cart (a possible tag point is: “Check the List “). The child is empowered and focuses on a specific task: does practice in doing something else. In addition holding the list and the pencil, your hands are busy and can not grab gloves and other things (we can call it the “Busy hands ” principle).To draw the list and check it are aids for the child. In this manner he can deal with the supermarket without “surrendering” to other environmental stimuli. Once you have achieved success and made practice, aids may gradually disappear.

carrello della spesa

TEACHING

What did I really teach to Alessandro? I have not taught: “At the supermarket no tantrum, because we won’t buy anything”.  I taught that the cue “Supermarket” reinforces behaviors such as: “Check the list “,”Buy what ‘s on the list” and “Buy 1 Coke”. “Supermarket” elicits a specific set of behaviors. Everything else is extraneous to, and it is (as any undesirable behavior ) ignored. I can not teach: “You will not touch anything!”; Ogden Lindsley wrote that we can not teach things that even a dead man can do. We have -always- to strive for giving something to do in the presence of a cue. A living being is such, because it is -always- doing something. A stimulus, a cue is such because it gives -always- something to focus on to the brain. If we teachers do not indicate what to do, students will, naturally,  find something to do (3). The brain is designed to pay attention to environmental stimuli. We can not teach not to behave, on the contrary, we can teach what behaviors will be reinforced by a specific cue.

Finally,  We must also be aware that the behavior is not static and fixed, but rather, is fluid and malleable. Sometimes things may not always go as expected. I am ready to buy another pair of gloves…

NOTES

(1) I use “cue” and “stimulus” as synonymous

(2) 10 Years of Silence: How long it took Mozart, Picasso and Kobe Bryant to be Successful

(3) How to Train Your Brain to Stay Focused

Terza e ultima parte del post dedicato ai segnali condizionati.

SEGNALI CONDIZIONATI 

Spesso sottovalutiamo l’ingerenza di fattori ambientali nella mancata esibizione di comportamenti ben appresi. Di questa mancanza diamo, tendenzialmente, la colpa ai nostri allievi.

Alessandro, mio figlio, ha avuto, per un po’ di tempo, la tendenza a parlare ad alta voce durante le nostre cene. Abbiamo cercato di cambiare questo suo comportamento, “pagando” con secondi extra di gioco sul suo tablet ogni esibizione del tag point: “Bassa voce”. Dato che “Bassa voce” non è quantificabile a priori, avevamo stabilito insieme cosa significasse “Bassa voce”. La cosa è andata avanti per un po’ di sere con successo, al punto di non avere più bisogno di rinforzare “Bassa voce”. Ma una sera abbiamo avuto ospiti a cena i nonni di Alessandro e la voce è tornata su registri piuttosto alti. Non solo: nemmeno la possibilità di guadagnare gioco extra è riuscita ad avere qualche effetto. I nonni a cena si sono sovrapposti al segnale, “A tavola a cena” cui il bambino stava rispondendo con “Bassa voce”, modificandolo. Cambiato il segnale, cambiato il comportamento ed anche la risposta del bambino al rinforzo. “A tavola, a cena con i nonni” è un segnale diverso, che rinforza un diverso comportamento.

Cosa si deve fare? Insegnare che il segnale “a tavola a cena” significa, oltre a una serie di cose (“Stare seduti”, “Usare forchetta e coltello” etc. etc.), anche “Si parla a bassa voce”, non importa cosa ci sia intorno. E’ il segnale che deve essere insegnato, non il comportamento. E’ il segnale ” A tavola a cena” che condiziona “Bassa voce”. Per ottenere questo condizionamento ci vuole pratica.

COSA SIGNIFICA FAR PRATICA

Fare pratica non è la meccanica ripetizione di un’azione, ma l’esecuzione consapevole, eventualmente ripetuta, di quest’azione. Se voglio imparare a fare canestro, non serve molto che io faccia 100 tiri al giorno se nessuno m’insegna come devo tirare. Questo è solo un provare e riprovare piuttosto sterile. La pratica intenzionale deve mirare prima all’apprendimento dei componenti del “Tirare a canestro” per arrivare alla loro esecuzione fluente. I 100 tiri al giorno,sono intesi come esercizio per mantenere la fluenza di quanto appreso. Kobe Bryant, uno dei top players della NBA ne fa anche 800 di canestri al giorno per mantenere il suo livello di performance (1).

bryant

Kobe Bryant… 800 canestri al giorno per rimanere un top player

Come la pratica sportiva sviluppa muscoli e competenze, la “pratica comportamentale” sviluppa attenzione ai segnali e fluenza nelle risposte. La pratica deve essere intenzionale, mirata al raggiungimento di un risultato specifico e il suo esercizio coinvolge tutte e due le parti della relazione allievo-insegnante. L’allievo focalizza la propria attenzione su quello che gli viene richiesto, l’insegnante deve essere pronto a rinforzare i risultati dell’allievo e preparare il giusto ambiente dove l’allievo possa avere successo. Ci sono anche casi in cui è meglio lasciar perdere. Se non si riesce a tenere a freno un bambino dentro un supermercato, o un cane in presenza di un gatto, meglio evitare di mettere gli allievi in situazioni in cui facilmente falliranno le nostre aspettative. Sono nostre aspettative, non loro. Il cane, o il bambino al supermercato, sono perfettamente a loro agio con i comportamenti che un certo segnale fa loro esibire. La responsabilità della pratica è dell’insegnante.

Cosa potrei fare per ottenere “bassa voce” durante TUTTI i nostri pasti? Rinforzare costantemente tutte le emissioni di “bassa voce” in un ambiente dove sia facile ottenere questo e muovere gradualmente verso situazioni più difficili: cena con i nonni o in Pizzeria. Nelle situazioni difficili devo stare attento di rinforzare con generosità il comportamento e di ignorare le esibizioni del comportamento opposto. Come insegnante non devo mai dare per scontato che un certo livello di competenza in un certo ambiente possa essere generalizzato. Come dice il proverbio: “Non si smette mai d’imparare”.

SOLUZIONI. I principi della “Grotta di Aladino” e delle “Mani occupate”.

Il TAGteach (il Clicker Training funziona efficacemente allo steso modo) consegna ad insegnante ad allievo un punto d’attenzione (il tag point) su cui concentrare l’attenzione. Il tag point indica chiaramente cosa esibire dato un certo segnale e con precisione chirurgica lo rinforza. La pratica consapevole fa ripetere ciascun tag point tante volte quante ne sono necessarie per acquisire con fluenza l’esibizione del comportamento. Diventa semplice in queste condizioni riuscire a rinforzare qualcosa, piuttosto che il contrario. Possiamo continuare a condizionare il nostro segnale anche in presenza di nuovi, concomitanti stimoli. Per tornare al Basket posso rinforzare una determinata posizione del gomito prima del tiro, sia quando il giocatore è fermo, sia quando si sta muovendo, pressato da qualche avversario.

Meno semplice -ma non deve essere una giustificazione per l’insegnante- riuscire a capire quando e come, il rinforzo funzionerà o meno.

Sempre Alessandro era piuttosto difficile da gestire al supermercato. Qualsiasi cosa in vista sugli scaffali andava bene per essere messa nel carrello (soprattutto guanti lavapiatti… Vedete? Non si può mai sapere dove si trovi il Rinforzo…)- Per cui anziché cercare di bloccare la sua voglia di spese folli ho dato qualcosa su cui concentrarsi, un nuovo segnale. Per prima cosa ho iniziato a prendere una piccola cosa per lui (non puoi entrare nella grotta di Aladino e non metterti in tasca nemmeno una monetina…) una Coca Cola piccola o un piccolo pacchetto di patatine. Se hai le mani impegnate a tenere in mano una cosa che ti piace, farai più fatica a prendere dell’altro dagli scaffali. Poi siamo passati alla fase lista della spesa. Insieme abbiamo disegnato, a casa, la lista della spesa. Insieme abbiamo dichiarato che si prendeva solo quello che c’era sulla lista della spesa (ovviamente, secondo il principio della “Grotta di Aladino nella spesa era compresa la piccola Coca Cola).

Infine, siamo andati a fare la spesa. Alessandro aveva in mano il foglio della lista e pennarello: il suo compito era quello di spuntare la lista man mano che i prodotti finivano nel carrello (possibile tag point: “Spunta la lista”). Il bambino, in questo modo, viene responsabilizzato e si concentra su uno specifico compito: fa pratica nel fare qualcos’altro, Inoltre con lista e pennarello in mano, le mani sono occupate e non possono afferrare guanti e altre cose. Disegnare la lista, spuntarla sono aiuti per il bambino che può in questo modo affrontare il supermercato senza “cedere” agli altri stimoli ambientali. Una volta ottenuto il successo e fatto pratica, gli aiuti possono, progressivamente, scomparire.

carrello della spesa

INSEGNARE

Cosa ho veramente insegnato? Non ho insegnato: “Al supermercato niente capricci perché tanto non si prende niente”. Ho insegnato che il segnale “Supermercato” rinforza comportamenti quali: “scrivere la lista”; “prendere quello che c’è sulla lista” e “prendere 1 Coca Cola”. “Supermercato” condiziona una serie precisa di comportamenti. Tutto il resto esula dal contesto e viene (come ogni comportamento indesiderato) ignorato. Non posso insegnare “non si prende niente”; Ogden Lindsley diceva che non si possono insegnare cose che un morto può fare. Sempre, devo cercare di dare qualcosa da fare in presenza di un segnale. Un essere vivente è tale perché sta facendo qualcosa. Uno stimolo, un segnale è tale perché da qualcosa da fare al cervello. Se noi insegnanti non indichiamo cosa da fare, l’allievo troverà, naturalmente, qualcosa da fare (2). Il cervello è creato per prestare attenzione agli stimoli ambientali. Non possiamo insegnare a non fare, al contrario, possiamo insegnare quali comportamenti verranno rinforzati da un determinato segnale.

Dobbiamo anche essere consci del fatto che il comportamento non è statico e fisso; piuttosto è fluido e malleabile. Qualche volta le cose possono non andare come sono sempre andate. Io sono sempre pronto a comprare un altro paio di guanti.

NOTE:

(1) 10 Years of Silence: How long it took Mozart, Picasso and Kobe Bryant to be Successful

(2) How to Train Your Brain to Stay Focused

Teaching cues, not behaviors (part 2)

Pubblicato: gennaio 15, 2014 in Uncategorized

 

This is Skinner’s tale about the discovery of Shaping:

“In 1943 Keller Breland, Norman Guttman, and I were working on a war-time project sponsored by General Mills, Inc. Our laboratory was the top floor of a flour mill in Minneapolis, where we spent a good deal of time waiting for decisions to be made in Washington. All day long, around the mill, wheeled great flocks of pigeons. They were easily snared on the window sills and proved to be an irresistible supply of experimental subjects… This was serious research, but we had our lighter moments. One day we decided to teach a pigeon to bowl. The pigeon was to send a wooden ball down a miniature alley toward a set of toy pins by swiping the ball with a sharp sideward movement of the beak. To condition the response, we put the ball on the floor of an experimental box and prepared to operate the food-magazine as soon as the first swipe occurred. But nothing happened. Though we had all the time in the world, we grew tired of waiting. We decided to reinforce any response which had the slightest resemblance to a swipe—perhaps, at first, merely the behavior of looking at the ball—and then to select responses which more closely approximated the final form. The result amazed us. In a few minutes, the ball was caroming off the walls of the box as if the pigeon had been a champion squash player. The spectacle so impressed Keller Breland that he gave up a promising career in psychology and went into the commercial production of behavior”. (1)

In an article written in 1958 Skinner clarified what was, for him, the key component for effective Shaping:

“In the acquisition of a bowling response in pigeons 3 points are relevant:

– The temporal relationships between behavior and reinforcement are very important.

– Behavior was set up through successive approximations.

 – Behavior gradual “shapes up” by “reinforcing crude approximations of the final topography instead of waiting for the complete response”(2).

What, in my opinion, Skinner meant by “shapes” and “raw approximations” is the conditioning of behavior to environmental signals: experimental box, toy pins and ball. Obviously, if I, as a teacher, wait for the exhibition of what I mean being the goal behavior right from the beginning, given the lack of relation (conditioning) between cues and pigeon’s behavior, the animal can never be reinforced and will likely quit the task. But by strengthening the emission of selected behaviors that progressively shape the learner toward the goal behavior, the conditioning will take place and, as Skinner says, our pigeon will prove to be a Bowling Champion.

So it happens with the potter as well: the possibility of the finished shape of the pot is already contained in the clay that is being worked. Indeed it is necessary to precisely shape it. We can also throw the clay on the wheel, but the chances of getting a vessel will be extremely low. The physical characteristics of the clay contain the necessary elements so that it can be modeled. A block of marble or a piece of iron can never be molded – by hand- into a pot. There is not a chance: in their physical characteristics it is not present the possibility of “manual modeling”. As for the clay, or our student – physically – is able to exhibit the behavior or this will never can be taught. Michelangelo could already see the shape of his statues inside the rough blocks of marble: he could try to hit with a hammer randomly the marble trying to create a David, or he could shape it one hit at a time, with approximation -and success- to the final result.

 

david michelangelo

Skinner writes: “A solution is a response that exists in some strength in the repertoire of the individual, if the problem is soluble by him.” In other words: or you can exhibit a given behavior, or you cannot. This skill cannot be taught.

Teaching is to condition the emission of a specific behavior, or of a chain of behaviors, to a given signal. How do we make this happen? If I decide to teach my dog a target nose (the dog touches her nose to the palm of the hand), I have to be sure–or I have to arrange the conditions–that my hand is a clear and new cue with respect to the environment. This is true even if I have to put a piece of food between my fingers to encourage the dog to touch with her nose. Moreover, it is the hand that cues–loud and clear–“Touch me with your nose!”. For this reason the hand should be presented in the same position in order to become a clear signal that affects a specific behavior .

From animals to humans, this pattern does not change, We do, however, have one more tool with humans that we don’t with other animals: the use of language. This gives us a huge advantage in that we can more clearly define the relationship between cue and behavior. In other words, we can specify what to do when a cue is presented. In the following example the cue is the opportunity to shoot for the basket.

THE LESSON IS: “When we shoot the ball, we must have our right hand under the ball with the wrist at eye level. The right forearm is vertical to support the ball. Left hand is resting on the side of the ball to give a guide. The center of the palm of the left hand is resting on the maximum circumference of the ball. the toes look the basket, feet are shoulder-width apart, knees slightly bent and your back is slightly bent forward“.

What is the clear cue to condition this set of behaviors, assuming that the student knows how to do these things? If you are visually impaired, you can not put your toes toward the basket by yourself (the iron can’t be shaped like the clay). The cue is the opportunity  to shoot the ball and not the basket itself. We shoot when we’re reasonably sure to have the chance to score… This involves, at least: being close enough to the basket and having time for aiming the basket. This opportunity is the cue activating the behaviors chain. Obviously we have to teach (to shape) how to put together a whole sequence so that it becomes fluent: performed automatically when the cue occurs. We need to avoid overloading the working memory of the student who would otherwise not be able to hold together all the instructions in his or her memory. Michelangelo created his works one step at a time. Then we will choose the first component to be conditioned to “shoot for the basket .”

THE INSTRUCTIONS ARE: “When we shoot the ball, we focus on the basket. The easiest way to do this is to point your feet toward the basket. Start from the center, go to the cones (placed on the floor around the basket to indicate where to throw) and shoot. Feet are pointed toward the basket.

We have reduced the amount of information. If we deliver too many steps, at least some get lost in the working memory and the behaviors that will be exhibited in the presence of the cue will be poor in reference to our goals. Therefore we choose a single point of attention, just one behavior to start to signal “shoot for the basket.”

THE TAGPOINT IS: “Feet to the basket”.

The sound of the marker, the click or “TAG,” indicates the learner’s success and affects the behavior, further strengthening it: when there is a basket and you have the chance to score, just put the feet toward the basket. Once we have this behavior fluent we can, gradually, add the following steps. Finally, the opportunity to shoot for the basket will determine the position of the feet that will then effect the shoulders, the legs, and so on.

Let me be crystal clear: I have not taught to point the feet toward the basket. What I have taught is that at the cue: “shoot for the basket” what has the greatest chance of being reinforced (because it increases the chances of scoring) is if the feet point the basket. In Skinner ‘s example of shaping the pigeon: the pigeon knows how to hit a ball with its beak. What Skinner has taught us is that, given the presence of the ball and skittles (cues) that will be reinforced (or will have the opportunity to be reinforced) will be: ” Hit the ball in a certain and specific direction”.

____________________________________

NOTES:

(1) PETERSON G.B., A day of Great illumination – Skinner’s discovery of Shaping, ” Journal Of The Experimental Analysis Of Behavior”,82, (November 2004), p. 317–328. Breland ended being quite famous (and rich) training animals for show, movies and TV series.

(2) SKINNER B.F., Reinforcement today, “American Psychologist”,13 (1958), p 94-99

 

B.F. Skinner racconta come ha scoperto lo shaping :

“Nel 1943 Keller Breland, Norman Guttman, ed io stavamo lavorando su un progetto militare sponsorizzato dalla General Mills, Inc. Il nostro laboratorio si trovava all’ultimo piano di un mulino a Minneapolis, dove abbiamo trascorso un bel po ‘di tempo in attesa che a Washington prendessero delle decisioni. Per tutto il giorno, intorno al mulino, giravano grandi stormi di piccioni. Restavano facilmente intrappolati sui davanzali ed erano una “fornitura” irresistibile di soggetti sperimentali. .. . Il nostro era un progetto di ricerca serio, ma abbiamo avuto anche dei momenti più leggeri. Un giorno abbiamo deciso di insegnare a un piccione a giocare a bowling. Il piccione doveva lanciare una palla di legno per una pista in miniatura verso dei birilli giocattolo, lanciando la palla con un forte colpo del becco. Per condizionare il comportamento, abbiamo messo la palla sul pavimento di una scatola per esperimenti e ci siamo preparati per consegnare il cibo non appena il primo colpo si fosse verificato. Ma non è successo niente. Anche se avevamo tutto il tempo del mondo, ci siamo stancati presto di aspettare. Abbiamo quindi deciso di rinforzare ogni risposta che avesse la minima somiglianza con un colpo alla palla, a costo in un primo momento, di rinforzare anche il solo guardare la palla e quindi per selezionare le risposte che più strettamente si avvicinavano al comportamento finito. Il risultato ci ha stupito. In pochi minuti, la palla veniva scagliata fuori della scatola come se il piccione fosse sempre stato un campione di bowling. Lo spettacolo impressionò talmente Keller Breland da indurlo a abbandonare una promettente carriera in psicologia per entrare nel business della produzione di comportamento”. (1)

In un articolo del 1958, Skinner chiarisce quali sono, secondo lui gli “ingredienti” necessari per uno shaping efficace:

“Per l’acquisizione del comportamento di giocare a bowling nei piccioni 3 punti sono rilevanti:

a)      I rapporti temporali tra comportamento e rinforzo sono molto importanti.

b)     il comportamento viene creato per approssimazioni successive.

c)      Il comportamento si modella gradualmente rinforzando approssimazioni grezze alla topografia finale (del comportamento) invece di aspettare la risposta completa“.(2)

Quello che, secondo me, Skinner intende con “modella” ed “approssimazioni grezze” costituisce il condizionamento del comportamento ai segnali ambientali: scatola, birilli e pallina di legno. Ovvio che se aspetto l’esibizione di quello che io, come insegnante, intendo come comportamento finito fin dall’inizio, data la mancanza di relazione (condizionamento) tra segnali e comportamento il piccione potrebbe anche non venire mai rinforzato e quindi lasciar perdere. Ma rinforzando l’emissione di comportamenti selezionati che progressivamente modellano il comportamento finale, il condizionamento avverrà e, come dice Skinner, il nostro piccione si rivelerà essere un campione di Bowling.

Un po’ come il vasaio: la possibilità della forma finita del vaso è già contenuta nell’argilla che viene lavorata. E’ necessario, appunto, modellarla. Possiamo  anche buttare l’argilla sul tornio, ma le probabilità di ottenere un vaso saranno estremamente basse. Nelle caratteristiche fisiche dell’argilla sono contenuti gli elementi necessari affinchè possa essere modellata. Un blocco di marmo o un pezzo di ferro non potranno mai venire modellati -a mano- in un vaso. Non ne esiste la possibilità: nelle loro caratteristiche fisiche non è presente la possibilità del “modellaggio manuale”. Come per l’argilla, o il nostro allievo è -fisicamente- in grado di esibire il comportamento o questo non potrà mai venire insegnato. Michelangelo vedeva già la forma delle sue statue all’interno dei blocchi grezzi di marmo: poteva provare a prenderli a martellate a caso per vedere se ne usciva il David o poteva modellarli, con approssimazione -e successo- verso il risultato finale.

david michelangelo

Scolpire un blocco di marmo è come modellare un comportamento…

Skinner scrive: “Una soluzione (a un problema) è una risposta che esiste già con qualche forza all’interno del repertorio di un individuo, se è in grado di risolvere il problema”. Parafrasando: o si è in grado di fare una cosa o non lo si è e questa abilità non può venire insegnata.

Insegnare diventa, quindi condizionare l’emissione di uno specifico comportamento o di una catena di comportamenti a un determinato segnale. Come fare in modo che questo avvenga? Se decido di insegnare al mio cane un target naso (il cane tocca con il naso il palmo della mano), devo essere sicuro -o fare in modo- che la mia mano sia un chiaro e nuovo segnale rispetto all’ambiente. Anche a costo di dover mettere un pezzetto di cibo tra le dita per incoraggiare il cane a toccare con il naso. E’ la mano che segnala a chiare lettere: “Toccami con il naso!” e per questo motivo la mano deve essere messa sempre nella stessa posizione in modo da divenire un chiaro segnale che condiziona uno specifico comportamento.

Dagli animali alle persone lo schema non cambia, Abbiamo, però uno strumento in più: l’uso del linguaggio. Questo ci dà un grandissimo vantaggio a patto che sia sempre chiaramente definita la relazione segnale – comportamento. Ovvero cosa fare quando un dato segnale appare. Nell’esempio seguente il segnale è l’opportunità di tirare a canestro (3).

LA LEZIONE E’: “Quando tiriamo a canestro dobbiamo avere la mano destra sotto il pallone, con il polso all’altezza degli occhi. L’avambraccio destro è verticale a sostenere la palla. La mano sinistra è appoggiata sul fianco del pallone per dargli una guida d’appoggio. Il centro del palmo della mano  sinistra è appoggiato sulla massima circonferenza del pallone. Le punte dei piedi guardano il canestro, i piedi sono alla larghezza delle spalle, le ginocchia sono leggermente piegate e la schiena è leggermente flessa in avanti”.

Qual è il segnale chiaro per condizionare questa serie di comportamenti, dando per scontato che l’allievo sappia fare queste cose? Se è ipovedente non può mettere le punte dei piedi verso il canestro autonomamente (il marmo non può venire modellato a mano). Nel nostro caso è “tiriamo a canestro”, ovvero l’opportunità di fare punto. Questa opportunità è il segnale per esibire la sequenza di comportamenti. Ovviamente dobbiamo insegnare a mettere insieme tutta la sequenza in modo che questa diventi fluente: ovvero che venga esibita automaticamente non appena il segnale si presenta. Dobbiamo evitare di sovraccaricare la memoria di lavoro dell’allievo che altrimenti non riuscirà a tenere insieme in memoria tutte le istruzioni. Michelangelo creava le sue opere un passaggio alla volta. Sceglieremo quindi il primo componente da condizionare per “tirare a canestro”.

LE ISTRUZIONI SONO: “Quando tiriamo a canestro dobbiamo orientarci verso l’anello. Il modo più veloce per farlo è quello di puntare i piedi verso il canestro. Parti dal centro vai verso i coni (messi sul pavimento intorno al canestro per indicare da dove tirare) e tira a canestro. I piedi sono puntati verso il canestro”.

Abbiamo ridotto l’ammontare delle informazioni. Se ne diamo troppe vengono perse dalla memoria di lavoro e i comportamenti che verranno esibiti in presenza del segnale saranno di povera qualità in riferimento ai nostri obiettivi. Pertanto scegliamo un solo punto d’attenzione un solo comportamento da condizionare, per iniziare, al segnale “tirare a canestro”.

IL TAGPOINT E’: “Piedi verso il canestro”.

Il suono del marker segnala il successo e, rinforzandolo, condiziona il comportamento: quando c’è un canestro e c’ è da tirare, li piedi puntano verso il canestro. Una volta condizionati i piedi possiamo proseguire, aggiungendo progressivamente  il resto della sequenza. Alla fine l’opportunità di tirare a canestro condizionerà la posizione dei piedi che condizionerà quella delle spalle, delle gambe etc etc…

Pallacanestroo tiro libero

Ripeto: non ho insegnato a puntare i piedi verso il canestro. Quello che ho insegnato è che, al segnale: “tirare a canestro”, quello che ha la maggiore probabilità di venire rinforzato (perché aumenta le probabilità di fare canestro) sarà: “Piedi verso il canestro”. Nel caso citato dello shaping del piccione di Skinner: il piccione sa colpire una palla con il becco. quello che Skinner ha insegnato è che, data la presenza di palla e birilli (segnale) quello che verrà rinforzato (o che avrà l’opportunità di venire rinforzato) sarà: “manda la palla in una determinata e specifica direzione: verso i birilli”.

 _______________________________________

NOTE:

(1) PETERSON G.B., A day fo Great illumination – Skinner’s discovery of Shaping, ” Journal Of The Experimental Analysis Of Behavior”,82, (November 2004), p. 317–328. Breland divenne piuttosto famoso (e ricco) come addestratore di animali per spettacoli, film  e TV.

(2) SKINNER B.F., Reinforcement today , “American Psychologist”,13 (1958), p 94-99

(3) Il segnale è l’opportunità di tirare a canestro e non il canestro di per sè perchè si tira quando si è ragionevolemente sicuri di fare centro. Inutile tirare da una parte all’altra del campo….

Teaching cues, not behaviors (part 1)

Pubblicato: gennaio 4, 2014 in Uncategorized

Many thanks to my dear friend, Ted DesMaisons, who edited the English version for the articles of this series.Ted runs an amazing Blog about learning, teaching, meditation and improvisation: http://tedwordsblog.com/

The environment bombs us with stimuli. We learn to respond to these stimuli or–at least to those relevant stimuli–important for our “survival ” through the exhibition of certain behaviors. Inside the classroom you are – hopefully – seated; in the gym you train; in the agility yard, you (your dog, actually) jump the hurdles.

Learning consists of coming to know what behavior to exhibit, under certain conditions: we call these conditions cues. The behaviors become conditioned to these signals. When I type on the keyboard, I learn that to get the letter “A”, which I have learned, represents the sound “a”, I need to hit a given key <A>.

Una tastiera... quanti segnali da discriminare!

A keyboard… how many cues to dscriminate!

I do not learn to hit the key: I do learn under what conditions hitting the <A> key will work and it will be- reinforced. If you want to write “casa” (“home” in Italian), there are two sounds “A” that reinforce hitting the key <A>. If I, instead of <A>, type <E> I’ d get “Cese”, a word that has no meaning in my language and, for this reason, will not bring any reinforcement . Even my dog, Akira, knows how to hit on a keyboard; what he doesn’t know and he will never be able to do, given his physical-cognitive skills, is to discriminate the meaning of hitting the <A> key. (I can shape this behavior, but, to the dog, it will not have ever had the same meaning it will have for an human being.) Without disturbing my border collie, who, after his daily walk lies blissfully asleep, my son (5 and a half years old) knows how to hit on the keyboard. He can also send a text message to his older cousin: ”AIHHIHEEEEEE4444FDFFFF FFFFFFFFFFFFFFHJH” which means “Hello , how are you?”

Which is the skill that the kid should learn? Not the behavior of tapping the keys —he already knows that- but to discriminate when the tapping works (reinforcer) to hit the <A>. In other words, he has to learn to write.
Again, this is not to teach new physical motor skills. These skills are either present in the repertoire of the individual or are not, and cannot , therefore, be taught. These are things that will come, “naturally”, with the cognitive – psycho- physical development of the person in a natural and normal environment. Genes are activated progressively throughout the lifetime, to ensure in every moment the best behavioral resources and, consequently, the best chance of survival. This heritage of behaviors is shaped by the environment that selects both what behaviors will remain and when it will be appropriate to exhibit them. If I play soccer I know that it is appropriate to wear a certain uniform for the game, the same behavior: ”wearing my soccer team’s uniform” will not be reinforced by a romantic date. The behavior is the same, what changes are the cues. The game is a cue that, when it occurs, is the condition for which it makes sense to wear the soccer uniform, or rather, it will be reinforced. But the wearing behavior is not taught: or one individual is biologically able to wear the suit or he/she’s not . For this reason I will never get to teach Akira to dress himself with shorts: He lacks the right joints, the opposable fingers. Most importantly, he doesn’t have the cognitive skill to discriminate the “usefulness” of wearing the shorts.

What is taught is the conditioning of behavior given a specific cue. For this reason we must pay close attention so that, in the learning environment in which we operate, there are no other cues that may distract or confuse the student. If you teach a dog a hand target, the cue, presenting the hand, must be absolutely consistent, as is a traffic light when it turns red.

You can Imagine what could happen if traffic lights at different crossings would come in different sizes or in slightly different colors : larger or smaller, emerald green or lime green, … How many car accidents would happen then?

A cue that influences the behavior is always present during teaching. Shaping, in my idea, is not teaching in gradual increments a certain behavior, but, rather, is conditioning, in gradual increments, a given cue.

Trovate le differenze…

Ted DesMasions and me  are tuned. Although we live more than 5000 km far away. I wrote the first post on the punishment and  a couple of days later, he brought a second on the same subject. I read the second post and I had the idea for what I’m about to share with you. Ideas are bouncing across the Ocean 😉

Ted coaches a softball team and he plays this drill: “So we use Queen of the Hill. Throwing pairs line up with one partner on the left field foul line and the other in foul territory. Each pair leaves eight feet or so of space between themselves and the next pair so the group as a whole extends down the foul line. The two closest to home plate qualify as “Queens of the Hill,” and the others aspire to move up into that spot. Girls maintain their relative position by completing a clean throw and catch. If a pair overthrows a target or flubs a catch, that pair cedes their spot in the ‘hierarchy’ and sprints to the bottom spot along the foul line.[1] If they forget (or choose not) to actually sprint, the whole team stops, drops their gloves, and comes to the foul line for a single wind sprint out past centerfield and back. Then they all resume their places in the chain and continue”. The question  Ted addresses to himself and also to us, readers, is the following: Am I punishing the girls? Punishment comes after the unwanted behavior (poor performing) and should reduce the frequency of that behavior. Right? The question I pose to you, however, is this: what if you  sprints do increase the frequency of correct execution of the drill? What sprints becomes in this case? Technically they become the negative reinforcement for the desired behavior. Right?

Confused [1]? Reinforce one thing, means, necessarily punish another, or at the very least, negatively reinforce another. Take the case of Clicker Training. While I’m marking and reinforcing a behavior with food I am -at the same time- punishing / negative reinforcing everything else. One behavior increases in frequency (and this is part of the definition of reinforcement) and the rest decreases frequency (definition, this time, for punishment). A first explanation could come from the scientific theory:

1 – Reinforcement  happens during the behavior; punishment doesn’t ( I beat the dog that ALREADY peed on the carpet).

2 – Negative reinforcement can be avoided by changing behavior;  punishment doesn’t (I pull the rein, and in response the horse turns her head. The dog has nothing to change while she is beaten because she peed) .

When I decide that Akira, my border collie, is ready to learn a new criteria, the dog will –of course- try a few times to make me “Click!” performing the old criteria. My ignoring Akira’s behaviors, holding the “Click!” is, in fact, a punishment (I give something that the dog does not want – I hold the food- to decrease the frequency of a behavior: those that do not meet to my criteria). At the same time I’m reinforcing behaviors that meet my criteria.

I’m playing a little bit on the edge of the cliff, I know perfectly well that Clicker is -OBVIOUSLY- different from a stick.

In my opinion, though not often mentioned in the books, the only real yardstick for distinguishing punishment from reinforcement is both the role of the receiver and timing.

1 – Teacher’s action can be avoided by the receiver? Reinforcement. [2]

2 – Teacher’s action can not be avoided by the receiver? Punishment.

If the action is still contemporary to behavior it’s a reinforcement, otherwise we are in the field of punishment. [3]

Before going further still, just consider this: when we beat the dog for  peeing, or the boy for coming home late, what are we, EXACTLY, punishing? Behavior or who did it? I’m punishing the pee and the delay or the dog and the boy? In short, are we teaching or simply taking our revenge? Before get into any situation where something has already happened, let’s ask to ourselves whether our intervention will change things for the better: if the answer is yes, we can proceed, otherwise it is better to think of something else. [4] This idea is not mine but it’s from Dr. G. Lathman [5]. Most of the time our “punishments” are directed against those who have misbehaved. They are no longer teaching, but  revenge or vent for our frustration. Let’s stop for a moment to analyze the situation: we can realize the aims of our intervention and change them accordingly.

So, what’s Ted doing with his girls? Is he punishing behavior or  is he reinforcing  others one? Is he taking is revenge against something?

The athletes are training. If we could define training as a “macro-behavior”, we could say that Ted is reinforcing more or less negatively his girls. Ted’s interventions are contingent on behavior (which is the training in its entirety), but they can also be avoided by the girls (just by getting more engage in the next round). Knowing Ted, I can also say that his intents are to reinforce the correct behavior and do not punish anything else. Dealing with behaviors intentions count. Pretty much.

The true difference is in the quality of information that we communicate to our students. The more the environment is positive (Clicker Training and TAGteach in my practice), the more information will be easy, available and shared. It will be less “heavy” from the point of view of the emotional arousal, less unbalancing for the receiver. As we move and get closer to the edge of coercion information’ quality deteriorates, it becomes difficult, very heavy and very unbalancing. Only people who are particularly “gifted” and with  iron-gutt, are able to teach with these tools. A great skill is needed to be able to communicate just saying “No”. It ‘much easier to create confusion and fear than learning.

Do You want a proof? Do this game with someone. You can be in the group but it’s good also if you are only two. Who will be trained exit from the room. The group decides what to get him to do on his return (things easy for charity: take a book, sit in a chair). In return the teacher can guide his pupil just saying “Yes” (or using a clicker, if you have one at hand, marking every behavior towards the right direction). Then reverse roles. Bring out the trainer, choose a new behavior and guide him, this time, only using the word “No” (for which just stop every wrong thing he does). Is there something different between the two procedures?

Play yourself the role of the student and try to get you  driven  both ways: do you feel any difference?

 

[1] I will always remember with pleasure the confusion I had in mind after the conference Prof. Ruiz Rosalez gave to Clicker Expo 2012. Conference with similar arguments to those Idiscussed here. With great skill, the professor has led us to be almost unable to distinguish between reinforcement and punishment.

[2] With “teacher” I indicate who or what is acting upon the receiver.

[3] Question: if it rains and I have my umbrella, rain reinforces my “have an umbrella with me.” And if it doesn’t’ rains? Bring my umbrella is punished by the lack of rain (I cannot order  rain  ..). Unless, as soon as I reaIize the sunny day I  go back home to leave the umbrella. The sun negatively reinforces my “having the umbrella”. At this point, between punishment and reinforcement the meter is convenience: better to lose 3 minutes and return home, or to carry around all day a useless umbrella? If the next time, with the sun, I will not take the umbrella this will mean that taking out the umbrella with the sun  the previous day, was negatively reinforced (I do not like the concomitant presence of sun and umbrella, reinforcing  my “leave umbrella home” next day). What a beautiful mess isn’t it?

[4] Beating the dog improves the status of my carpet? I would say no. Maybe the dog was too much time alone in the house, maybe he has a little problem in the bladder or maybe I took it out too early this morning …

[5] “Unless what you are about to say or do has a high probability for making things better, do not say it and do not do it.” Lathman: “The Power of Positive Parenting”