Klickertraining: Klick und ... Immer belohnen?

Zafira weiß, wie unterschiedlich Belohnungen sein können.

Als Klickertrainer saugt man es quasi mit der Muttermilch auf. Auf jeden Klick folgt immer ein primärer Verstärker. So habe ich es gelernt, so gebe ich es in meinen Kursen weiter. Aber man muss auch seine festen Überzeugungen regelmäßig hinterfragen. Stimmt das denn überhaupt, dass man immer den Klick mit einer Bestärkung/Belohnung verknüpfen soll?

Der Hintergrund, dass man das so macht, liegt in den Eigenschaften der klassischen Konditionierung. Ein (ursprünglich) neutraler Reiz wird mit einem zeitlich darauf folgenden angenehmen Reiz (der Belohnung) verknüpft und erhält so eine Stellvertreterfunktion für die eigentliche Belohnung. Wird der Klick mit vielen verschiedenen Belohnungen verknüpft, generalisiert sich der Klick in dieser Funktion und wird unabhängig von einer bestimmten Bedürfnislage des Hundes. Dann wirkt der Klick auch bei einem nicht besonders hungrigen Hund, dem mehr der Sinn nach Spielen oder Laufen steht.

Auf den Beipackzetteln der ersten Klicker, die es vor Jahren zu kaufen gab, stand der Hinweis, man könne mit der Zeit die Belohnungen abbauen und es würde ausreichen, wenn man nur noch klickt. Das funktioniert so allerdings nicht, weil mit der Zeit der Klick-Ton seine Bedeutung verliert, etwas Gutes anzukündigen. Eine Zeit lang reagiert der Hund natürlich noch auf den Klick, aber die Reaktion wird schwächer und verzögert sich immer mehr. Darum lautet also die Regel: Klick UND Belohnen! Was man stattdessen macht, ist die Kriterien anzuheben. Es wird eben nicht jedes mal geklickt, sondern nur für die besseren Versuche.

Bob Bailey

Aber bereits wenn man Bob Bailey zuhört, lernt man, dass diese Faustregel eben genau das ist: Nur eine Faustregel. Bob Bailey wird nicht müde zu betonen, dass im Tiertraining wir auf den Schultern Pawlows sitzen und der primäre Verstärker eben immer noch die primäre Quelle der Verhaltensverstärkung ist. Trainiert man sehr komplexe Verhaltensweisen, bei denen es auf ein hohes Maß von Exaktheit ankommt, so empfiehlt Bailey bei einem Fehler, wenn man fälschlich klickt, nicht den primären Verstärker zu geben, weil es den Fehler schlimmer machen kann.

Aus eigenem Erleben weiß ich, dass es Situationen gibt, in denen ein einziger Fehlklick einen Trainingsaufbau um einige Zeit zurückwerfen kann. Womit einer anderen weit verbreiteten Faustregel des Klickertrainings widersprochen werden kann, nämlich der, dass das Klickertraining völlig fehlertolerant sei. Das ist es nur im Aufbau und bei hinreichend unklar definiertem Zielverhalten. Je präziser ein bestimmtes Verhalten sein soll, desto wichtiger ist exaktes Markieren, des richtigen Verhaltens. Mit den Worten Baileys: "You get, what you click!", man kriegt, was man klickt und wenn man schlecht klickt, kriegt man schlechtes bzw. unerwünschtes Verhalten.

Die wissenschaftliche Theorie hinter der operanten und klassischen Konditionierung hat nun einige Jahre auf dem Buckel. Ihr Ansatz, das Tier lediglich als black-box zu betrachten und nur Ein- und Ausgabe zu messen, war einmal sehr wichtig, um das "vermenscheln" des Tieres zu verhindern. Es gab keine adäquate Methode "in die Köpfe" der Tiere zu schauen. Das hat sich in den letzten Jahrzehnten geändert. Die Neurowissenschaften gestatten es mittlerweile einen anderen Blick auf das emotionale Geschehen beim Training zu werfen und man hat wissenschaftlich verstehen gelernt, was Praktiker ohnehin wussten, dass es im Tiertraining durchaus auch auf mehr ankommt, als nur die Rate der Belohnungen.

Einer der führenden Forscher auf diesem Gebiet war der inzwischen emeritierte Jaak Panksepp. Im gelang es verschiedene Basisemotionen zu identifizieren, die alle Tiere teilen: Suche, Furcht, Wut und Panik. Insbesondere die "Suche" ist eine Eigenschaft von Lebewesen, die für das Training interessant ist. Sie lässt das Tier nach primären Verstärkern suchen. Die Belohnung wird aktiv angestrebt und je stärker das Tier bereit und aktiv ist, desto besser kann man mit dem Tier trainieren. Solche Tiere sind motiviert zu trainieren, sie wollen trainieren und beteiligen sich mit Begeisterung. Solche motivierten Tiere darf man auch gar nicht zu viel klicken. Das wäre, als würde man sie ständig auf Kindergartenniveau belohnen, obwohl sie eigentlich schon auf dem Weg zum Abitur oder gar Universitätsabschluss sind. Für Pipifax will man selbst doch auch nicht gelobt werden, oder?

Und damit haben wir noch einen Punkt gefunden, bei dem es eben auch egal sein kann, ob man tatsächlich nach dem Klick belohnt. Wenn der Hund so hoch motiviert ist und im "Suchmodus" trainiert, dann reicht vielleicht der Klick und weiterarbeiten und -suchen zu dürfen ist die größere Belohnung, als irgendein doofer Keks. Dessen sollte man sich als Trainer bewusst sein und dem Hund nicht unbedingt eine Belohnung aufzwingen. Letztlich entscheidet immer der Hund, was er als Belohnung empfindet und nicht, was man als Mensch meint, was ihn belohnt.

Für die, die trotzdem Faustregeln haben möchten und tatsächlich ist an Faustregeln ja nichts Schlimmes, wenn man sie nicht für der Weisheit letzter Schluss hält, dann kann man sich folgende Regeln überlegen:

• Klicke und Belohne immer, wenn Dein Hund alles richtig gemacht hat und er eine Belohnung will.
• Erhöhe lieber die Kriterien, als ständig das das selbe schon gekonnte Verhalten zu markieren.
• Achte auf Deinen Hund: Will er ein Leckerchen? Will er spielen? Will er weiterarbeiten?

Hier noch ein Zitat aus einem Artikel von Patricia McConnell, dessen Lektüre der Anlass für diesen Post war:

Experimental research suggests that it is “seeking” rather than “liking” that best motivates an individual to learn. For example, Gadbois mentioned one of Panksepp’s studies in which cats were always given a reward when they touched one object, but only occasionally when they touched a second object. Guess which object the cats touched most? You got it, the second one. That is why Gadbois argues that clicker trainers should not give a treat every time they click. This all makes great sense to me until I think of chocolate, which I would much rather eat than anticipate eating, thank you very much.

No dog left behind

Hunde beim Militär

Auch heute noch werden Hunde beim Militär eingesetzt. Sie erfüllen Aufgaben als Sprengstoffspür- und Wachhunde. Sie werden auch bei den Spezialkräften eingesetzt, um Zugriffsoperationen zu unterstützen. Bei der BBC habe ich gerade einen Bericht entdeckt "The military dogs left overseas", bei dem eine amerikanische Tier und Kinderschützerin,  Dr Robin Ganzer, von der American Humane Association von einer Kampagne berichtet, in der es darum geht, die Hundeveterane nach Hause zu bringen. Diese Hunde wären Helden und hätten es verdient zurück in die Heimat zu kommen und wieder in einer Familie leben zu dürfen. Sie hätten hunderte von Leben gerettet und man müsse das unbedingt für sie tun.

Der Moderator stellt dann zum Abschluss die Frage, ob es denn sein könnte, dass die Hunde deshalb nicht mit nach Hause genommen werden, weil sie schlicht zu gefährlich seien? Darauf hat Ganzer eine klare Antwort: "That is simply not true!", meint sie, dies sei einfach nicht wahr. Die Hunde seien derartig exzellent ausgebildet, dass da nichts passieren könne!

Sprenstoff-, Wach- und Zugriffshunde

Vermutlich hat sie da nur an die Sprengstoffhunde gedacht, oder vielleicht noch gerade an die Wachhunde, die womöglich lediglich mit einer Ausbildung, die nur Beute- und Spielmotivation nutzte, auf ihren Job vorbereitet wurden. Aber gerade bei Kriegshunden kann man es sich in der Ausbildung nicht leisten, wenn die Hunde unter Belastung versagen. In lebensbedrohlichen Situationen reicht aber eine Spielmotivation nicht aus, um das Erlernte zuverlässig abzurufen. Deshalb wird typischer Weise bei Diensthunden, die auch gegen Menschen eingesetzt werden, die Ausbildung auch mit Motivationen der defensiven und offensiven Aggression durchsetzt. Diese Motive "funktionieren" auch unter Stress und die Hunde hauen nicht einfach ab. Natürlich ist es Ziel und Hoffnung der Ausbilder, dass auch diese Hunde immer gehorchen und gesellschaftstauglich bleiben. Das ist auch das Bild, dass die Bundeswehr in ihrem Werbefilm "Kamerad auf 4 Pfoten" zeigen möchte. Ich bin auch sicher, dass das in einigen Fällen gelingt. Aber gibt es Garantien? Kann man behaupten, dass da nie eine Gefahr besteht?

Man muss sich klarmachen, dass Hunde die in der Motivationslage "Aggression" ausgebildet wurden, nicht wirklich immer kontrollier- und steuerbar sind. Sie müssen unter ständig unter Aufsicht bleiben und sollten sich nicht frei bewegen, da niemand garantieren kann, welche Signale bei ihnen, welche Reaktionen auslösen. Das "highly trained" hilft dabei nur, wenn tatsächlich auch jemand dabei ist, der das dann steuern kann. Im miltärischen Einsatz in Afghanistan oder sonst wo auf der Welt geht das sicher unter den Verhältnissen des Einsatzes. Aber in der Heimat im zivilen Umfeld, wenn die Situation viel weniger straff organisiert, strukturiert und kontrolliert ist, sieht das anders aus.

Pannen passieren

Man kann sich auf YouTube ein paar Filme anschauen, die zeigen, was da alles schief gehen kann, wenn die Emotionen hoch gehen. Im ersten "Pannen" Video sehen wir, wie auf einer Demonstration der Hund einer Hundeführerin zunächst die Demonstranten zurücktreibt, dann aber irrtümlich in einen Kollegen hineinhapst. Die Hundeführerin kann den Griff kaum lösen.


Im zweiten Beispiel sehen wir einen Ausschnitt aus einem Film, bei dem es sich anscheinend um eine französische Spezialeinheit handelt, die mit ihren Hunden den Zugriff in speziellen Situationen übt. Interessant, neben den beeindruckenden Leistungen der Hunde, ist insbesondere die Szene ab 0:40, wo der Hundeführer versucht den Hund vom "Täter" wegzunehmen und der Hund sich nun in dessen Hand verbeißt und sich ebenfalls kaum trennen lässt. Da ist viel zu viel Adrenalin im Spiel, als das Hörzeichen noch im Hundehirn ankommen würden.

Natürlich sind auch dies noch "Einsatzfehler". Aber sie lassen ahnen, dass die Steuerbarkeit Grenzen hat, die auch im zivilen Alltag überschritten werden könnten.

Helden sind sie doch

Es ist also wahrscheinlich doch nicht ganz so einfach, Hunde immer in die zivile Gesellschaft zu überführen. Vielleicht ist das einfach ein Ideal, das wir nicht immer erfüllen können. Man sollte das realistisch von Fall zu Fall entscheiden, meine ich. Dass man da durchaus für die Diensthunde ein wenig eingenommen sein sollte, scheint mir auch verständlich und nötig, wenn man schon die besondere Fähigkeiten der Hunde (aus-) nutzt, für ihre Menschen alles zu geben. Darum möchte ich zum Abschluss noch auf den "Held des Jahres: Idor" 2012 verweisen:

"Idors Partner war Robert Sedlatzek-Müller – Fallschirmjäger, Sprengstoffexperte, Hundeführer. Bis zum 6. März 2002: Nahe Kabul explodiert eine russische Flugabwehrrakete, Relikt eines vergangenen Krieges, die Sedlatzek-Müller und seine Kameraden entschärfen sollen. Zwei deutsche und drei dänische Soldaten sterben. „Idors Mensch“ bleibt äußerlich nahezu unverletzt.

Doch innerlich ist er nicht mehr derselbe: PTBS – Posttraumatische Belastungsstörung, eine schwere seelische Verwundung – lautet die Diagnose. Für den Soldaten beginnt ein langer Kampf gegen seine Erkrankung und gegen die Versorgungsbürokratie, den er in seinem Buch „Soldatenglück – Mein Leben nach dem Überleben“ beschreibt. Treu zu Seite steht ihm in diesem Kampf Idor: „Er war mein Therapeut, als es mir am dreckigsten ging“, sagt Sedlatzek-Müller in DOGS."

Konditionierte Entspannung und Fußball

Konditionierte Entspannung auch beim Fußballweltmeisterschafts-Finale?

In der Hunde(schul)szene gibt es einige, die einen großen Aufwand treiben, um mit ihren Hunden ein Entspannungssignal zu üben Dabei werden entweder Dürfte oder aber meist ein langgezogenes monotones Singsangwort verwendet, um den Hund in einer aufregenden Situation entspannen zu können. Im Aufbau (Siehe Video und höre "Iiiiiihsssiiiiih") wird der bereits entspannte Hund mit dem Signal bekanntgemacht und soll dann später - in spannender Umgebung - seine Erregung herunterfahren können, wenn das Signal gegeben wird.

So was könnten heute beim Fußball-WM-Finale sicher sowohl Menschen, wie Hunde gebrauchen. Die Menschen, weil sie womöglich mitfiebern und die Hunde, weil sie die Erregung ihrer Menschen mitbekommen und wegen der Böller (Sorry für die Halter ängstlicher Hunde: Hoffentlich viele!) einiges ausstehen müssen. Aber funktioniert so was?

Wie man's nimmt. Natürlich gibt es Techniken, die helfen mit Stress umzugehen. Autogenes Training oder die progressive Muskelentspannung kann dazu beitragen mit angespannten Situation besser umzugehen. Es gibt auch Techniken die über klassische Konditionierung arbeiten und durch die Verknüpfung (z.B.) eines Druckpunktes an der Hand mit einer entspannten Situation eine gewisse Milderung der eigenen Aufregung herbeiführen. Allerdings funktionieren die nur, wenn die Konditionierung gut ist, häufig aufgefrischt wird und nicht übermäßig genutzt wird. In Situationen, in denen die erregenden Reize ständig neu auftreten und kein gleichmäßiges Niveau haben, können sie nicht (mehr) funktionieren.

Meines Erachtens lohnt sich daher diese Form des Trainings in den meisten Fällen nicht. Der Aufwand überwiegt den Nutzen. Meist ist es besser den Hund (oder sich selbst) zu lehren, mit der stressigen Situation umzugehen. Auch das ist nicht einfach und funktioniert nicht immer, passt aber besser zur Realität. Stress gehört da zum Alltag. Wer Fußball schaut, möchte sich aufregen. Das gehört dazu!