ПОВЕДЕНИЕ ЖИВОТНЫХ. Психобиология, этология и эволюция (Д. Мак-Фарленд) - часть 72

собаки будут выделять слюну в интервалах между сочетаниями по крайней мере на
ранних стадиях эксперимента, Шеффилд (Sheffield, 1965) сообщил, что у его собак 
действительно наблюдалось слюноотделение в промежутках между 
предъявлениями УС, которое с тренировкой постепенно уменьшалось.

17.5. Инструментальное научение

В то время как исследование классических условных рефлексов было начато в 
России, принципы инструментальных условных рефлексов были открыты и 
разработаны в США. Впрочем, первый шaг в этом направлении, по-видимому, был 
сделан в трудах Моргана (Morgan, 1852-1936).
Морган относился критически ко многим современным ему исследованиям по 
психологии животных из-за их слабой методологии и неубедительных толкований. 
В книге "Introduction to Comparative Psychology" («Введение в сравнительную 
психологию») (1894) он провозгласил свое знаменитое правило: «Ни в коем случае 
нельзя считать какое-либо действие результатом упражнения более высокой 
психической способности, если его можно объяснить на основе способности, 
стоящей ниже по психологической шкале». Позднее (1900) он пояснил: «Можно 
добавить, - чтобы пределы применения этого принципа не были поняты неверно, - 
что такое правило никак не исключает взгляда на определенное действие как на 
результат высших мыслительных процессов, если мы уже располагаем 
независимым доказательством их присутствия в действующем агенте».
Морган оказал значительное влияние на развитие бихевиоризма, в особенности на 
Уотсона и Торндайка (Thorndike). В 1896 г. он проводил Лоуэлловские чтения в 
Гарвардском университете, чем побудил Торндайка начать изучение рассудочной 
деятельности животных. Однажды Морган рассказал Торндайку, как его собака 
Тоби научилась открывать задвижку на садовой калитке, просовывая голову между 
рейками штакетника, и тот начал свои исследования вскоре после посещения 
Моргана, разработав способы повторения этого наблюдения в контролируемых 
лабораторных условиях.
Торндайк стал очень заметной фигурой в американской психологии, и полстолетия 
его теории господствовали как в психологии животных, так и в психологии 
воспитания. Один видный его современник писал: «Психология научения 
животных, не говоря уже о научении ребенка, - была и все еще остается прежде 
всего вопросом согласия или несогласия с Торндайком или попытками слегка 
усовершенствовать его представления. Все мы, американские гештальт-психологи, 
по-видимому, открыто или скрыто отталкиваемся от концепций Торндайка». 
(Tolman, 1938.)
Торндайк провел ряд опытов, в которых кошки должны были нажимать на 
задвижку или тянуть за пружину, чтобы, открыв дверцу, выйти из ящика и 
получить снаружи пищу. Ящики были сделаны с вертикальными щелями так, что 
пища была заметна (рис. 17.7). Голодная кошка, впервые посаженная в ящик, 
производит множество действий, в том числе тянется к пище через щели и скребет 
предметы, находящиеся внутри ящика. Наконец она случайно ударяет по 
запирающему механизму и выскакивает наружу. При последующих пробах 
действия кошки постепенно концентрируются вблизи этого механизма, и прочая 
активность со временем прекращается. Нако-

Рис. 17.7. Кошка в одном из торндайковских
проблемных ящиков.

289

нец кошка становится способной правильно вести себя, как только ее поместят в 
ящик.
Торндайк (1898) назвал научение такого типа «методом проб, ошибок и случайного
успеха». Теперь оно называется инструментальным научением, поскольку 
правильная реакция, ведущая к вознаграждению, требует использования 
«инструментов». Цирковые дрессировщики знали о научении такого типа в течение
столетий, но Торндайк первый исследовал его систематически и создал на основе 
своих наблюдений стройную теорию.
Для объяснения изменений, происходящих в поведении животного в этих опытах, 
Торндайк (1913) предложил свой «закон эффекта». Он гласит, что для реакции, за 
которой следует вознаграждение или состояние удовлетворения, вероятность 
повторения возрастает, а для реакции, вызывающей вредное или неприятное 
последствие, вероятность повторения снижается. Таким образом, успех 
инструментального научения приписывается тому факту, что выработанное 
поведение может быть непосредственно изменено его последствиями. Торндайк 
(1911) считал, что подкрепление повышает вероятность реакции, с которой оно 
сочетается, потому что усиливает установленную связь между ней и 
присутствующей стимульной ситуацией. Этот взгляд стал известен как «теория 
научения по принципу стимул-реакция», и варианты этой теории господствовали в 
течение многих лет. Признавая значение закона эффекта как эмпирического факта, 
современные психологи в то же время сомневаются в том, что поведение 
непосредственно модифицируется своими последствиями, как предполагали 
Торндайк и его школа. Чтобы понять это, сначала надо рассмотреть природу 
подкрепления.

17.6. Подкрепление

Между способом проведения опыта по выработке классического условного 
рефлекса и постановкой эксперимента по инструментальному научению 
существует коренное различие. В первом случае связь устанавливается между УС 
(например, звонком) и БС (например, пищей). Подкрепление предъявляется 
независимо от поведения животного. При инструментальном научении 
подкрепление (например, пища) связано с определенным поведением животного 
(например, с нажимом на рычаг). Таким образом, при классических условных 
рефлексах связь устанавливается между стимулом и результатом, а при 
инструментальном научении она возникает между реакцией и результатом. Такие 
различия необязательно означают, что в этих двух типах опытов происходят разные
виды научения, но они говорят о разных процессах подкрепления.
Как мы видели, согласно взгляду Павлова, наличие подкрепляющего стимула в 
определенных условиях приведет к тому, что реакции, вызываемые им, будут 
возникать еще до подкрепления. Ясно, однако, что не всегда подкрепление 
необходимо для проявления выработанных связей между стимулами. Это яснее 
всего видно при рассмотрении феномена, называемого сенсорным 
предобусловливанием. При нем два условных стимула (УC

1

 и УС

2

) применяются 

вместе много раз до того, как в опыт вводится БС. За совместным предъявлением 
УC

1

 и УС

2 

следует сочетание УC

1

 с БС. В заключительной части опыта измеряется 

сила УР в ответ на УС

2

.

Первая четкая демонстрация сенсорного предобусловливания принадлежит 
Брогдену (Brogden, 1939), который предъявлял собакам 200 одновременных 
сочетаний света и зуммера. Затем один из этих стимулов сочетался с 
электрическим ударом лапы для выработки ее условнорефлекторного сгибания. 
Применения второго УС вызывали в среднем 9,4 УР по сравнению со всего лишь 
0,5 УР в контрольных опытах без предварительного сочетания зуммера и света. 
Более поздние опыты показывают, что лучшие результаты получаются при 
меньшем числе предварительных сочетаний и когда два УС предъявляются не 
одновременно, а с промежутком в несколько секунд (Mackintosh, 1974).
Результаты опытов с сенсорным предобусловливанием ясно показывают, что
290

сочетания двух нейтральных стимулов достаточно, чтобы установить некоторую 
связь между ними. По-видимому, при слишком частом применении этих стимулов 
наступает известное привыкание, и научение не улучшается. Совершенно 
независимо от того, что эти результаты нельзя удовлетворительно объяснить 
теорией стимул-реакция, ясно, что для образования связи между двумя 
нейтральными стимулами нет необходимости в подкреплении. Поэтому павловское
подкрепление не является обязательным условием образования связей, но оно 
облегчает их образование и делает их устойчивыми к привыканию. Как мы увидим 
дальше, животные вполне способны научиться тому, что некоторые стимулы 
несущественны для их текущих мотивационных потребностей, и поэтому 
неудивительно, что связи, образованные между двумя нейтральными стимулами, 
должны быть временными.
Обратимся теперь к вопросу об инсmpументальном подкреплении. Закон эффекта 
Торндайка лег в основу бихевиористского подхода к научению животных. 
Крайнюю позицию занял Гарвардский бихевиорист Скиннер (Skinner), который 
определил подкрепление, исходя из закона эффекта. По Скиннеру. подкреплением 
является любое событие, которое, сочетаясь с каким-нибудь видом поведения, 
будет делать ею более частым. Скиннер (1938) считал также, что любое 
подкрепление может усилить любую реакцию в присутствии любого стимула при 
условии, что этот стимул ощущается животным, а реакция лежит в пределах его 
возможностей. Таким образом, предполагалось, что реакция и подкрепление по 
существу произвольны. Это стало широко распространенной точкой зрения среди 
теоретиков научения до конца 50-х годов.
Подкрепление, побуждающее животное приближаться к стимулам, которые оно 
связывает с этим подкреплением, обычно называется «положительным». Если же 
подкрепление заставляет животное в дальнейшем избегать данной ситуации, оно 
считается «отрицательным».
Животные могут научиться бояться некоторых ситуаций, испытав в них боль или 
стресс. В дальнейшем они могут избегать таких ситуаций при столкновении с 
ними. Сходным образом ситуации, в которых на животное действуют естественные
вызывающие страх стимулы, могут по ассоциации вызывать страх, даже когда 
животное не испытывает боли. Но многократное применение таких стимулов 
может привести к привыканию, и животное перестанет их избегать.
Как мы видели, неприятные стимулы применимы в опытах по классическим 
условным рефлексам. Одно из первых таких исследований принадлежит 
В.М.Бехтереву (1913), который раздражал переднюю лапу собаки слабым 
электрическим током (БС) вслед за звуковым стимулом - тоном (УС). Сначала 
собака сгибала лапу в ответ на ток (БР), а после ряда сочетаний УС и БС - в ответ 
на тон (УР) в отсутствие тока. Классическая оборонительная условная реакция 
многие годы оставалась парадигмой научения избеганию.
По Торндайку (Thorndike, 1913) наказание вызывает такую же силу реакции, что и 
вознаграждение. Согласно положительному закону эффекта, если за реакциями 
следует состояние удовлетворения, вероятность их возникновения возрастает. 
Отрицательный закон предполагает, что вероятность возникновения реакций, 
приводящих к неприятным последствиям, снижается. Однако в конечном счете 
Торндайк (1932) на основании некоторых опытов пришел к заключению, что закон 
эффекта неприменим к наказанию. В этом отношении с ним соглашались Скиннер 
(Scinner, 1938, 1953) и Эстес (Estes, 1944). Общее мнение, по-видимому, сводилось 
к тому, что наказание не ослабляет связи стимул-реакция, хотя иногда оно 
временно подавляет наказуемое поведение. Более поздние данные говорят о том, 
что наказание может быть эффективным с точки зрения модификации поведения, 
когда его сочетают с определенной реакцией (Church, 1963, 1969).

17.7. Оперантное поведение

Скиннер (Scinner, 1937) ввел различие между оперантным и реактивным пове-
291

Рис. 17.8. Голубь, клюющий ключ в скиннеровском ящике.

дением. Оперантным он назвал спонтанное действие без какого-либо очевидного 
стимула. Реактивным является всякое поведение, совершаемое в ответ на 
определенный стимул. Скиннер полагал, что любое оперантное поведение 
модифицируется и эффективно контролируется сочетающимся с ним 
подкреплением. Мысль о том, что поведением животного можно полностью 
управлять, создав соответствующий порядок подкреплений, явилась крайней 
бихевиористской точкой зрения (Skinner, 1938). Бихевиористская философия 
Скиннера произвела революцию в экспериментальных методиках, влияние которой
ощущается до сегодняшнего дня.
Вместо неоднократного применения сочетаний, характерного для классической 
выработки условных рефлексов, и опытов с использованием проблемных ящиков и 
лабиринтов Скиннер разработал методику свободного оперантного поведения, при 
которой животному позволяют совершать различные действия, а экспериментатор 
старается управлять последствиями. Чаще всего для опытов такого рода 
выбирались крысы и голуби, хотя использовались также и многие другие 
животные, а также человек. Оперантная выработка условного рефлекса состоит 
главным образом в том, что животное «тренируют» на выполнение задачи, за 
которой последует вознаграждение. Крысу можно заставлять нажимать на рычаг, 
голубя - клевать освещенный круг, называемый «ключевым стимулом». Такая 
методика тренировки обозначается термином "shaping" (формирование поведения).
Рассмотрим, как обучают голубя клевать ключевой стимул для получения корма. 
Голодного голубя помещают в маленький ящик с механизмом для подачи зерна и с 
«ключом» на уровне головы (рис. 17.8). Такого рода устройство называют 
«скиннеровским ящиком». О подаче корма обычно сигнализирует маленькая 
лампочка, освещающая зерно. Голуби быстро научаются связывать включение 
света с появлением корма; они подходят к подающему механизму и съедают зерно 
всякий раз, как включается свет. Следующая стадия обучения состоит в 
согласовании подачи пищи с каким-нибудь типом поведения голубя. Обычно от 
голубя требуется, чтобы он клевал ключ, но Скиннер считал, что можно 
формировать любую реакцию и что голубей за вознаграждение можно научить 
чистить перья или описывать круги по ящику. Клевания ключа можно добиться, 
выдавая вознаграждение только в ответ на движения, которые постепенно 
становятся все более похожими на удар клювом по ключу. Так, сначала голубь 
научается за вознаграждением подходить к ключу; затем он получает 
вознаграждение, только если стоит прямо, держа около ключа голову. На этой 
стадии голубь обычно клюет ключ самостоятельно, но его можно и побудить к 
этому, на время приклеив к ключу пшеничное зерно. Своим клеванием голубь 
замыкает чувствительный контакт в электрической цепи, которая производит 
автоматическую подачу корма. Начиная с этого момента, голубь награждается, 
только когда клюет ключ, и ручное управление вознаграждением больше не 
требуется. Теперь животное готово для использования в опыте.
Такая оперантная методика применяется во многих типах экспериментов. 
Например, выработку дифференцировки можно изучать, вознаграждая животных 
только за реакции на определенный цвет или рисунок или давая им выбирать 
между двумя сигнальными раздражителями, различающимися визуально. Эта 
методи-
292