Например, после того как крыса постоянно получала поощрение за каждое нажатие рычага, вводилась так называемая схема подкрепления с фиксированными интервалами. Согласно этому сценарию, животное получало лакомство только после трех нажатий на рычаг… или пяти… или двадцати. Представьте себя на месте крысы. Сначала стоит нажать на рычаг — и пожалуйста, пища перед вами; потом, нажав на рычаг, вы пищи не получаете; вы нажимаете еще раз — все равно никакой пищи; наконец, после третьего нажатия по лотку скатывается желанный шарик корма. Съев его, вы уходите, но потом возвращаетесь за новой порцией. На этот раз вы уже не берете на себя труд нажать рычаг один раз, а сразу своей розовой лапкой нажимаете его трижды. Вероятность получения подкрепления меняет характер реакции животного.
Скиннер также экспериментировал со схемами, когда подкрепление происходило через равные промежутки времени или вовсе отсутствовало. В последнем случае Скиннер вообще переставал поощрять крысу; обнаружилось, что после прекращения подкрепления через некоторое время животное переставало нажимать на рычаг, даже если слышало, как всюду вокруг полоткам катятся шарики корма. Подсоединив к клетке записывающее устройство, Скиннер смог наглядно зафиксировать, сколько времени требуется крысе на то, чтобы научиться правильному отклику, когда каждое нажатие рычага поощряется, и через сколько времени после резкого прекращения подкрепления реакция угасает. Возможность точно измерять интервалы времени в случаях применения различных схем дала Скиннеру количественные данные, позволившие понять, как организмы учатся и как можно контролировать и предсказывать исход обучения. С достижением предсказуемости и контролируемости процесса родилась истинная наука о поведении, с кривыми распределения, графиками, отрезными точками и прочей математикой, и Скиннер был первым, кто использовал эти методы с такой подробностью и разнообразием.
Однако на этом Скиннер не остановился. Он стал исследовать результаты меняющихся схем подкрепления, и тут-то его и ждали самые значительные открытия. Он поощрял крыс пищей через меняющиеся промежутки времени, так что в большинстве случаев нажатие рычага ничего не давало животному, хотя изредка — скажем, после двадцатого или шестидесятого нажатия — лакомство появлялось. Интуиция подсказывает нам, что нерегулярное и редкое подкрепление вызовет безнадежность и угасание рефлекса, однако это оказалось не так. Скиннер обнаружил, что при меняющихся промежутках между поощрениями крысы продолжают с ослиным упорством нажимать на рычаг независимо от результата. Он изучал поведение животных при регулярном поощрении (скажем, за каждое четвертое нажатие) и при нерегулярном и обнаружил, что в последнем случае рефлекс труднее всего разрушить. Ага! Это было открытием, не уступавшим павловскому: Скиннер неожиданно получил возможность понять и объяснить странности в поведении не только крыс, но и людей: почему мы совершаем глупости, даже не получая постоянного поощрения за них, почему ваша лучшая подруга не отходит от телефона в надежде, что ее бессовестный бойфренд вдруг проявит доброту и позвонит, просто позвонит… Ах, пожалуйста, позвони! Почему совершенно разумные люди проигрывают в прокуренных залах казино все до гроша, несмотря на ожидающие их крупные неприятности. Почему женщины всем жертвуют ради любви, а мужчины рискованно играют на бирже. Все это основывается на одном и том же механизме нерегулярного подкрепления, и теперь Скиннер мог показать, как он работает, показать вероятность возникновения нерациональной навязчивой тяги к чему-то. А сила такой тяги огромна. Она властвует над нами с того момента, как Бог создал первого человека. Да, она огромна…
Впрочем, Скиннер и на этом не остановился. Если можно научить крыс нажимать на рычаг, то почему бы, например, не научить голубей играть в пинг-понг? Его интересовало, до каких пределов человек может формировать поведение другого существа? Вот что пишет Скиннер о попытках научить птицу клевать пластинку: «Сначала мы давали птице пищу, если она слегка поворачивала голову в сторону пластинки, в какой бы части клетки птица ни находилась. Поощрение увеличивает частоту такого поведенческого проявления. Мы продолжали поощрять птицу за принятие положения, все более близкого к пластинке, затем поощряли, только когда это сопровождалось наклоном головы, и наконец только когда клюв касался пластинки. Таким образом, при помощи оперантного научения можно выработать редкие и сложные виды поведения, обычно не встречающиеся в репертуаре данного организма».