В Гражданскую войну 1861–1865 годов Бейкер воевал на стороне Юга (конфедераты), но дисциплина действовала на него угнетающе, и вскоре он дезертировал из армии и поселился в Спэниш-Блаффсе. Весной 1864 года в городок вошла негритянская часть северян, которая занималась вылавливанием дезертиров из армии конфедератов.
Когда солдаты вошли в город, Бейкер находился в салуне и ни о чем не подозревал. Потягивая виски, он стоял у стойки бара, и в эту минуту в заведение вошли четверо солдат. Увидев на Бейкере потрепанный мундир конфедерата, они направились к нему.
— Кто вы такой? — спросил сержант, когда они подошли к стойке, и это было последнее, что он успел сказать в своей жизни.
Рука Бейкера молниеносно скользнула к кобуре, и в следующую секунду кольт 44-го калибра извергнул четыре пули. Каждая из них попала точно в цель, и все четверо были убиты на месте, а Бейкер спешно покинул пределы городка.
Отныне у ставшего врагом обеих воюющих сторон Бейкера был один путь в бандиты. Осенью 1864 года он сколотил банду и занялся грабежами в Восточном Техасе. Так продолжалось до конца 1865 года, когда он на время "завязал".
В январе 1866 года Бейкер с новой женой Мартой осел в Лайн-Ферри и занялся речным перевозом. О былых бандитских делах ему никто не напоминал. Но так продолжалось недолго. Бейкер был плохо приспособлен к размеренной гражданской жизни, и его руки постоянно тянулись к револьверу. В конце концов он вноь совершил убийство.
В июне 1867 года он заявился в бакалейную лавку некоего Роудена и в отсутствии хозяина набрал товара на приличную сумму. А когда через несколько часов Роуден приехал к нему и потребовал денег, Бейкер не нашел ничего лучшего, как схватиться за револьвер: его рука не дрогнула, и торговец был убит четырьмя выстрелами в упор. Покинув городок Бейкер скрылся в дикой местности неподалеку от Салфер-Боттом. Его поисками занимались солдаты федеральных войск, но преступнику дьявольски везло. Когда однажды на переправе Петт на Салфере его настигла погоня, он сумел не только благополучно уйти, но при этом умудрился застрелить сержанта. Во время следующей стычки он убил еще одного солдата, а в третий раз, едва он схватился за свои шестизарядные револьверы, солдаты просто пустились наутек.
Слава о Бейкере как о неуловимом бандите распространилась по всему Восточному Техасу. На его поимку были брошены значительные силы федеральных войск, но Бейкер успешно скрывался от них в болотах и зарослях Салфера. Дело дошло до того, что однажды он в одиночку напал на правительственный фургон, убил одного солдата, а остальных четверых обратил в бегство. После этого случая на его поиски было выделено 500 солдат, но Бейкер умудрялся перехитрить и их.
В октябре 1868 года он заявился в городок Бостон и разыскал там капитана Крикхэна, который отвечал за его поимку.
— Кажется, вы ищете Куллена Бейкера? — спросил он. — Он перед вами.
Капитан схватился за оружие, однако Бейкер был проворнее. Грянул выстрел, и армия потеряла еще одного офицера. Преступник же благополучно скрылся.
Эта наглая выходка настолько возмутила власти, что губернатор штата Клейтон объявил за голову Бейкера награду в тысячу долларов. Но и это не помогло.
В ноябре 1868 года Бейкер сколотил банду из десяти человек и совершил несколько набегов на фермы в округах Севьер и Литтл-Ривер в Арканзасе, при этом были убиты два высоких должностных лица. Все эти события, а также бессилие уже и Государственной милиции вынудили местных фермеров искать с ним компромисса. Ему была обещана всеобщая амнистия, если он добровольно сдастся властям. Однако Бейкер не поверил в это. В том же ноябре в двух местных газетах было опубликовано его письмо, в котором он заявил: "Я вовсе никакой не убийца, каким окрестила меня молва, будто я убиваю направо и налево всех белых и черных, и я полон решимости в будущем делать все возможное ради благоденствия миролюбивых граждан той страны, в которой я нахожусь…"
Между тем, развязка неумолимо приближалась.
В начале 1869 года Бейкеру и его банде вновь удалось перехитрить несколько тысяч солдат и скрыться в Канзасе. Там проживала некая Белл, которая ранее отвергла его любовь, предпочтя молодого школьного учителя Томаса Орра. Именно этот человек и поставил последнюю точку в этой истории.