След тоя голям успех, само няколко дни по-късно, тежък удар поразил Робъртс. Когато напуснал кораба и с един баркас начело на команда от 40 пирати тръгнал да преследва една бригантина, заместникът му Кенеди убедил останалите от екипажа да си поделят веднага плячката и заедно с кораба да си плюят на петите. Речено-сторено. Ала само след няколко дни ги заловили и обесили. Кенеди с още неколцина успял да избяга, но малко по-късно в Англия го постигнала същата участ. Доверил се на една проститутка, която го издала.
Робъртс не останал дълго време без кораб. Почти без бой му паднали две шалупи, чиито екипажи преминали към него, предпочели да плават под черния пиратски флаг, отколкото да носят дотегливата служба на стражеви кораб. Губернаторът на Барбейдоз скоро получил известие за това злополучно произшествие и изпратил два кораба да гонят Робъртс — единия с 20 топа и петдесет души, втория с 10 топа и четиридесет души екипаж. Когато двете страни изстреляли една срещу друга по един залп, Робъртс признал превъзходството на противника, вдигнал ветрила и офейкал. Ала врагът го преследвал по петите и Робъртс заповядал да изхвърлят през борда всички оръдия, муниции и други тежки предмети. Пиратските кораби се понесли като стрела и бърже се отдалечили.
Губернаторът на Мартиника също изпратил срещу Робъртс два бойни кораба, когато пиратите хвърлили котва близо до острова и се заели да правят ремонт. Но Робъртс знаел стратегическите предимства на изненадата и бързината. Още преди военните кораби да пристигнат, поправката била завършена и пиратите изчезнали. На губернатора от Мартиника Робъртс изиграл лоша шега. Един прекрасен ден той се появил на рейда под фалшив флаг и поставил сигнал, че носи на борда си контрабанда. На пиратския ветроход се стекли от острова куп търговци, надушили изгодната сделка. Ала щом стъпили на борда, Робъртс ги вързал и ограбил. Сетне подпалили лодките им. Оставил само една, натоварил ги всички на нея и ги изпратил на сушата поживо-поздраво с най-верноподанически привет до губернатора.
С двете шалупи Робъртс се подвизавал известно време крайно успешно в западноиндийски води и на края решил да смени терена. Поел курс към западноафриканските брегове. По пътя си срещнал един превъзходен френски кораб с четиридесет топа и страхлив капитан. Сменил двете шалупи срещу добре въоръжения и бързоходен ветроход на французина и продължил пътешествието. Своя нов кораб прекръстил на име „Кралският щастливец“. В устието на Сенегал се натъкнал на два малки френски военни кораба, които патрулирали там за охрана на търговията с каучук. Офицерите сметнали пиратския ветроход за търговски и го приканили да спре. Робъртс последвал заповедта, но когато двата кораба почти се опрели до борда му, той вдигнал черния флаг и показал топовете си. Военните кораби се предали без бой. По-големият притежавал шестнадесет топа и 75 души екипаж, а по-малкият — десет топа и 65 души. Робъртс приел двата кораба на служба като придружители на „Кралският щастливец“ и с тази малка флота извоювал още по-богата плячка.