Значнаю групаю насельніцтва ў Себескім i Невельскім валоданьнях былі вайскова-служылыя людзі, якія ахоўвалі мяжу Літоўскае-Беларускае дзяржавы. Яшчэ 17 лютага 1625 г. вялікі князь літоўскі i рускі (ён жа кароль польскі) Жыгімонт Ваза перадаў з фонду замкавых ворных земляў Невельскага замку 300 валок зямлі (1 валока = 21,37 га) «на 50 коней рыцарскай казацкай службы, па 6 валок на аднаго каня» ў спадчыннае валоданьне. Так была створаная памежная ахова, а таксама i гарнізон Невельскай цьвердзі. Расьсяленьню на гэтых валоках падлягала дробная шляхта, якая i павінна была несьці конную казацкую службу (г. зн. зь лёгкай зброяй) па адным коньніку з надзелу ў 16 валок (128 гектараў) зямлі. Можна было атрымаць i другі надзел: тады на службу выстаўляліся два коньнікі. Для будаўніцтва дому, гаспадарчых будынкаў, фальварку паном-казаком давалі 6 гадоў, вольных ад службы. Пасьля гэтых ільготных гадоў уводзілася рыцарская казацкая служба (па чарзе) у замку i «для патрэбаў замку». Невельскія казакі былі арганізаваныя на ўзор смаленскіх казакоў (якія потым, у сярэдзіне XVII ст., былі ўключаны ў склад расейскага дваранства), у казацкую харугву (эскадрон) на чале ca сваім капітанам. Рыцары-казакі (у сьпісах яны названыя «панамі») падлягалі суду паводле артыкулаў Статуту Вялікага Княства Літоўскага 1588 г., як i астатняя шляхта. У пэрыяд аблогі замку i гораду яны атрымоўвалі заплату па 8 залатых на каня за кожны квартал году. Іншых павіннасьцяў, апрача вайсковай, яны не павінны былі выконваць.
8 красавіка 1625 г. кароль Жыгімонт III выдау яшчэ адзін прывілей (грамату) аб перадачы зь зямельнага фонду Себескай акругі 120 валок зямлі «на 30 коней рыцарскай казацкай службы», па 4 валокі (85,5 га) на аднаго каня. З 30 паноў-казакоў была створаная асобная харугва з ротмістрам на чале. Функцыі себескіх паноў-казакоў былі аналягічныя функцыям невельскіх. Як i невельскія казакі, себескія кожную чвэрць году павінны былі станавіцца «на попіс», г. зн. перапіс ix самых, коней, становішча вайсковай формы й зброі, якія яны куплялі за ўласны кошт, з даходаў сваёй гаспадаркі.
Казакі Неўля i Себежа валодалі зямлёй на «ленным праве», з правам перадачы зямлі дзецям i нашчадкам, продажу зямлі i яе падараваньня (з дазволу караля або яго прадстауніка ў замку). Але перадаць зямлю ці прадаць яе можна было толькі шляхцічу, здольнаму да вайсковай службы.
Разам зь перадачай Невельскага i Себескага грабстваў у 1678 г. спадчыньніцы роду Радзівілаў рыцары-казакі аўтаматычна станавіліся вайскова-служылымі людзьмі гэтай князёўны ― Людвікі Караліны Радзівілянкі.
У XVIII ст. казакі ўваходзілі ў склад прыватных войскаў князёў Радзівілаў. Так, у 1746 г. у Невельскай коннай зямянскай (шляхоцкай) харугве (эскадроне) быў 1 паручнік, 1 харужы, 1 бубяністы (барабаншчык) i 50 казакоў, а ў 1748 г. яны разам зь себескімі казакамі складалі адну харугву: 1 паручнік, 1 харужы, 10 капралаў, 1 бубяністы, 90 шарагоўцаў, разам 103 чалавекі. У перапісах (інвэнтарох) валоданьняў яны па-ранейшаму маюць перад імем i прозьвішчам тытул «пан» (напрыклад, пан Аляксандар Лявіцкі, пан Самуэль Міхалоўскі, пан Ян Заблоцкі, пан Юры Вайткевіч). Некаторыя з гэтых паноў ужо ня мелі па 6 валок зямлі, а толькі па 3 валокі ці нават паўтары. Адпаведна іхныя павіннасьці зьмяншаліся ў два або ў чатыры разы. Але сама павіннасьць заставалася ранейшая: служба ў замку або на мяжы. Зьвестак аб уласных сялянах у гэтых казакоў няма. Зямлю апрацоўвалі яны самі ды іхныя сем'і.
Акрамя гэтых казакоў, памежную службу выконвалі на себескай мяжы «панцырныя баяры» (або казакі), але бяз тытулу «пан». Адрозна ад сялянаў, якія валодалі зямлёю цэлай сельскай грамадой, панцырныя баяры валодалі зямлёю індывідуальна. Гэта былі рэшткі катэгорыі вайскова-служылых людзей, пераходнай ад шляхты да вольных сялянаў i наадварот. Паводле загаду Кацярыны II большую частку себескіх панцырных баяраў выслалі на Алтай i ў раён Усьць-Каменагорска, дзе іхныя нашчадкі хутка былі асыміляваныя расейскім насельніцтвам.
Пры Невельскім замку знаходзілася невялікая група «лістовых казакаў», якія мелі па 1, 2 ці 3 валокі зямлі. Іхнаю асноўнаю павіннасьцяй была перавозка пошты зь Неўля ў Слуцак (цэнтар уладаньняў Радзівілаў слуцкай лініі), у Вільню або ў іншае месца за 70 міляў ― 3 разы ў год (ці на меншую адлегласьць), Акрамя таго, за кожную валоку зямлі яны плацілі чынш па 10 залатых у год у скарб уладальніка Неўля (магнацкі скарб).
Такім чынам, гэтая маргінальная тэрыторыя ВКЛ саслоўным складам насельніцтва мала розьнілася ад іншых тэрыторыяў дзяржавы.
Своеасаблівасьць Невельскай i Себескай акруг захоўвалася доўга. Яшчэ ў канцы XIX ст. Невель i Себеж, якія ўваходзілі тады ў склад Віцебскай губэрні, захоўвалі старое аблічча беларускіх гарадоў. У Неўлі былі ў 1886 г. 153 каталікі на 7263 жыхароў (у тым ліку 3530 гэбраяў), а ў Себежы - 393 каталікі на 4051 жыхара (у тым ліку 2436 гэбраяў). У абодвух гарадох былі ня толькі праваслаўныя цэрквы, але i касьцёлы. Касьцёлы былі i ў сельскай мясцовасьці. Захаваліся i кірмашы ў гандлёвыя дні, вызначаныя яшчэ ўладамі Рэчы Паспалітай у XVII стагодзьдзі.