В 1775 году Екатерина II установила новую структуру губернской администрации в России, включая суды и финансовые органы. Эта структура проектировалась и для балтийских губерний взамен их традиционных и позже была введена Павлом. Александр ничего не предпринял, чтобы изменить ее, и его понимание прав и привилегий балтийских губерний выражалось фразой: «они должны согласиться с главными указами и законами нашего государства». На практике это означало, что балтийские губернии представляли как бы отдельную административную инфраструктуру, которая подвергалась модификации по мере необходимости. В 1801 году, например, российский военный правитель Риги был поставлен во главе администрации всех трех балтийских губерний. Позже, в 1810 году Эстония отделилась от Курляндии и губернии Литвы (которая была создана после расширения России в результате раздела Польши). Все три губернии были вновь объединены в 1819 году, и затем в 1823 году к ним была добавлена Псковская губерния. Однако, в отличие от Екатерины, Александр не проявлял большого интереса к внутренним делам Балтики и не навязывал ей русских установлений. Он не предпринял ни малейшей попытки устранить конфликт, возникший в Риге из-за сохранения традиционных гильдий, что противоречило городским установлениям Екатерины (принятым в 1785 году), или разрешить конфликт внутри литовского парламента в 1803 году по поводу восстановления правительственных законов, принятых Екатериной в 1775 году.
Грузия была присоединена в 1801 году, но Александр позволил ей принять свою собственную «конституцию». Под словом «конституция» он понимал, что Грузия принимала свои законы и общественную организацию, но подчинялась его собственной администрации. Это было похоже на его отношение к управлению балтийскими губерниями. Грузия не получила такую конституцию, какая была дана Польскому королевству. Грузинская монархия была оставлена, и статус грузинской православной церкви не был изменен. Однако грузинское дворянство было соотнесено с русским табелем о рангах и получило русские титулы, что не понравилось местной знати. В отличие от России, всем социальным группам Грузии позволялось иметь крепостных крестьян (включая духовенство, торговцев и даже самих крепостных). Александр не предпринял попытки отменить это, что было сделано во время правления Николая I. Однако в 1821 году Александр отменил в Грузии право свободных крестьян добровольно переходить в крепостные.
Александр также уделил некоторое внимание евреям, которые стали подданными Российской империи в результате трех разделов Польши во время правления Екатерины. Историки расходятся в определении числа евреев в империи. Это число колеблется от 32 000 до 200 000, хотя последние исследования показывают, что нижняя цифра ближе к истине. Екатерина пыталась заставить евреев селиться в городах. В поздние годы своего правления она ввела для них двойной подушный налог (который, конечно, был принят в штыки) и налог за службу (вместо действительной службы), который заставлял относиться к евреям, как к отдельной социальной группе с обязанностями, отличными от остальных. Права и обязанности евреев в городах остались неясными, и Александр учредил в ноябре 1802 года специальный комитет, чтобы рассмотреть этот вопрос. В Комитет для организации жизни евреев входили Державин (позже замененный П. В. Лопухиным), Валерий Зубов, Сперанский, Кочубей, Чарторыский и Потоцкий. Результатом их работы стал закон о евреях 1804 года, который состоял из двух частей: во-первых, он предусматривал управление и уравнивание еврейского общества, включая право на обучение в школах и высших учебных заведениях; во-вторых, крестьянство защищалось от экономической эксплуатации евреями, так как последним запрещалось торговать спиртными напитками. Закон не отменял катальную структуру (которая, кроме всего прочего, сохраняла право распределения налогообложения внутри общества) и не прояснил статус евреев и их права в выборных муниципальных учреждениях, установленных внутренней правительственной реформой 1775 года. Евреям было позволено становиться фермерами, им были выделены определенные земельные участки, но, по правде говоря, их экономическое положение только ухудшилось. Кроме того, давало себя знать двойное налогообложение, недостатки которого были устранены лишь к 1807 году.
Жизнь Александра в Гатчине привила ему истинную любовь к мелочам военной жизни. В первые годы своего правления после установления мира с Британией и Францией он обратился к реорганизации и модернизации армии. Аракчеев, друг и помощник Александра в гатчинские дни, был призван в 1803 году и получил право на свое усмотрение реорганизовать и модернизировать артиллерию. Он энергично приступил к делу, отделив артиллерию от пехоты, ввел школы для артиллерийских офицеров и начал публикацию «Артиллерийского журнала», который должен был поднять авторитет и военный дух артиллерии. Поручик Жиревич, его адъютант, служивший в гвардейском Артиллерийском батальоне, написал в своих воспоминаниях об артиллерии: «все в России знают, что настоящее хорошее положение — работа Аракчеева, и если оно стало таким, то потому, что он положил этому начало»[59]. Значительные перемены были сделаны в армии. В 1808 году Аракчеев был поставлен во главу нового Военного министерства и значительно расширил его деятельность. Также в 1802 году был учрежден комитет для образования Министерства Морских Сил (в 1815 году переименованное в Морское министерство). Однако, немного было сделано для улучшения положения рядовых солдат и ничего не было предпринято для уменьшения жестокости военного суда. В ранние годы правления Александра «безжалостные» и «жестокие» наказания были объявлены вне закона, но это не касалось жесточайших военных наказаний, таких, как прохождение сквозь строй, во время которого многие жертвы умирали.