Кроме того, в Армении был сформирован полк спецназа МВД (сначала 400 бойцов, в дальнейшем разросся до 2700). Сопоставимыми силами располагали и азербайджанские формирования, организовавшиеся прежде всего так называемым Народным фронтом Азербайджана (НФА).
В середине января 1990 года азербайджанские экстремисты устроили в Баку новые погромы остававшихся армян (к этому времени их осталось около 35 тысяч человек). Москва не реагировала несколько дней, пока не возникла угроза органам власти. Лишь после этого части армии и внутренних войск жестко подавили НФА. Эта акция привела к многочисленным жертвам среди гражданского населения Баку, пытавшегося помешать вводу войск.
В апреле — августе 1991 года части Советской Армии совместно с азербайджанским ОМОНом проводили акции по разоружению карабахских селений и насильственной депортации их жителей в Армению (операция «Кольцо»). Таким образом было депортировано 24 деревни. Однако после 22 августа всякое воздействие Москвы на события в Карабахе прекратилось. Карабахские армяне, создавшие собственные «отряды самообороны», и Азербайджан, имевший в тот момент в своем распоряжении лишь милицию и ОМОН, оказались один на один друг против друга. 2 сентября 1991 года карабахские армяне провозгласили создание Нагорно-Карабахской Республики (в составе СССР). В ноябре 1991 года Верховный Совет Азербайджана принял постановление о ликвидации автономии НКАО. Со своей стороны, армяне провели 10 декабря референдум о независимости и официально провозгласили создание независимого государства. Началась война, впоследствии переросшая в войну между Азербайджаном и Арменией.
К концу 1991 года армяне в Карабахе имели до 6 тысяч бойцов (из них 3500 местных, остальные — «фидаины» из Армении), сведенных в «Силы самообороны НКР» (впоследствии «Армия обороны НКР») и подчиненных Комитету обороны. Эти силы значительно пополнили свои арсеналы за счет имущества выводимого 88-го полка внутренних войск МВД СССР и остававшегося некоторое время в Карабахе 366 мотострелкового полка.
1 января 1992 года Агдамский батальон под командованием Якуба Рзаева в сопровождении шести танков и четырех БТР атаковал армянское село Храморт Аскеранского района. Впоследствии на этом направлении с азербайджанской стороны действовали отряды самообороны. 13 января при обстреле города Шаумяновска азербайджанцы впервые применили реактивную установку залпового огня «Град».
25 января армяне перешли в наступление и захватили базу ОМОНа в пригороде Степанакерта Кяркиджахане, а затем (в первой половине февраля) — практически все этнически азербайджанские населенные пункты на территории Нагорного Карабаха. Опорными пунктами азербайджанцев оставались только поселок городского типа Ходжалы (где находился единственный аэродром) и Шуша, откуда велся интенсивный обстрел Степанакерта (с применением установок «Град»).
В ночь на 26 февраля 1992 года армяне захватили Ходжалы, после чего убили 485 азербайджанцев (в том числе более сотни женщин и детей), уходивших по предоставленному карабахским руководством «гуманитарному коридору». Попытка азербайджанской стороны в начале марта перейти в наступление (на Аскеран) и отбить Ходжалы не увенчалась успехом. 10 апреля азербайджанский ОМОН (батальон «Гуртулуш» под командованием Шахина Тагиева) ворвался в армянское село Марага и устроил там бойню, в результате которой было различным образом (вплоть до распиливания заживо) умерщвлено 57 жителей и еще 45 угнано в заложники.
Успехи армян вызвали политический кризис в Азербайджане, который в свою очередь способствовал дальнейшим успехам армян: после нескольких атак 8–9 мая была взята Шуша, и вся территория НКР (бывшая ИКАО и Шаумяновский район) оказалась под контролем армян. Армянские силы были брошены на Лачин, отделявший НКР от Армении; к 18 мая благодаря двойному удару со стороны НКР и Гориса (Армения) Лачин был занят, и между Арменией и НКР установилась прямая связь. Армяне считали войну в основном законченной. С их точки зрения, оставалось только захватить несколько армянских сел Ханларского района (зачищенных во время «операции Кольцо»). Для планируемого наступления на северном направлении начали снимать минные поля.
Однако новое правительство Азербайджана во главе с А. Эльчибеем стремилось во что бы то ни стало вернуть Карабах. Начавшийся в тот момент раздел имущества Советской Армии предоставил азербайджанской стороне большое количество вооружения, обеспечив военное превосходство над армянами. Согласно армянским оценкам в Карабахе у армян было 8 тысяч человек (из них 4,5 тысячи карабахцев), 150 единиц бронетехники (в том числе 30 танков) и около 60 единиц артиллерийско-минометных систем. Со своей стороны, Азербайджан сосредоточил на карабахском направлении 35 тысяч человек, около тысячи единиц бронетехники (в том числе более 300 танков), 550 единиц артиллерии, 53 самолета и 37 вертолетов.