Лишь после того как в 1905 году в Вюртемберге при содействии короля прошла благотворительная лотерея в пользу воздухоплавания, был продан на слом каркас LZ-1 и часть ангара, а сам Цеппелин расстался с частью своего имущества, ему удалось собрать 400 000 марок, необходимых для постройки LZ-2. Это была усовершенствованная «единица» с развитым килем и двумя моторами по 85 л. с., которые приводили в движение 4 трехлопастных воздушных винта. Площадь рулей была значительно больше — под носовой и кормовой частью корабля размещались 3 вертикальные плоскости, служившие рулями направления. Между ними и гондолами находились 2 руля высоты, каждый из которых представлял 4 расположенных друг над другом плоскости. Такое устройство оперения дало возможность получить на втором воздушном корабле гораздо большую устойчивость, чем на первом. Отсеков было 16. Несколько видоизменилась система тросовых расчалок шпангоутов. Вместо материала, использованного на LZ-1 и имевшего большую газопроницаемость, для газовых баллонов применили материал, состоявший из двух слоев хлопчатобумажной ткани, между которыми находился слой резины.
Однако неудачи продолжали преследовать графа. 30 ноября 1905 года при выводе из плавучего эллинга дирижабль упал носом в воду, затем его подхватило ветром и понесло по озеру, лодки и баркасы нагнали его почти у швейцарского берега. Корабль получил значительные повреждения. 17 января 1906 года отремонтированный дирижабль стартовал с Боденского озера в свой второй полет. Вследствие того что перед взлетом дирижабль был недостаточно хорошо уравновешен, он имел большую сплавную силу, обусловившую быстрый подъем до высоты около 450 м. Сильный ветер начал сносить дирижабль в сторону суши. Затем отказал передний руль направления, а за ним — один из двигателей. После этого Цеппелин решил спуститься. Посадка на суше прошла благополучно. Однако ввести LZ-2 в эллинг не удалось, и ночью он был разрушен напором усилившегося ветра.
Биографы графа Цеппелина сходятся на том, что в течение последующих нескольких недель граф испытал наибольшее унижение и находился в самой глубокой депрессии за всю свою жизнь. Однако он нашел в себе силы, снова вступил в «бой» и 9 октября 1906 года смог взлететь на своем третьем цеппелине LZ-3, который был построен под залог фамильных ценностей.
На дирижабле были установлены 2 мотора «Даймлер» мощностью по 85 л. с. В кормовой части имелись 4 горизонтальных стабилизатора, по 2 с обеих сторон корпуса, длиной 13 м и площадью около 30 кв. м каждый. Они представляли собой алюминиевый каркас, обтянутый полотном. Между стабилизаторами находились рули направления, по 3 с каждой стороны корпуса. Управлять рулями можно было независимо. Конструкция рулей аналогична конструкции стабилизаторов. Для управления дирижаблем в вертикальной плоскости вместо подвижного груза были предусмотрены 4 руля высоты, установленные внизу, по обеим сторонам корпуса, в его носовой и кормовой частях. Каждый руль состоял из четырех параллельных плоскостей общей площадью 22 кв. м. Передними и задними рулями можно было управлять независимо. Наличие стабилизаторов значительно увеличивало устойчивость дирижабля в полете, а расположение рулей высоты оказалось очень удачным в том отношении, что позволяло в течение нескольких секунд (без перемещения груза, как это было у LZ-1, а исключительно динамическим путем) поворотом рулей высоты поднимать или опускать нос дирижабля на 10–15°. Что же касается рулей направления, находившихся между стабилизаторами, то они действовали неудовлетворительно, поэтому при всех последующих изменениях и усовершенствованиях, которые вводил в свои новые корабли граф Цеппелин, он уделял очень большое внимание вопросу о размещении рулей направления.
Поперечное сечение LZ-3 — многоугольник с 16 сторонами. Отсеков, так же, как и у LZ-1, было 17. Две алюминиевые гондолы соединялись между собой посредством алюминиевого мостика, проходившего внутри треугольной фермы. Гондолы помещались в специальных местах, оставленных на платформе, находившейся под каркасом. Длина каждой гондолы — 8 м, ширина — 1,3 м, высота — 1,4 м. Гондолы располагались на расстоянии 2 м от каркаса.
Двигатели приводили в движение 4 трехлопастных винта диаметром 3 м, с 900-1000 об/с; передача от моторов — посредством конических зубчатых колес. Гондолы соединялись трапом, проходившим внутри фермы треугольного поперечного сечения, жестко скрепленной с каркасом. Между гондолами имелось устройство в виде рельсов, по которым, управляя из гондолы, с помощью металлических тросов можно было передвигать тележку с грузом. Однако этот подвижный груз служил не для управления дирижаблем в вертикальной плоскости, а лишь для его уравновешивания. Дирижабль мог брать с собой запас горючего 2500 кг, что обеспечивало ему продолжительность полета в течение 41 часа. В полетах была достигнута максимальная скорость 39,6 км/ч. Полезная нагрузка составляла 2000 кг.