Компоновка «Мардер» призвана обеспечить максимальную защиту экипажа и десанта, наиболее удобное и безопасное спешивание и посадку в боевых условиях. Впереди справа расположено МТО, слева от него — место механика-водителя, позади — боевое отделение с вращающейся двухместной башней. В ней справа размещается командир машины (он же командир отделения в звании унтер-офицера), слева — наводчик. За башней находится десантное отделение, вмещающее семь стрелков — шестеро лицом к бортам по три в ряд, а седьмой (командир десантной группы, унтер-офицер) сидит по оси машины спиной по ходу и управляет кормовым пулеметом. Для высадки и посадки служит кормовая откидная дверь-аппарель с гидравлическим приводом и четыре круглых люка в крыше десантного отделения. Позади механика водителя имеется запасное место со своим верхним люком и перископическим прибором наблюдения. Здесь может размещаться командир роты или батальона (на командирских машинах), наводчик на марше (для помощи водителю в наблюдении) или член экипажа вышедшей из строя БМП.
Для основного вооружения выбрана вынесенная схема установки — над низкопрофильной башней на массивном кронштейне укреплен закрытый вращающийся в вертикальной плоскости бронированный лафет. В нем установлена автоматическая 20-мм пушка Mk20 DM5 Rh202 «Рейнметалл», а справа над ней — 7,62-мм пулемет MG3A1. Пушка имеет автоматику с отводом пороховых газов, снабжена пламегасителем; питание — ленточное, с подачей выстрелов электроконвейером из башни. Пушка призвана решать задачи борьбы с открытой и легкозащищенной пехотой, бронемашинами и воздушными целями, поэтому в боекомплект (1250 выстрелов) входят выстрелы с бронебойными и осколочно-фугасными снарядами. При начальной скорости 1300 м/с подкалиберный бронебойный снаряд пробивает на дистанции до 1000 м броню толщиной до 20 мм при угле встречи 60°. Максимальная техническая скорострельность— 1000 выстр/мин. Угол возвышения+65°, склонения -10°. Высота линии огня —2715 мм. Огонь по наземным целям ведется на дистанции до 1500 м, по воздушным — до 300 м. Эффективная дальность стрельбы по легкобронированным целям — 600 — 800 м. Пулемет представляет собой вариант единого MG3 (развитие MG-42 времен второй мировой войны), скорострельность до 1300 выстр/мин. Дистанционное управление пушкой и пулеметом — электромеханическое. Поворотный механизм башни — электрогидравлический и механический. Командир и наводчик имеют одинаковые средства управления огнем (за исключением дублирующего механического привода вертикальной наводки у наводчика), перископические ночные подсветочные и дневные прицелы PERI-Z11 (PERI-Z11А1) с 2- и 6- кратным увеличением. Призмы прицелов связаны с пушкой параллелограммным приводом и установлены параллельно, так что командир может контролировать наводку оружия и вводить корректировку. Вынесенная установка вооружения решила проблему с выбросом стреляных гильз (при размещении ее внутри башни потребовался бы специальный гильзосборник). Слева на башне крепился РПГ «Карл Густав» или 44-1А1 с дальностью стрельбы до 1000 м, однако стрельба из него требовала остановки, выхода гранатометчика из машины и снятия РПГ с крепления. Над люком командира десанта на особом бронированном поворотном лафете установлен второй пулемет MG3 с механическим дистанционным управлением и перископическим прицелом. Своеобразное возвращение к «многобашенной» схеме связано со стремлением обеспечить БМП максимально возможную огневую мощь и круговой обстрел для боя в глубине обороны противника. Дистанционно управляемый кормовой пулемет со сравнительно большим сектором обстрела в 160°, углом возвышения до +60° и склонения —15 позволяет вести огонь по пехотинцам — истребителям танков в заднем секторе и с бортов, может использоваться и для стрельбы по низколетящим воздушным целям. Общий боекомплект пулеметов БМП «Мардер» — 5000 патронов. Десант может вести огонь из своего оружия через шаровые установки, допускающие огонь в секторе ±20° с углами возвышения +25° и склонения -20°. Стеклянный глазок дает возможность вести прицельный огонь на дистанции до 100 м с места и до 50 м в движении. Ограничение числа установок двумя на борт обеспечивает стрелкам условия стрельбы без серьезных помех со стороны соседа. Для БМП обычного мотопехотного отделения индивидуальное вооружение экипажа и десанта включает пять 7,62-мм штурмовых винтовок G3, пять 9-мм пистолетов-пулеметов МР2 («Узи» бельгийского производства), два 9-мм пистолета Р-1, 18 ручных гранат. В другом варианте отделение на БМП вооружено одним РПГ (44-мм 44-1А1 или «Лянце», а позднее — 67-мм «Армбруст»), одним 7,62-мм единым пулеметом MG3, семью винтовками G3 (одна из них — с оптическим прицелом), тремя пистолетами-пулеметами МР-2 и двумя пистолетами Р-1.