В 1896 г. в жизни полка произошло значительное событие – была освящена в честь св. благоверного великого князя Александра Невского полковая церковь. Первоначальное здание этой церкви было построено в 1827 г. по заказу графа А. А. Аракчеева для штаба войск 2-й и 3-й поселённых гренадёрских дивизий. В 1834 г. храм был освящён во имя св. апостолов Петра и Павла. В написании икон для церкви участвовали известные в то время не только в России, но и в Европе академик Академии художеств А. Е. Егоров и профессор А. А. Иванов. В 1864 г. храм перешёл в ведение 86-го пехотного Вильманстрандского полка, но был слишком мал и не мог вместить всех желающих участвовать в богослужениях. Во время Великого поста полковое начальство было вынуждено даже делить нижних чинов на две смены – по одной на каждую неделю поста. По этой причине по инициативе командира полка полковника Е. П. Вишнякова было решено перестроить и расширить церковь. Основную часть средств для этого выделил старорусский городской голова А. А. Невский, и 3 ноября 1896 г. храм был освящён. Новый храм был намного больше прежнего и мог вмещать теперь до 600 человек. В марте 1897 г. Старую Руссу посетил главнокомандующий войсками гвардии и Петербургского военного округа великий князь Владимир Александрович. Осмотрев храм, главнокомандующий пришёл к выводу, что он выделяется среди прочих военных церквей «как своим благолепием, так и размерами, дающими возможность в ней помещаться одновременно почти всему полку». Однако простояла новая церковь недолго. На пасхальной неделе 1914 г. произошёл пожар, в результате которого сгорел манеж и, по всей видимости, церковь, являвшаяся пристройкой к нему. Руины позднее были разобраны на кирпич.