Родился в Харькове в 1855 году.
Первыми наставниками Сергеева в художественной сфере стали известный русско-украинский художник академического направления, ученик К. П. Брюллова Д. И. Безперчий (1825—1913) и русский художник-пейзажист А. А. Киселев (1838—1911). Уже в ранние годы творчества для произведений Николая Александровича стало характерным обращение к образам южно-русской природы, изображение летнего дня, тихих мест в окрестностях деревень, озёр и прудов, покрытых тиной.
После окончания гимназии в 1876 году художник отправился в Петербург. В столице он прошел специальный отбор и стал брать частные уроки в мастерской одного из самых известных русских художников-маринистов Л. Ф. Лагорио.
С 1878 года мастер начал посещать Академию художеств и экспонироваться на академических выставках.
В 1886 году за картины, представленные на одной из них, он был награждён большой поощрительной серебряной медалью.
В 1887 году мастер стал почетным вольным общником Императорской Академии Художеств.
В 1889 году был награждён орденом святого Станислава 3-й степени в поощрение деятельности на художественном поприще.
В 1890 году Николай Александрович выступил одним из членов-учредителей Санкт-Петербургского общества художников. Его картины регулярно экспонировались на ежегодных выставках этого общества, однако в 1903 году состав правления резко разошелся во мнениях с большинством участников. В связи с этим художники вышли из состава Петербургского общества художников и образовали новое Товарищество художников. Сергеев принял деятельное участие в создании новой организации и до конца жизни представлял свои картины на выставках группы.
С 1896 года произведения Сергеева экспонировались также на показах работ Императорского Общества русских акварелистов, а в 1908 году Николай Александрович был приглашен для учреждения и организации общества им. А. И. Куинджи.
В 1910 году Н. А. Сергеев стал академиком пейзажной живописи.
В 1919 Сергеев скончался от тифа в родном Харькове.