Короткая улица с односторонней застройкой, проложенная по кромке верхней террасы берегового склона, ведет от центра на юго-восток. Она поднимается под острым углом от проходящей по нижней надпойменной террасе ул. Кооперации (Дебринской) и оканчивается у резкого падения рельефа в конце ул.Овражной (бывш. Дворянской). Перпендикулярными улицами Крестьянской (бывш. Борисоглебской) и Лермонтова (бывш. Гимназическим пер.) делится на три квартала. Извилистая улица, сложившаяся здесь в дорегулярное время, носила название Боровой Дебри. Заселенная ремесленниками, она играла важную роль в системе городского посада. В XVII-XVIII вв. на ней существовало четыре деревянные церкви, сгруппированные попарно, - вероятно, летняя и зимняя: Борисоглебская и Симеона Столпника располагались у ее начала (в 1-й четв. XVII в. здесь существовал Борисоглебский монастырь), а Всехсвятская и Никольская "на Осташевой поляне у Ямской слободы" стояли у оврага, перерезавшего улицу в ее конце.

При перепланировке города по регулярному плану 1780-х гг. улица была спрямлена и определена под каменную застройку. Ее начало и конец отмечали возведенные вместо деревянных каменные храмы 2-й пол. XVIII- нач. XIX вв. - церковь Бориса и Глеба, поставленная в 1-м квартале на углу с Борисоглебской ул., и двусветная пятиглавая церковь Всех Святых с длинной низкой трапезной и трехярусной колокольней, увенчанной шпилем, - на площадке перед застройкой на углу с Дворянской. Местоположение улицы - рядом с центром и "фасадом" к Волге - определило ее специфическую роль в системе города: наряду с престижной жилой застройкой здесь начинает складываться "учебный центр" города. Уже в кон. XVIII в. каменный дом дворянской усадьбы на углу с Борисоглебской ул. (№ 9) передается под народное училище, в сер. XIX в. на основе старого губернаторского дома строится крупное здание для гимназии (№ 17), а в нач. ХХ в. - монументальный корпус женского епархиального училища.

Два последних сооружения, выделяющиеся своим масштабом среди окружающей застройки, играют огромную роль в создании городской панорамы с реки. В 1852-1853 гг. склон ниже улицы благоустраивается - здесь костромским губернатором В.П.Муравьевым по проекту П.И.Фурсова 1823 года был разбит парк с аллеями, обсаженными кустами сирени, акации и чайного дерева и располагавшимися на трех террасах, украшением которых служили старые пушки, перевезенные сюда со стен кремля. Двухэтажный дом в начале 2-го квартала улицы (№ 9) был отдан под резиденцию губернатора.

К настоящему времени улица, утратившая стоявшие на ней храмы, полностью сохранила комплекс общественных и жилых зданий кон. XVIII- нач. ХХ в. Главной доминантой ее застройки является трех-четырехэтажные объемы - краснокирпичное здание епархиального училища и вторящее ему, расположенное на его правом фланге протяженное здание классической гимназии. Левее училища застройка двухэтажная, более скромная по масштабу, усадебного типа. Ул. Дзержинского - одна из важнейших в градостроительном отношении, играющая ключевую роль в формировании панорамы города со стороны Волги.