Появление улицы относится к началу 70-х годов XIX века. Вначале она была застроена от Сумской до Ново-Мало-Сумской (ныне улица Дзержинского), а в 80— 90-х годах XIX века соединилась с Сомовским переулком и связала Немецкую (ныне Пушкинскую) улицу с Сумской. В те годы улица называлась Ветеринарной, так как в своей западной части выходила к Ветеринарному институту (ныне здание Дворца пионеров). Застройка улицы продолжалась и в начале XX века. В основном здесь селились крупные предприниматели, чиновники, разбогатевшие буржуа. На улице возводились не только особняки, но и многоэтажные доходные дома, а также казенные здания. В 1898 году был построен дом Харьковского общества распространения в народе грамотности.
Харьковское общество распространения в народе грамотности было основано группой преподавателей Харьковского университета во главе с выдающимся русским ученым, профессором Н. Н. Бекетовым в 1869 году. В том же году общество открыло женскую воскресную школу, а в 1870 году — общеобразовательную школу для детей на Москалевке и мужскую воскресную школу. В последующие годы общество основало женскую ремесленную школу (1877 год), декоративно-малярную школу (1898 год), школу имени Гаршина в поселке Ново-Павловка. С деятельностью общества связано возникновение в Харькове четырех бесплатных народных читален-библиотек: на Москалевке (1891 год), на Большой Панасовке (1894 год), на Старо-Московской (1895 год) и на Журавлевке (1896 год). Общество открыло также бесплатные библиотеки в Липцах, Мерефе и Новой Водолаге. В 1910 году редакционная комиссия общества под руководством профессора университета В. Я. Данилевского начала издание многотомной «Народной энциклопедии».
В дореволюционный период на улице располагались аптека, санаторий и водолечебница профессора Ханжинского, небольшие магазины.
В здании бывшей губернской земской в 1925—1934 годах работал Центральный Комитет КП(б)У, а с 1934 по 1941 год — Харьковский областной комитет партии
В годы Советской власти на улице продолжалось строительство жилых и административных зданий. В 1931 году закончились работы по перестройке здания ЦК КП(б)У, проводившиеся под руководством архитектора Я- А. Штейнберга. В 30-х годах было сооружено и надстроено несколько жилых домов, возведено здание АТС (архитектор П. И. Фролов).
В годы Великой Отечественной войны улица сильно пострадала. Многие жилые и административные здания были разрушены. После освобождения города на их месте построены новые сооружения. Между улицами Сумской и Дзержинского в 1954 году воздвигнуто монументальное здание Харьковского областного комитета Компартии Украины (авторы проекта архитекторы В.. М. Орехов и В. П. Костенко). Напротив — здание института Гипрококс и жилой дом. Дальше по улице расположены новые жилые дома, школа №5 (архитектор Г. И. Нечесенко), производственный корпус Гипрококса и другие сооружения.
