Крепость, положившая начало городу Ставрополю, была построена в 1777 - 1780 годах на Крепостной горе - отроге Ставропольских высот.
Позже она именовалась Соборной или Кафедральной. В советское время внешний облик Крепостной горы изменился. В советское время внешний облик Крепостной горы изменился. Лишь остатки крепостной стены да маленькая улочка, названная именем легендарного Суворова, напоминали нам о двухвековой истории краевого центра.
Но сейчас все стало на свои исторические места: верхняя площадка горы носит название Соборной, а сама гора называется Крепостной.
29 апреля 1975 года в Ставрополе появилась первая часть мемориального комплекса «Крепостная гора». Тогда у властей города возникла идея украсить эту часть Ставрополя, но таким образом, чтобы объекты были неразрывно связаны с историей. В первую очередь решили установить памятник Суворову. Он не раз бывал в Ставропольской крепости, которая впоследствии стала городом.
В тот же день открыли еще один объект комплекса. Это была «Хоперская палатка».
Второе название: «Символический ключ от города». По задумке авторов памятник должен был выглядеть как стилизованная походная палатка или 3 раскрытые книги, на которых изображен план Ставропольской крепости. Внутри памятника на полковом постаменте-барабане лежит символический ключ от города.
Крепостной горе с 1991 года дан статус заповедной территории с объявлением ее землей историко-культурного значения, так как эта территория является центром зарождения города Ставрополя и имеет первостепенное научное и историко-культурное значение не только в истории города, но и всего Кавказа.
На территории историко-культурного центра «Крепостная гора» находятся:
- Крепость №8 Азово-Моздокской оборонительной линии (остатки крепостной стены 1777 года из камня ракушечника)
- Каменное здание интендантского депо (1-я пол. XIX в.). Сегодня в нем располагается городская детская музыкальная школа №2
- Каскадная лестница (середина XIX в.). - памятник уникального типа, обладающий большим градостроительным значением. В 1995 году постановлением главы администрации Ставропольского края объявлена памятником градостроительства и архитектуры и взята под государственную охрану.
- могила генерала армии И.Р. Апанасенко (1890-1943). Захоронение урны с прахом состоялось в 1943 году. Тогда же сооружено и надгробие. И.Р. Апанасенко – уроженец Ставрополья. В годы революции и гражданской войны командир кавалерийской дивизии в 1-й Конной армии. Награжден двумя орденами Красного Знамени. С 1938 по 1943 год командующий войсками военного округа и войсками Дальневосточного фронта. В 1943 году – заместитель командующего войсками Воронежского фронта
- Памятник героям гражданской войны (Буденовец), установлен в 1976 году в честь освобождения Ставрополя от белогвардейцев во время гражданской войны.
- Мемориал «Вечной славы» - братская могила воинов Советской Армии, погибших при освобождении Ставрополя от немецко-фашистских захватчиков и умерших от ран в госпиталях.
- Собор Казанской иконы Божией Матери - кафедральный собор был восстановлен был в 2004—2012 годы на старом фундаменте.
- Памятник А.С. Пушкину ( южный склон Крепостной горы) установлен в 1987 году в канун 150-летия со дня гибели поэта.
- Каменный крест (Суворовский крест) является именным символом Ставрополя.
«Самым интересным и достопримечательным местом в Ставрополе является Соборная гора. Здесь, на этой горе, все прошлое Ставрополя, его колыбель, вся его история» - Григорий Николаевич Прозрителев.