Музей был основан 9 мая 1965 года, к 20-летию Победы в Великой Отечественной войне. Первые экспонаты помогали собирать участники ВОВ. Музей включает четыре выставочные экспозиции, Музей истории космонавтики и лапидарий. Здесь проходят тематические встречи, научно-краеведческие конференции, выступают творческие коллективы. Располагается музей в здании памятника военного зодчества XIX в. федерального значения «Кисловодская крепость».

В Кисловодском историко-краеведческом музее «Крепость» хранится более 90 тыс. экспонатов, и более 10 тыс. книг находится в научной библиотеке при музее. Музей насчитывает четыре постоянные экспозиции. Первая — «Город солнца и нарзана» — посвящена Кисловодску, истории основания и развития курорта, древностям кисловодской котловины. Особая гордость музея — более 20 тыс. археологических экспонатов. Экспозиция «Война: люди и судьбы» рассказывает о Кисловодске и кисловодчанах в годы лихолетья. Во время Великой Отечественной Кисловодск был крупнейшей госпитальной базой на юге России. Здесь было развернуто 39 эвакогоспиталей на 21 тыс. коек. За годы ВОВ тут пролечились около 600 тыс. раненых, 450 тыс. вернули в строй. Выставка «Символы России» повествует о государственной символике, начиная с эпохи правления Екатерины II, представлен и период СССР. Особое место отведено символике Ставропольского края, городов Кавминвод. 

Здесь можно узнать все о российских флагах и орденах, гербах и штандартах, гимнах, а также представлены предметы с изображением символики. Экспозиция «Природные богатства Кисловодска» посвящена источнику «Нарзан», животному и растительному миру региона. Здесь представлены экспонаты древнейшей истории: окаменелости аммонитов, белемнитов, морских ежей, лилий и других животных, обитавших миллионы лет назад в древнем океане Тетис. С 1996 года регион активно исследуют археологи, и учреждение культуры регулярно пополняется новыми находками. Сегодня археологическая коллекция — это 25 тысяч единиц хранения. «На территории нашего музея действует лапидарий — музей под открытым небом, — рассказывает директор Кисловодского историко-краеведческого музея «Крепость» Сергей Лузин. — Здесь находятся скифские каменные изваяния, надгробие аланского периода, а также камни с высеченными на них петроглифами. Это Майкопская культура. Им 5 тысяч лет! Нам есть чем удивить».