Zespół klasztorny ufundował bp krakowski Marcin Szyszkowski, jako wotum za ominięcie Kielc przez szalejącą w kraju w 1622 r. zarazę.

Kościół pod wezwaniem św. Karola Boromeusza wzniesiono na wzgórzu Karczówka, leżącym wówczas nieopodal Kielc. Nazwa wzgórza wywodzi się od osady leżącej na jego zboczu, zamieszkałej przez górników zajmujących się karczowaniem lasu. Akt erekcyjny wydano 2 maja 1624 roku. Kielce liczyły wówczas około 1500 mieszkańców. Lokalizacja uwarunkowana była bliskim położeniem Kielc, możliwością budowy w przyszłosci drogi krzyżowej oraz bliskością surowców budowlanych. Po wzniesieniu pierwotnego kościoła, który swym kształtem odbiegał od obecnej bryły, arcybiskup nadał Karczówce nazwę - Góra Świętego Karola, jednak nazwa ta nigdy nie znalazła akceptacji mieszkańców. W 1628 roku ukończono budowę kościoła. W 1629 roku zapadła decyzja o sprowadzeniu na Karczówkę zakonników. Rozszerzono zabudowania, przebudowano pomieszczenia plebanii, dostosowując je do celów klasztornych. W 1631 roku zakończono budowę, a na Karczówkę do klasztoru sprowadzono bernardynów. Jedynie na Karczówce odbywały się wówczas wielokrotne odpusty, które w ciągu roku gromadziły tłumy wiernych z miasta i okolic. W I połowie XVIII w. dobudowano od strony wschodniej zabudowania gospodarcze, które ogrodzono murem z basztami na wschodnich narożach i ulokowaną pośrodku bramą. Od 1957 r. w obiektach gospodarzy Stowarzyszenie Apostolstwa Katolickiego tzw. "Księża Pallotyni", które prowadzi tu parafię i nowicjat (zakon Bernardynów został zlikwidowany przez władze carskie w 1864 r.). Wzniesiony z prostych brył geometrycznych zespół klasztorny zwieńczają pokryte spatynowaną blachą miedzianą barokowe hełmy wieży i sygnaturki. Ciekawym jest także barokowy zespół schodów prowadzących do klasztoru. Ich okładzinę, balustradki i bramki wykonano z czerwonego i szarego piaskowca - drugiego po "marmurach" kamienia zdobniczego wydobywanego na Kielecczyźnie. W przedsionku po lewej, umieszczono tablicę erekcyjną, a po prawej, nad wejściem do klasztoru obraz kieleckiego malarza R. Praussa, nawiązujący do złupienia klasztoru przez Szwedów w 1655 r. Z przedsionka przechodzimy do kruchty, z której prowadzą wejścia do kościoła i znajdującej się pod wieżą - kaplicy św. Barbary. W jednonawowym kościele na szczególną uwagę zasługuje wykonany w marmurze chęcińskim wczesnobarokowy ołtarz główny z obrazami patrona świątyni i św. Kazimierza. Pozostałe wyposażenie wnętrza pochodzi z okresu rokoka. Z kościoła przechodzimy do kaplicy. W rokokowym ołtarzu umieszczono XVII w. posąg patronki górników św. Barbary. Wykonano go z nietypowego materiału jakim był rzadko spotykanej wielkości samorodek rudy ołowiu - galeny (PbS). O legendarnej historii tego znaleziska opowiadają umieszczone na zachodniej ścianie kaplicy tablice. Tutejszy mieszkaniec i górnik - Hilary Mala w szybach górniczych Karczówki znalazł trzy samorodki galeny. Wykonano z nich figurę Najświętszej Marii Panny (obecnie w kieleckiej katedrze), figurę św. Barbary (Karczówka) i św. Antoniego (Borkowice). Przołtarzu stoją dwa osiemnastowieczne świeczniki marmurowe, zdobione typową dla rokoka ornamentacją. Po wyjściu z kościoła, z tarasu widokowego możemy podziwiać panoramę głównego grzbietu Gór Świętokrzyskich. Zespół klasztorny Bernardynów składa się z kościoła p.w. Św. Karola Boromeusza z 1628 r., klasztoru z 1631 r., zabudowań gospodarczych i stodoły z 1 poł. XVIII w., przebudowanej w 1986 r. na kaplice MB Fatimskiej. Obecnie klasztor Pallotynów. Przy murze klasztornym, od strony północnej - pomnik, zbiorowa mogiła powstańców z 1863 roku.

Uwaga: istnieje możliwość, po uprzednim ustaleniu w zakrystii, wejścia na wieżę kościelną i podziwiania okolicznej panoramy