Le fort de Karlovac (actuel centre-ville) fut fondé au XVI siècle. La ville était le chef-lieu des Confins militaires de l'empire des Habsbourg.
Le château de Dubovac, à quelques kilomètres du centre-ville constitue la vieille ville de Karlovac (XVI siècle) et fut transformé par la suite en hôtel. L'industrie la plus connue de Karlovac est sa brasserie Karlovačka Pivovara d.d., qui produit la bière « Karlovačko Pivo ».
Le centre-ville, construit en forme d'étoile, est encore en cours de restauration après les importantes destructions qu'il a subi pendant la guerre d'indépendance. Le théâtre de la ville Zorin Dom a ainsi rouvert en 2000.
La ville accueille une des plus grandes manifestations croates chaque année à la fin du mois d'août : « Dani Piva », la fête des bières.