Antiquité
Des fouilles ont mis en évidence des traces d'occupation humaine dès le Néolithique. Les Mycéniens y construisirent des murs cyclopéens dont il reste des vestiges.
Aux alentours du IV siècle av. J.-C., l'île était l'un des dèmes de Piraea et émet sa propre monnaie présentant la tête couronnée de laurier de Bacchus sur une face et Megisteon sur l'autre. Cependant, ces pièces de monnaie n'ont réellement circulé que sur l'île de Rhodes montrant ainsi le glissement progressif du pouvoir de Piraeae vers Rhodes.
De cette période sont notamment retrouvés en 1913 sur le plateau d'Agios Georgios (Saint-Georges) les restes de 22 tombeaux pillés dont un sarcophage renfermant une couronne en or décorée de vignes et qui constitue une des pièces maîtresses du Musée national archéologique d'Athènes. D'après les estimations, ces tombeaux dateraient du IV siècle av. J.-C.. Un autre tombeau de la même époque a été découvert sur l'île voisine de Ros.
Jusqu'en 146 av. J.-C. et l'arrivée de la domination romaine sur la Grèce qui durera jusqu'en 330, Kastellórizo fait partie de la Grèce antique.
Moyen Âge
Sous l'empire byzantin, l'île prend le nom de Castellorizo, nom qui sera ensuite déformé dans toutes les autres déclinaisons durant les différentes occupations.
En 1306, l'île est prise par les chevaliers de l'ordre de Saint-Jean de Jérusalem et intégrée à leurs possession de Rhodes. L'île était utilisée comme lieu d'exil et de détention.
Après avoir été prise en 1440 par l'armée du sultan mamelouk d'Égypte, Kastellórizo est successivement contrôlée par les Catalans en 1461, par le Royaume de Naples en 1470, par les ottomans en 1480, de nouveau par le Royaume de Naples en 1498 et par les Espagnols en 1512.
En 1635, la République de Venise prend possession de l'île qu'elle rebaptise Castellorosso par déformation du nom originel. Elle est reprise par l'empire ottoman en 1686.
Époque contemporaine
A partir de 1821, l'île est administrée par la Grèce lors de sa guerre d'indépendance mais l'île est finalement récupérée par l'empire ottoman en 1833.
Entre 1913 et 1915, Kastellórizo acquiert l'autonomie avant de subir différentes périodes d'occupation et de changer à de nombreuses reprises de mains :
- du 24 décembre 1915 au 21 août 1920 : occupation par la France. La Turquie, en représaille face à cette présence, bombarde régulièrement l'île et détruit le HMS Ben-my-Chree en 1917.
- du 21 août 1920 à la mi-1944 : occupation par l'Italie qui l'intègre à ces possessions du Dodécanèse (Isole Italiane dell'Egeo) le 11 juillet 1922 et la renomme Castelrosso. Pendant les années 1930, l'île fut une escale importante pour les avions d'Alitalia et Air France.
- de la mi-1944 au 22 mars 1945 : occupation par le Royaume-Uni suite à la capitulation italienne face aux Alliés. Durant cette occupation, l'explosion d'un stock d'essence provoque un incendie qui ravage l'île et détruit la moitié des habitations.
Le 22 mars 1945, Kastellórizo est officiellement intégrée à la Grèce mais elle restera sous administration britannique jusqu'au 15 septembre 1947 puis sous administration grecque jusqu'au 22 mars 1948, date de l'énosis (union) effective.
La population permanente de l'île, estimée à 15 000 personnes vers 1900, est alors tombée à environ 250 individus. En effet, la plupart des habitants ont émigré vers l'Australie où ils sont connus sous le sobriquet de Kassies, vers les États-Unis et la France où l'on retrouve certains de leurs descendants à Marseille et dans la région Provence-Alpes-Côte d'Azur.
De nos jours, Kastellórizo est de plus en plus visitée par des touristes à la recherche d'une île isolée du Dodécanèse et des décors du film Mediterraneo de Gabriele Salvatores oscarisé en 1991.