De geschiedenis van het Kasteel gaat terug tot in het jaar 1433 waar het op een strategische plek wordt gebouwd. Tijdens de Hoekse en kabeljauwse twisten wordt het kasteel geplunderd en in brand gestoken.

In 1598 wordt het Kasteel wit geverfd en krijgt het zijn huidige uiterlijk. Het heet dan “Het Witte Huis”. In 1830 wordt het Kasteel gekocht en gemoderniseerd in Empire-stijl door de Rotterdamse reder Anthony van Hoboken. In 1913 komt het Kasteel onder beheer van de Maatschappij ter exploitatie van Rhoon, Pendrecht en Kortgene.

De Duitse Wehrmacht vordert het Kasteel in mei 1940 ter bewoning en in de jaren daarna wordt het langzaam leeggehaald.

Het Kasteel met omringende tuin wordt in 1970 verkocht aan de Stichting Het Zuid-Hollands Landschap. Tegenwoordig is het Kasteel in beheer van Stichting Kasteel van Rhoon en is de tuin eigendom van Het Zuid-Hollands Landschap.

Het Kasteel van Rhoon wordt tegenwoordig gebruikt voor Feesten, diners, High Tea, borrels, vergaderingen enz.