Riilahden nimi (Rilax by) mainitaan ensimmäisen kerran historian kirjoissa 1400-luvulla, mutta vasta 1645 muodostettiin Riilahden kartano rälssisäteriksi. Muutaman sukupolven ajan kartanoa asusti Körning-niminen perhe, mutta vuodesta 1725 se on periytynyt Aminoffien suvussa. Vuosisatojen aikana pääelinkeino on ollut maa- ja metsätalous, mutta ajoittain kalastuksella ja purjelaivarahdeilla on ollut merkityksensä.
Nimekkäin kartanon omistaja oli 1800-luvun alussa kreivi Johan Fredrik Aminoff, myös tunnettu yhtenä kolmesta kustavilaisesta. Hän rakennutti nykyisen päärakennuksen ja perusti myös englantilaisen puiston. Hänen kuoltua Riilahdesta tuli sääntöperintötila mikä merkitsi, että kartano periytyi jakamattomana seuraavalle sukupolvelle.
Kartanossa on aikojen kuluessa vieraillut sekä Venäjän tsaareja että Marsalkka C. G. Mannerheim.
Meritaistelu
Suuren Pohjan sodan aikana käytiin Riilahden edustalla 27 heinäkuuta 1714 meritaistelu Ruotsin ja Venäjän laivastojen välillä. Pieni ruotsalainen laiva-osasto Nils Ehrenskiöld komentamana joutui saarretuksi runsaslukuisen venäläisen kaläärilaivaston toimesta Hankoniemen pohjoispuolella. Suuresta venäläisestä ylivoimasta huolimatta ruotsalaiset kieltäytyivät antautumusta ja niin käytiin useita tunteja kestänyt verinen taistelu. Lopulta ruotsalaiset laivat tulivat vallatuksi ja elossa olevat joutuivat vangeiksi. Kaikki laivat miehistöineen vietiin Pietariin sotasaaliina.
Tästä meritaistelusta tuli Venäjän laivaston ensimmäinen saavutettu voitto ja näin ollen 27 heinäkuuta on edelleen laivaston vuosipäivä.
Riilahden rannalle pystytettiin 1870 meritaistelun muistomerkki kunnioittamaan taistelussa kaatuneita. Viime vuosisadan alussa muistomerkkiä laajennettiin ja nykyään rannassa komeilee rannikkomme komeimpia sotamuistomerkkejä.
