Rilax omnämns första gången på 1400-talet, men först 1645 bildades Rilax gård som ett frälsesäteri. Under några generationer innehades gården av familjen Körning, men sedan 1725 har den gått i arv inom släkten Aminoff. Under gångna sekel har jord- och skogsbruk utgjort huvudnäringarna, men tidvis har fisket och seglationen haft sin betydelse.
Den namnkunnigaste innehavaren av gården var under 1800-talets början greve Johan Fredrik Aminoff, även känd som en av de tre gustavianerna. Han lät uppföra den nuvarande huvudbyggnaden och anlade även den engelska parken. Vid hans död blev Rilax fideikomiss, vilket innebar, att gården gick odelad vidare till följande generation.
Gården har under tidernas gång besökts av den ryska tsaren och senare även av marskalk C. G. Mannerheim.
Sjöslaget
Under det Stora nordiska kriget utkämpades den 27 juli 1714 vid Rilax ett sjöslag mellan de svenska och ryska flottorna. En liten svenska flotteskader under scoutbynaht Nils Ehrenskiölds kommando inringades av den talrika ryska galärflottan norr om Hangöudd. Trots övermakten vägrade svenskarna att sträcka vapen och därför utkämpades en blodig strid. Till slut måste svenskarna ge sig inför övermakten och de överlevande togs till fånga. Samtliga fartyg med besättning fördes i krigsfångenskap till St. Petersburg.
Denna strid blev den ryska flottans första seger till sjöss och därför utgör ännu idag 27 juli flottans årsdag.
På stranden av Rilax uppfördes 1870 ett kors till minne av sjöslaget och de där stupade. Under början av 1900-talet byggdes platsen ytterligare ut så att där idag står ett ståtligt monument till minne av sjöslaget vid Rilax.
