Как и многие нынешние районы Большого Лондона, на момент основания Ричмонд находился за пределами города, а его история берет начало в XVI веке, когда Генрих VII построил здесь королевский замок и в 1501 году назвал его Ричмондским дворцом.