谢贤父母年轻时的合影。
祖籍广州番禺，早年广东富商，经营银庄（钱庄）、丝绸生意，家境优渥，属于战前的华人中产富商阶层。​巅峰时期家境殷实，谢贤年少时住香港铜锣湾大宅，小名叫虾“仔”，二战香港沦陷后生意崩盘、家道中落。钱庄、丝绸产业受战乱冲击破产；家道败落之后，谢贤十几岁被迫辍学，踏入演艺圈谋生。