对家族历史，他曾说，“对我来说，我们的家族历史应从曾祖父李沐文开始。他是客家人，客家人属于汉民族，发源于华北和华中平原，大约在700到1000年前迁往福建、广东和华南其他省份。由于南迁较迟，只能挤到土地比较贫瘠，当地人尚未开发的山丘地带。根据其曾祖父在中国故乡所盖的一座房子后面的墓碑碑文记载，他于1846年诞生在广东省大埔县唐溪村。长大后，搭乘帆船过番到新加坡来。”
《李光耀回忆录》中描述，“当年他(李光耀曾祖父)南来的路线，很可能是先乘小船沿着韩江顺流航行120公里，到最靠近的广东省港口汕头，然后从那儿出海到南洋。从此以后，有关他的行踪便鲜有所闻了。直到19世纪70年代，他和华族少女萧唤娘结婚。萧唤娘是一个客家店主的女儿，在新加坡出生。”
现存的李光耀故居在梅州。
李光耀故居“中翰第”建于清光绪十年(公元1884年)，由李光耀的曾祖父李沐文公建造，属“下山虎”式客家民居建筑，砖木结构，占地面积230平方公尺，建筑面积180平方公尺。
