关于卢永祥后人的资料十分稀少,不过也不是全然没有记载。卢永祥的妻妾子女基本没有留下多少资料,独有其子卢小嘉与当时上海赫赫有名的青帮头目的一场冲突而没有被人忘记。
十八岁时,卢永祥在家乡与同乡的李氏女结婚,第二年长子卢兰芳(筱嘉或小嘉)出生。李氏去世后,他才又娶夏氏,生下次子卢德芳、三子卢智芳(企愚)、四子卢元芳、五子卢瑞芳(雪岩)、长女卢琬芳、次女卢瑜芳。
夏氏去世时,卢永祥已为淞沪护军副使,因忙于公务,没时间和精力照顾孩子,这成了他再次续弦的主要目的。而他当时的择偶条件也证明了这一点——品行端庄,粗通文墨,会针线活。经人介绍,他与常州邵氏结婚。邵氏又为卢永祥生了两个儿子,其中六子早夭,剩下的孩子都需要邵氏照顾。