23歲時，鄭板橋與幼讀詩書的徐氏成婚，他們相濡以沫生活了16年，生有一子二女：一子犉兒早夭，長女適袁氏，次女適趙氏。徐氏夫人在鄭板橋39歲時病故，約過了三年光景，板橋續娶郭氏夫人，婚後並無子嗣。
饒氏夫人是鄭板橋43歲時在揚州玉勾斜偶遇的小家碧玉，她芳名饒五娘，當時年僅17歲。饒五娘對鄭板橋慕名已久，在其母親的撮合下，與鄭板橋定下了婚約。兩年後，已成進士的鄭板橋納饒氏爲妾。多年以後，饒五娘誕下一子，小名麟兒，鄭板橋52歲再度得子，可謂喜不自勝。然而，麟兒6歲夭亡，這使鄭板橋陷入了無子可續香菸的境地。
