司馬遷出身於中下層官吏家庭。高祖司馬昌，當秦始皇時，作主鐵官。曾祖司馬無澤，在漢初作長安的一個“市長”。祖司馬喜，沒有作官，而有第九等爵位，爲五大夫。他的家庭在漢文帝時可能是所謂“中人之家”，以農業、畜牧致富，因而能夠出粟買爵。司馬遷說自己“耕牧河山之陽”，不一定就是親自參加耕牧。
司馬遷後代一說
司馬遷自稱“生龍門，耕牧河山之陽”（《史記·太史公自序》），又稱其數世祖塋均在高門，即今陝西韓城但此地至今無一姓司馬者。據韓城縣文化館介紹，距司馬遷出生地“龍門砦”僅三裏之續村，今爲鬼東嵬陽村，同、馮兩姓卻歷來均自稱爲司馬之後。同姓祖陵存碑文錄於下：
“維茲同族，世傳司馬。初序天地，系出重黎。至周失官，嘗典史筆。去周適晉，分散他鄉。錯在秦朝，夏陽居處喜及後代，高門成塋。官太史者談，作《史記》者子長。葬史坡而山明水秀，生臨觀而子孝孫賢。史通因避莽亂，隱居嵩陽徽爲長門嫡孫，改姓同氏。追歸故里，徙居徐村。墳墓先塋，不能悉志。自茂至傑，略表所知。”
此碑勒於清嘉慶二十二年，來源於清康熙二十二年韓城知事翟世琪所撰《重修太史廟記》。該碑文稱：“自康熙八年，衆爲太史公廟會而不能得太史公生辰。適有華山方外士自言知其詳，謂：司馬子長四柱爲甲寅、戊辰、庚午、丙戌，壽七十三歲，卒於丙寅年九月初四日。有二子，長臨，字與仲次觀，字何求。史通，臨之孫也。莽爲安漢公，封史通。史通避莽亂，偕逢萌居嵩陽。司馬徽正臨嫡派，今子孫或在洛陽，同姓或在襄陽，馬姓。觀之八世孫爲懿，傳帝十五葉，闢劉宋之禍，去司返高門。又有女爲楊敞夫人。敞後傳帝二世，前五代終始，皆子長之裔也。而觀裔司馬君實，與臨裔司馬徽，皆別有不朽，以德不以位。”宋武帝劉裕滅東晉之後，難免要追殺司馬後代。司馬子孫爲避株連遭禍，改姓同、馮，返回高門，頗近事理。至於華山方外士所言，來自遺聞傳說，雖無史籍可考，卻不能一概視爲荒誕不經，至少可作爲史學家研考之資料。
