司马迁墓地的始封年代，为西晋时期。据北魏郦道元《水经注》载，西晋永嘉四年（310年），汉阳太守殷济瞻仰遗文，大其功德，遂建石室，立碑树垣……

从这个记载中可以看出，司马迁墓地始封年代应晚于西晋永嘉四年（310年）。因为郦道元在《水经注》中只记载了殷济建石室、立碑、树垣，并未提及封墓。其原因很简单，就是殷济敬重司马迁的人格，推崇司马迁的《史记》，因司马迁卒年卒因及葬地不详，所以才在芝川城南芝水之阴的高岗上，为司马迁建了个纪念地，以供自己和其他敬仰司马迁的人随时瞻拜，寄托对古贤人之思念。这便是司马迁祠的最早形制。

后来的人觉得有祠无墓，总是个遗憾，于是便在其石室之后培土封冢，做到有祠有墓，以慰先人，亦慰后人。这便是司马迁墓的起源。

关于司马迁墓的修葺，金以前已不可考。有记载的最早修缮是在金大定己亥年（1179年）。据该年立的《重修太史公墓碑》碑文载：“惜乎时代历久，旧冢倾颓，今春姚定乃率里人命工修复”。在这篇碑记的落款处，不仅有撰文者进士赵振的姓名，还有稷山石匠、砖匠、化主、立石人的姓名，更有“施柏树伍拾银”的姓名。这个记载虽然简单，但却给我们提供了很多重要信息。第一，有“砖匠”（即现在的“瓦匠”或“泥水匠”），说明这次重修是将墓进行了砖砌。第二，在砖砌之后，还在墓冢之上栽了柏树，即现在墓上的古柏，至今已有八百三十多年。不然，为什么要在碑记上特地留下“施柏树伍拾银”的姓名呢？

对司马迁墓的第二次维修，是在清康熙四十年（1701年），当时任韩城县令的康行僩在《重修太史公墓碑记》中这样写道：“康熙己卯秋（1699年），余有事芝原，因谒太史公祠，得观其墓。墓颠老柏蟠结，奇古万状，下以砖甓甃之。而历年久远，不无倾坍剥落之处……遂命工葺之。”文中的“葺”就是修理的意思。

对司马迁墓的第三次修葺，是在清嘉庆二十一年（1816年）。时任韩城知县的冀兰泰倡修并主其事。这次修葺如第一次，未动墓的原结构，而是在保留原状的基础上，用砖在墓的周围再裹砌了一层，并在墓壁周围嵌入了砖雕八卦图案和花卉图案，就是我们现在看到的样子。关于这次砖砌，冀兰泰在亲自撰文的《重修太史公祠记》中有所说明：“墓裂恐圮，砖甃又未敢动，需复用砖从外裹而修之。”

然而近年来韩城个别文人在撰写有关司马迁祠墓的文章时，为了迎合时下一些人喜欢猎奇的心理，或是为了作秀，便不顾史实，只凭想象编造故事，说什么司马迁墓是忽必烈下令修建的，司马迁墓是仿蒙古包的样子修建的。更有甚者，说什么忽必烈还亲自拜祭了司马迁祠墓等等。遍查国史和韩城历代《县志》，遍查司马祠所有碑文，从未见过如上记载。应该说明的是，司马迁祠墓历代的重修碑记保存得十分完整，也流传有序，连元祐元年（1314年）韩城县达鲁花赤兼管本县诸军奥鲁劝农事（实际上是韩城地方长官，只不过是蒙古人的称呼有别）罗里重修太史祠都留有碑石，那作为大元帝国皇帝的忽必烈敕修太史祠墓、拜谒太史祠能不立碑纪念么？这只能说明杜撰者的无知。应当指出的是，这些说法虽属臆造，但却为一些不知史，不读史的人所引用甚至津津乐道，这便是对“谬论传播一百遍便是真理”的最好诠释。