文帝后七年(公元前157年)六月己亥日，汉文帝刘恒在长安未央宫去世。他在遗诏任命自己最信任的藩邸旧臣、负责皇宫警卫的郎中令张武为复土将军，从京城附近的县征调正在服兵役的士卒16000人，从京城所在的内史地区临时征发士卒15000人，负责营坟、下葬和复土等丧葬事宜。
郎中令张武为复土将军，发近县见卒万六千人，发内史卒万五千人，藏郭、穿、复土属将军武。《史记·孝文本纪》
汉文帝爱惜民力，轻徭薄赋，在修建霸陵之时，要求因地势而建，不起坟，也就是陵墓的上面没有隆起的封土，这也是我们直到现在才找到霸陵准确位置的原因之一。
汉文帝一生俭朴，他要求霸陵的随葬器物全部用瓦器，不得以金银铜锡为饰。从目前霸陵发掘情况来看，虽然并非只有瓦器，但和只当了27天皇帝的海昏侯刘贺的墓葬相比，霸陵要寒酸得多。
对于霸陵薄葬,后人多有赞美之辞。唐代司马贞《史记·孝文本纪》索隐述赞写道：“霸陵如故,千年颂声”。他认为由于汉文帝主张薄葬，所以霸陵至今仍然完好如故，而且千百年来世人对汉文帝赞颂不绝。
唐代诗人白居易的《草茫茫—惩厚葬也》，以诗的形式将秦始皇陵与汉文帝霸陵进行比较。秦始皇陵“一朝盗掘坟陵破,龙椁神堂三月火。可怜宝玉归人间,暂借泉中买身祸。”而汉文帝霸陵与之形成鲜明对比：“奢者狼藉俭者安,一凶一吉在眼前。凭君回首向南望,汉文葬在霸陵原。”
《旧五代史·周书·太祖纪四》载郭威语,也说:“朕攻收河府时,见李家十八帝陵园,广费钱物人力,并遭开发。汝不闻汉文帝俭素,葬在霸陵原,至今见在。”
其实汉文帝的霸陵并非完好如故，霸陵在历史上至少三次被盗掘。第一次是在汉武帝时期，霸陵随葬钱币遭到盗掘，此次盗瘗钱事件还引发了丞相庄青翟和御史大夫张汤之间的矛盾。《汉书·张汤传》记载：“会人有盗发孝文园瘗（yì）钱”。瘗钱就是埋在陵园四周为死者陪葬的钱币。
第二次是在东汉时期，具体情况不祥。东汉应劭所著《风俗通》记载：“霸陵薄葬，亦被发掘。”（现在的通行本《风俗通》已无上述记载）。
第三次是在西晋末年，秦地百姓盗发了霸陵，得到了很多珍宝。《晋书·索琳传》记载：“时三秦人尹桓、解武等数千家，盗发汉霸、杜二陵，多获珍宝。”
通过霸陵被盗掘的记录来看，霸陵并非文帝所要求的那样务求薄葬、皆用瓦器，只是较其他诸陵略为俭朴。为什么会出现这种情况，有人疑心汉文帝霸陵薄葬只是一种政治宣传。明人张燧《千百年眼》卷四“文帝奢俭之异”条写道：“前史称汉文帝节俭，身衣弋绨，集上书囊为殿帷，所幸慎夫人衣不曳地。此三事以人主为之，可谓陋矣。然赐邓通以十数巨万，又以铜山与之，此又何也?”指出汉文帝有大俭之名，又有大奢之实，其心理与行为存在矛盾。
汉文帝有一次带着张释之视察霸陵，曾感慨地说：“嗟乎！以北山石为椁，用纻絮斫陈，蕠漆其间，岂可动哉！”张释之对此却另有看法，他说：“使其中有可欲者，虽锢南山犹有郄；使其中无可欲者，虽无石椁，又何戚焉！”文帝很认可张释之的看法。但是据明人何景明《雍大纪》记载，霸陵曾经因秋季溺水冲激，冲出石板五百余片。所以有学者以汉文帝仍然坚持以石为棺椁的角度，认为其目的正是为了厚葬其中，霸陵薄葬并非事实。
也有人疑心是汉景帝违背了汉文帝遗诏，以实际上的厚葬使汉文帝陷于后人以为矫情虚伪、言行不一的“不义”的尴尬处境，同时也导致了盗掘的灾祸。梁玉绳《史记志疑》卷七就提出了这样的疑问：文帝之葬特差少于诸陵,而非真薄也,岂景帝不从遗诏之故乎?
日本学者泷川资言《史记会注考证》也说：“刘向谏昌陵疏,谓文帝寤张释之言,去坟薄葬，以俭安神。贾山《至言》亦言之。则霸陵在汉帝诸陵中最俭者矣。而《晋书》称赤眉取陵中物，不能减半，于今犹有朽帛委积，珠玉未尽。岂文帝崩后，臣子违其素志邪？古书所言，未可悉信也。
霸陵并非史记记载的薄葬，还有另一种可能：孝文窦皇后不薄葬。窦皇后是在汉武帝建元六年(公元135年)方才去世的，去世后与汉文帝合葬霸陵。这一点从最新的霸陵发掘成果也得到证实。也就是说，霸陵随葬品即使丰富，也有窦皇后在汉武帝时入葬霸陵的因素。西汉皇室女性地位相当高，其时天下空前富足，在汉武帝已经成年的情况下，祖母逝世，也是不可能迁就汉文帝二十余年前的遗制实行薄葬的。
