什么是乐？《正义》认为“天有日月星辰，地有山陵河海，岁有万物成熟，……咸谓之乐”。意思是，凡自然界中事物的一切差异与活谐，通通叫做乐。这与前篇礼的定义一样，是后世儒者故弄玄虚，非司马迁书的本意。司马迁所说的乐与如今所说的音乐之乐大致是相通的，它包括歌、舞和有关的器具(乐器和舞具)三部分；还认为乐是由于客观事物被人感知以后产生的，这也是正确的。但也有所不同，首先，他把乐与音、声做了严格区分，认为心感于物而动，产生声；声与声相感应，发生有规律的变化，叫做音；人因音而生欢乐，甚至翩翩而舞，都叫做乐。所以他说：“乐(yuè，去声月)者，乐(lè，去声勒)也”。就是说，只有使人欢乐的音乐才是司马迁所说的乐(yuè)。而且，这种欢乐不是人情的自然流露，而是受着一定意识形态的制约，符合这种意识形态的，虽无可乐(lè)也是乐(yuè)，否则，纵能使内心喜乐也不是乐(yuè)。因此又说：“乐者，所以导乐(lè)也”，是指导人心欢乐的一种规范。在“魏文侯”章中，把令人昏昏欲睡、毫无乐趣的古乐称为德音，认为是典型的乐，而令人乐不知疲的郑、卫、齐、宋等国的音乐只说是“溺音”，(即今所谓靡靡之音)，就是这个缘故。

　　司马迁之前对乐的认识并不是统一的。《吕乐春秋》就说，道生万物，万物凡有形体者满足和、适两个条件就能发声，有声就能成乐，意识形态的条件被完全排除了，把乐分成大乐、侈乐、古乐等名目，认为“亡国戮民非无乐(yuè)也，其乐(yuè)不乐(lè)”。这与乐书说的“乐者，乐也”的定义截然不同。

　　《史记·乐书》分作四个部分，前七个自然段(划分自然段的标准是中华书局标点本《史记》中凡另起行者为一段，惟回答部分，一问一答为一段)是司马迁的总论；8－49段是详论，与《礼记·乐记》中的文字大体相同；50－55段是褚先生的评论误入正文者；56段“太史公曰”以后的文字是结尾，为司马迁的评论。第二部分是全篇重点。《礼记·乐记》孔颖达的序文说，古乐书在周末时散失了，汉武帝时，河间献王刘德与诸儒生采集周官及诸子书中有关乐事者，撰成《乐记》24卷，到汉成帝时刘向校书得23卷，且与流传者有所不同。《礼记》截取其中11卷合为一篇，名《乐记》，其余12卷渐次失传，只有卷名保留在刘向《别录》之中。《礼记·乐记》郑玄序所列篇目与《别录》相同，显系录自《别录》，而《礼记·乐记》中的篇目次第又与郑序不同。按《正义》所说，《礼记·乐记》是公孙尼子所撰，《史记》缺《乐书》篇，褚先生取公孙尼子文而升降颠倒其篇次以补之。以《乐书》与今传十三经本《礼记·乐记》比较，除篇次不同外，相异处尚有171字，部分是语词、虚字有繁简，其余多半是古今字之不同，仅此即可知《乐书》所据本比《礼记·乐记》更为古远。再以《礼记·乐记》中的内容与郑序中的篇目名对照，推想《别录》见到的《乐记》，即刘德及诸儒生所撰的《乐记》的情况，以与《乐书》相比较，二者的不同见下表：

　　由表可见，《乐书》与《乐记》的不同：一是《乐书》把《乐记》的第(七)章提到(五)、(六)章之前，使与第(四)章并列；二是把第(十)章提到第(八)章之前，使与(五)、(六)章合为一段，另使(八)、(九)、(十一)章合为一段；三是把第(六)章中的第<5>段归入第(四)章；四是将第(四)章的第<4>段作为过渡语放在(七)、(五)两章之间，从表中“内容”和“备注”两栏不难看出，这样处理比《别录》中的《乐记》更为合理，说明《乐书》的作者比编订《礼记》的河间献王和众儒生们高明得多，更非后世那些奉儒经为圭臬的学者所能及。因此，说《史记·乐书》是褚先生所补，难以令人置信。

　　说《乐书》的第三部分是褚先生所补，是由于褚先生补书有几个明鲜特征。首先是见识粗鄙，与司马迁语绝不相类。如第50自然段说天人相通、善恶有报等，迂腐之极，51段说舜歌《南风》之诗而天下治，纣为北鄙之音而亡国，是由于南方主夏，是“生长之音”；北是败北的意思等，因文字而加敷会，无论《乐书》或《乐记》都无如此荒唐之言，第52段又讲了卫灵公于濮水之上得师延遗作的怪诞故事，虽有所本，必非司马迁所屑于言。其次是语言粗鄙，多有词不达意者，而且他有句口头禅，动辄“岂不伟哉”，“何其弘也”之类。所以，褚先生的大作，一般是不难判断的。