儒家认为，声、音、乐是三个不同层次的概念。音有节奏、音调，而声没有。通常将声称为噪声，将音称为乐音。此外，音是经过文饰的人类心声。《乐记》说：“凡音者，生人心者也。情动于中，故形于声。声成文，谓之音。”上述话的意思是说，只有发自内心而又“成文”（有节奏）的声，才称为“音”。可见，“音”是高于“声”的。
“音”有不同的层次，低层次的“音”悖逆天道中庸的原则，对人情感的宣泄毫无节制，从而引导人走向颓靡或者暴戾的极端，最终毁灭人性，属于亡国之音。而高层次的“音”是天道的体现，使人在享受音乐的同时，受到道德的熏陶，涵养心性，属于“德音”。是故《乐记》说：“君子乐得其道，小人乐得其欲。以道制欲，则乐而不乱；以欲忘道，则惑而不乐。”“夫乐者，与音相近而不同”。也就是说，只有合乎“道”的音，即高层次的音，才能称为“乐”。
春秋时期就已经发生古乐与新乐之争。所谓古乐，是黄帝、尧舜以来，圣贤相传的雅乐，如黄帝之乐《咸池》，尧之乐《大章》、舜之乐《韶》，禹之乐《夏》等，节奏缓慢庄重，富有寓意。新乐则是时人所作的淫声乐曲，恣意放荡，无思想内涵可言。
《乐记》记载了魏文侯向子夏问乐的对话。魏文侯对子夏说：“我端冕而听古乐，总是担心会睡着；而听郑、卫之音，就不知疲倦。请问原因何在？”子夏说：“古乐进退齐一，没有奸声，弦匏笙簧，相互配合，奏乐始于击鼓，舞毕击金铙而退。君子聆听到此，可以说出古乐的义理，然后思索修身齐家，均平天下。新乐不然，行伍杂乱，奸声滥溺，舞者如猴戏，男女混杂，尊卑不别。乐曲终了，君子不知所云。”这段对话亦表明，“淫于色而害于德”的新乐是不能称为“乐”的，而“德音才可谓之乐。”
《礼记·乐记》（《十三经注疏》本）
乐本
1.凡音之起，由人心生也。人心之动，物使之然也。感于物而动，故形于声。声相应，故生变，变成方，谓之音。比音而乐之，及干戚、羽旄，谓之乐。
2.乐者，音之所由生也，其本在人心之感于物也。是故其哀心感者，其声噍以杀。其乐心感者，其声啴以缓。其喜心感者，其声发以散。其怒心感者，其声粗以厉。其敬心感者，其声直以廉。其爱心感者，其声和以柔。六者非性也，感于物而后动。是故先王慎所以感之者。故礼以道其志，乐以和其声，政以一其行，刑以防其奸。礼、乐、刑、政，其极一也，所以同民心而出治道也。
3.凡音者，生人心者也。情动于中，故形于声。声成文，谓之音。是故治世之音，安以乐，其政和。乱世之音，怨以怒，其政乖。亡国之音，哀以思，其民困。声音之道，与政通矣。
4.宫为君，商为臣，角为民，征为事，羽为物。五者不乱，则无怙懘之音矣。宫乱则荒，其君骄。商乱则陂，其官坏。角乱则忧，其民怨。徵乱则哀，其事勤。羽乱则危，其财匮。五者皆乱，迭相陵，谓之慢。如此则国之灭亡无日矣。
5.郑卫之音，乱世之音也，比于慢矣。桑间濮上之音，亡国之音也，其政散，其民流，诬上行私而不可止也。
6.凡音者，生于人心者也。乐者，通伦理者也。是故知声而不知音者，禽兽是也。知音而不知乐者，众庶是也。唯君子为能知乐。是故审声以知音，审音以知乐，审乐以知政，而治道备矣。是故不知声者不可与言音，不知音者不可与言乐，知乐，则几于礼矣。礼乐皆得，谓之有德。德者得也。是故乐之隆，非极音也。食飨之礼，非致味也。清庙之瑟，朱弦而疏越，壹倡而三叹，有遗音者矣。大飨之礼，尚玄酒而俎腥。大羹不和，有遗味者矣。是故先王之制礼乐也，非以极口腹耳目之欲也，将以教民平好恶，而反人道之正也。
7.人生而静，天之性也。感于物而动，性之欲也。物至知知，然后好恶形焉。好恶无节于内，知诱于外，不能反躬，天理灭矣。夫物之感人无穷，而人之好恶无节，则是物至而人化物也。人化物也者，灭天理而穷人欲者也。于是有悖逆诈伪之心，有淫泆作乱之事。是故强者胁弱，众者暴寡，知者诈愚，勇者苦怯，疾病不养，老幼孤独不得其所，此大乱之道也。
8.是故先王之制礼乐，人为之节。衰麻哭泣，所以节丧纪也。钟鼓干戚，所以和安乐也。昏姻冠笄，所以别男女也。射、乡食飨，所以正交接也。礼节民心，乐和民声，政以行之，刑以防之，礼、乐、刑、政，四达而不悖，则王道备矣。
乐论
9.乐者为同，礼者为异。同则相亲，异则相敬。乐胜则流，礼胜则离。合情饰貌者，礼乐之事也。礼义立，则贵贱等矣。乐文同，则上下和矣。好恶著，则贤不肖别矣。刑禁暴，爵举贤，则政均矣。仁以爱之，义以正之，如此，则民治行矣。
10.乐由中出，礼自外作。乐由中出，故静。礼自外作，故文。大乐必易，大礼必简。乐至则无怨，礼至则不争。揖让而治天下者，礼乐之谓也。暴民不作，诸侯宾服，兵革不试，五刑不用，百姓无患，天子不怒，如此，则乐达矣。合父子之亲，明长幼之序，以敬四海之内，天子如此，则礼行矣。
11.大乐与天地同和，大礼与天地同节。和，故百物不失；节，故祀天祭地。明则有礼乐，幽则有鬼神。如此，则四海之内，合敬同爱矣。礼者，殊事合敬者也。乐者，异文合爱者也。礼乐之情同，故明王以相沿也。故事与时并，名与功偕。
12.故钟鼓管磬，羽龠干戚，乐之器也。屈伸俯仰，缀兆舒疾，乐之文也。簠簋俎豆，制度文章，礼之器也。升降上下，周还裼袭，礼之文也。故知礼乐之情者能作，识礼乐之文者能述。作者之谓圣，述者之谓明。明圣者，述作之谓也。
13.乐者，天地之和也。礼者，天地之序也。和故百物皆化，序故群物皆别。乐由天作，礼以地制。过制则乱，过作则暴。明于天地，然后能兴礼乐也。
14.论伦无患，乐之情也。欣喜欢爱，乐之官也。中正无邪，礼之质也。庄敬恭顺，礼之制也。若夫礼乐之施于金石，越于声音，用于宗庙社稷，事乎山川鬼神，则此所与民同也。
乐礼
15.王者功成作乐，治定制礼。其功大者其乐备，其治辩者其礼具。干戚之舞，非备乐也。孰亨而祀，非达礼也。五帝殊时，不相沿乐。三王异世，不相袭礼。乐极则忧，礼粗则偏矣。及夫敦乐而无忧，礼备而不偏者，其唯大圣乎。
16.天高地下，万物散殊，而礼制行矣。流而不息，合同而化，而乐兴焉。春作夏长，仁也。秋敛冬藏，义也。仁近于乐，义近于礼。乐者敦和，率神而从天。礼者别宜，居鬼而从地。故圣人作乐以应天，制礼以配地。礼乐明备，天地官矣。
17.天尊地卑，君臣定矣。卑高已陈，贵贱位矣。动静有常，小大殊矣。方以类聚，物以群分，则性命不同矣。在天成象，在地成形，如此，则礼者，天地之别也。
18.地气上齐，天气下降，阴阳相摩，天地相荡，鼓之以雷霆，奋之以风雨，动之以四时，暖之以日月，而百化兴焉。如此，则乐者，天地之和也。
19.化不时则不生，男女无辨则乱升，天地之情也。
20.及夫礼乐之极乎天而蟠乎地，行乎阴阳而通乎鬼神，穷高极远而测深厚。乐著大始，而礼居成物。著不息者，天也。著不动者，地也。一动一静者，天地之间也。故圣人曰“礼乐”云。
乐施
21.昔者舜作五弦之琴以歌南风，夔始制乐，以赏诸侯。故天子之为乐也，以赏诸侯之有德者也。德盛而教尊，五谷时熟，然后赏之以乐。故其治民劳者，其舞行缀远。其治民逸者，其舞行缀短。故观其舞，知其德，闻其谥，知其行也。
22.《大章》，章之也。《咸池》，备矣。《韶》，继也。《夏》，大也。殷、周之乐尽矣。
23.天地之道，寒暑不时则疾，风雨不节则饥。教者，民之寒暑也，教不时则伤世。事者，民之风雨也，事不节则无功。然则先王之为乐也，以法治也，善则行象德矣。
24.夫豢豕为酒，非以为祸也，而狱讼益繁，则酒之流生祸也。是故先王因为酒礼。壹献之礼，宾主百拜，终日饮酒而不得醉焉，此先王之所以备酒祸也。故酒食者，所以合欢也。乐者，所以象德也。礼者，所以缀淫也。是故先王有大事，必有礼以哀之。有大福，必有礼以乐之。哀乐之分，皆以礼终。乐也者，圣人之所乐也，而可以善民心。其感人深，其移风易俗，故先王著其教焉。
乐言
25.夫民有血气心知之性，而无哀乐喜怒之常，应感起物而动，然后心术形焉。是故志微、噍杀之音作，而民思忧。啴谐、慢易、繁文、简节之音作，而民康乐。粗厉、猛起、奋末、广贲之音作而民刚毅。廉直、劲正、庄诚之音作，而民肃敬。宽裕、肉好、顺成、和动之音作，而民慈爱。流辟、邪散、狄成、涤滥之音作，而民淫乱。
26.是故先王本之情性，稽之度数，制之礼义，合生气之和，道五常之行，使之阳而不散，阴而不密，刚气不怒，柔气不慑，四畅交于中，而发作于外，皆安其位，而不相夺也。然后立之学等，广其节奏，省其文采，以绳德厚，律小大之称，比终始之序，以象事行，使亲疏、贵贱，长幼、男女之理，皆形见于乐，故曰：“乐观其深矣。”
27.土敝则草木不长，水烦则鱼鳖不大，气衰则生物不遂，世乱则礼慝而乐淫。是故其声哀而不庄，乐而不安，慢易以犯节，流湎以忘本。广则容奸，狭则思欲。感条畅之气，而灭平和之德。是以君子贱之也。
乐象
28.凡奸声感人，而逆气应之。逆气成象，而淫乐兴焉。正声感人，而顺气应之。顺气成象，而和乐兴焉。倡和有应，回邪曲直，各归其分，而万物之理，各以类相动也。是故君子反情以和其志，比类以成其行。奸声乱色，不留聪明；淫乐慝礼，不接心术；惰慢邪辟之气，不设于身体。使耳、目、鼻、口、心知、百体，皆由顺正，以行其义。
29.然后发以声音，而文以琴瑟，动以干戚，饰以羽旄，从以箫管。奋至德之光，动四气之和，以著万物之理。是故清明象天，广大象地，终始象四时，周还象风雨。五色成文而不乱，八风从律而不奸，百度得数而有常。大小相成，终始相生，倡和清浊，迭相为经。故乐行而伦清，耳目聪明，血气和平，移风易俗，天下皆宁。故曰：乐者，乐也。君子乐得其道，小人乐得其欲。以道制欲，则乐而不乱；以欲忘道，则惑而不乐。是故君子反情以和其志，广乐以成其教。乐行而民乡方，可以观德矣。
30.德者，性之端也。乐者，德之华也。金石丝竹，乐之器也。诗，言其志也。歌，咏其声也。舞，动其容也。三者本于心，然后乐器从之。是故情深而文明，气盛而化神，和顺积中，而英华发外，唯乐不可以为伪。
31.乐者，心之动也。声者，乐之象也。文采节奏，声之饰也。君子动其本，乐其象，然后治其饰。是故先鼓以警戒，三步以见方，再始以著往，复乱以饬归。奋疾而不拔，极幽而不隐。独乐其志，不厌其道，备举其道，不私其欲。是故情见而义立，乐终而德尊，君子以好善，小人以听过。故曰：生民之道，乐为大焉。
32.乐也者，施也。礼也者，报也。乐，乐其所自生，而礼，反其所自始。乐章德，礼报情，反始也。
33.所谓大辂者，天子之车也。龙旗九旒，天子之旌也。青黑缘者，天子之宝龟也。从之以牛羊之群，则所以赠诸侯也。
乐情
34.乐也者，情之不可变者也。礼也者，理之不可易者也。乐统同，礼辨异。礼乐之说，管乎人情矣。
35.穷本知变，乐之情也。著诚去伪，礼之经也。礼乐偩天地之情，达神明之德，降兴上下之神，而凝是精粗之体，领父子君臣之节。
36.是故大人举礼乐，则天地将为昭焉。天地欣合，阴阳相得，煦妪覆育万物，然后草木茂，区萌达，羽翼奋，角觡生，蛰虫昭苏，羽者妪伏，毛者孕鬻，胎生者不殰，而卵生者不殈，则乐之道归焉耳。
37.乐者，非谓黄钟、大吕、弦歌、干扬也，乐之末节也，故童者舞之。铺筵席，陈尊俎，列笾豆，以升降为礼者，礼之末节也，故有司掌之。乐师辨乎声诗，故北面而弦。宗祝辨乎宗庙之礼，故后尸。商祝辨乎丧礼，故后主人。是故德成而上，艺成而下，行成而先，事成而后。是故先王有上有下，有先有后，然后可以有制于天下也。