县衙源于春秋，秦灭六国，分天下为36郡，郡下设县，此后县衙始终是地方政权的基层组织，主持县衙的官员亦被称为“父母官”。
平遥县衙位于城内西南的政府街，坐北朝南，占地40亩。衙门口东有风水楼，南有照壁，西侧设有申明亭，主要是进行诉前纠纷调解，能不告则不告；如果调解无效，非告不可，则由衙门专人在此代写状子。
衙门内沿中轴线自南而北，依次为大门、仪门、牌坊、六部房、大堂、宅门、二堂、内宅等建筑。中轴线的东西两侧尚有土地祠、戏台、粮厅、督捕厅、牢狱等建筑。
县衙大门悬有楹联：“莫寻仇莫负气莫听教唆到此地费心费力费钱就胜人终累己，要酌理要揆情要度时世做这官不勤不清不慎易造孽难欺天”，既劝百姓多一事不如少一事，得饶人处且饶人，衙门还是少进为妙；又在明示衙门断案要审时度势，合情合理，出于公心，为民做主。
县衙的第二道门为“仪门”，青墙灰瓦，乌梁朱门，上钉黄铜大钉，威严庄重。除去知县上任、恭迎贵宾或重大庆典活动等，此门一般不开。仪门两侧各有一门，平常人出入都走东侧的“人门”，提审人犯或死囚赴刑时则走西侧的“鬼门”。仪门外联书：“门外四时春和风甘雨，案内三尺法烈日严霜”，直言衙门内外的天壤之别，劝说告状人无事莫登三宝殿，衙门里可不是好玩的。
大堂也叫公堂、正堂，这里是知县举行重大典礼，审理重大案件以及迎送上级官员的地方，它是整个县衙中主要建筑物，矗立在高于地面2尺余的台基地上，显得雄伟壮观。上悬匾额题写：“亲民堂”，两侧楹联：“吃百姓之饭穿百姓之衣莫道百姓可欺自己也是百姓，得一官不荣失一官不辱勿说一官无用地方全靠一官”。堂内正中屏风是一幅“山水朝阳图”，升堂时，县太爷正好坐在图内朝阳升起的地方，寓意如日中天、如沐圣光。
二堂主要是处理一般民事的地方，也是知县办公中间临时小憩或幕僚商议政事的地方。堂外联书：“与百姓有缘才来到此，期寸心无愧不负斯民”，撰联者故意将愧字少写一点，民字多写一点，巧妙含蓄为官一任就该多得点民心，少一点愧疚。案头屏风为“松鹤延年图”，上悬“思补堂”匾额，对面又悬“天理、国法、人情”，时刻提醒着县太爷断案要权衡三者，融理、法、情于一体。这里没有大堂的森严气氛，主要靠批评教育来达到退思补过、化解纠纷的目的，除非当事人执迷不悟，一般不用刑罚。
大堂与二堂之间由一道宅门隔开。宅门两侧设有门子房，相当于现在的传达室，有人求见县太爷，必须由门子通禀。门子大都是县太爷的亲信。许多来访者，为图见县太爷方便，不得不常给门子使些黑钱，否则非吃闭门羹不可。这或许就是我们今天办事需要“走门子”的历史渊源吧。
内堂亦称内宅，知县不但在此宿居、读书、办公，而且有些涉密案件或不宜公开案件也在此审理。匾额题写：“勤慎堂”，楹联上书：“治赋有常经勿施小恩忘大体，驭官无制法但存公道去私情”，意思是说做官要有做官的原则，不能因为一时的私心杂念和小恩小惠就忘了公道和大体。
最后一重建筑是大仙楼，为平遥县衙所独有。楼下窑洞作厨房，悬有一联：“柴米油盐酱醋茶除却神仙少不得，孝悌忠信礼义廉无有铜钱可做来”；楼上供奉守印大仙，联书：“名场似奕无同局，吏道如诗有别裁”，守印大仙即民间传说的狐仙，保住了大印就等于保住了官职，为官之道得用心体会。
县太爷官衔不过为正七品，百姓戏言为“芝麻官”。芝麻虽小，却可震慑一方，当地的土地、户籍、赋税、教育等等完全由县太爷一人定夺，可见知县为人品质的优劣直接关联着百姓的生存和一方安定。因此明清两代的统治者十分重视“县处级领导的任用”，制定出严格的“回避”制度。譬如本省人不得在本省做官，亲属关系不得在同一地区为官，本省人做官须远离本省500里之外，而亲属也不得在500里之内为官。每一任知县任用期限也有明确规定：每任期限为三年，期满不准久留，即使百姓称颂，政绩突出的清天大老爷，也只能再延期任用一年。
明清两代还规定，县太爷上任不许带家属，而且必须在离家乡500里以外的异地当官，且3年任期内不许家眷来任所探亲。县太爷的一日三餐也有严格规定，如果没有接待任务，每天吃的工作餐基本是两荤两素。闲暇时可进入后花园吟诗作画抚琴，也可以去风雅台看看戏。这可能也就是今天所说的劳逸结合吧。