高慎，阅读了很多文史典籍，与兄弟们的志向都不一样，偏受父亲高翼的喜爱。北魏中兴初年，拜任沧州刺史、东南道行台尚书。太昌初年，改任光州刺史，加骠骑大将军、仪同三司。当时天下初定，听任他带着本乡家丁数千人跟随他去任所。高慎为政严酷，又放纵部下，吏民苦之。其兄高乾死后，私下弃州郡想投奔高欢，北魏孝武帝元修下令青州刺史断其归路。他只得抄小路来到晋阳，高欢任用他为大行台左丞，转任尚书。高慎当官无所回避，时人都很害怕他。高欢举义旗之后，安州百姓认为天高皇帝远，而不接受朝廷的管辖，于是任命高慎为行台仆射，率众讨平安州。

天平末年，拜任侍中，加开府。元象初年，外放任兖州刺史。不久又召回京师任御史中尉。他选用御史，多为其亲戚老乡，不孚众望，高欢之子高澄启奏使他改选。他的前妻是吏部郎中崔暹的妹妹，被他抛弃。崔暹受到高澄的信任和重用，高慎便认为是崔暹在挑拨离间陷害自己，他个性又偏狭急躁，胸中积下一大堆怨恨，于是更加不作纠弹，反而更放纵违纪犯法的人。高欢嫌恶而责备他，他心不自安。外放任北豫州刺史，就窃据武牢投降西魏。高慎先入关。西魏丞相宇文泰亲率大队东出，高欢破敌于邙山。高慎妻子儿女将西去，在路上全部被擒获。高欢看在是同一勋旧家族的份上，让朝廷只把高慎一门发配抄没而已。