北魏孝昌三年（527年），置汝北郡， 治所在阳仁城（今河南省汝州市西南）。

东魏天平二年（535年）废。武定元年（543）复置，治梁雀坞（今河南省汝州市东北）；二年（544年）属北荆州；五年（547）移治杨志坞（今伊川县西南伊水南岸）。

北齐移治王坞城（今河南省汝州市南），旋改为汝阴郡。