白于山为梁状山地。主要由白垩系沙页岩、上新统三趾马红土和第四系黉土组成。黄土层一般厚50~70米,局部可达百米。白于山梁长沟深,沟坡陡峻,相对切割深度达300~400米,沟谷下部多呈V形,谷坡坡度为45°~75°;上部开阔,谷坡坡度为25°~45°,状似喇叭。由主梁分出的次一级长梁分别向东、南、北等方向延伸,呈波状梯级式逐渐降低,由海拔1800~1500米,梁面坡度为10°~25°,坡面流水侵蚀、重力侵蚀活跃,水土流失严重。与陕北其他基岩山地相比,白于山形成时代较晚,大约在上新世时这里还在下降,低洼处沉积了数十米厚的红色土和沙砾层,自上新世末之后才开始上升,最后形成海拔1600米以上的山地,并导致黄土高原面大体向东南方向倾斜。