清初，怀远属榆林卫中路，辖响水、波罗、怀远、威武、清平五堡。清雍正九年（1731）并五堡为县，县治置怀远堡，因怀远北绕白水（芦河）,三面环山，又居五堡之中便于民，名曰怀远县。堡名本意"怀柔边远"。中华民国三年（1914）因陕西、广西、安徽三省俱有同县名，省府依据县境清平堡大墩梁为横山山脉的主峰，其山脉又多东西走向，故名横山至今。