可事实上，高欢只是一个怎么看都像是鲜卑人的怀朔镇草民，生活在帝国的最底层。在他使用“高欢”这个名字之前，人们都叫他的鲜卑名字“贺六浑”。祖辈的福荫一点儿都没有惠及他。高欢日后解释说，祖父、北魏侍御史高谧因犯法被迁居到怀朔镇，所以高家长期居住边陲，沾染了胡人聚居区的习俗，从语言到生活习惯逐渐与鲜卑人没有什么差别了。高谧生子高树，高树生下了高欢。
日后被追封为文穆皇帝的高树其实生活非常潦倒，正史的说法是“不事生产”，除了似乎短暂当过底层士兵就没有其他的经历可查了。他连最基本的物质条件都无法提供给儿子。高欢年幼时，生母韩氏去世，高家的生活更加混乱。幸亏高欢的姐姐已经嫁给了镇上的狱官尉景，高树就把高欢送给女儿、女婿抚养，高欢就是在姐夫家长大的。摆在他面前最现实、最稳妥的职业就是当兵，扛枪吃粮。当时，六镇士兵都被要求自备武装。高欢想当骑兵，当骑兵就要自带马匹、装甲。可是姐夫家很穷，除了一杆长矛其他都提供不起，高欢就只好扛着长矛入伍，当了一名看守城墙的无名小卒。