人很少能成长得不再具有童年的特征。赫伯特·胡佛最大的毛病和最好的美德，同样与他的贵格会教徒背景有关。他1874年8月10日诞生于一个平房农舍里，离他父亲在爱荷华州西布兰奇小村落的铁铺不远——在所有总统们的诞生地当中，只有林肯的圆木小屋较之稍微更简陋一点。胡佛家的人穿一身贵格会教徒的灰衣服，使用充满“汝”和“你的”等的平白方言。他们的岁月集中在聚会所。对他们来说，生活是现实的、认真的，“行善”是生活的主要目的。贵格会教徒认为人生来是善良的，尽管世界会腐蚀他。
赫伯特·胡佛父亲去世时他年仅六岁，母亲过世之前他将近九岁，因此母亲的温柔和谦逊便永远留在他心里。在孀居的三年里，赫尔达·胡佛靠在家承接缝纫活计养活三个孩子，但她真正的才能是讲道。全爱荷华的贵格会教徒都开始知道她温和、自然的口才。十岁刚过，孤儿胡佛便到俄勒冈跟他伯父亨利·约翰·明索恩医生一块居住，后来还在西北的拓荒者中生活了六年。正是在这儿，一位来访的采矿工程师激起这孩子对地质学的兴趣，给了他的生活一次决定性的转折。
1891年夏天，胡佛进入刚刚开办在加利福尼亚州帕洛阿尔托的斯坦福大学，成为该大学第一个班的学员。他靠给教授当秘书、当洗衣服务代理和干其他的家庭杂务来支付学费。他成了校园的学生领袖，在同学间建立起了持续至今的友谊。尤其是，在那儿他遇到了今后成为他妻子的高挑、漂亮和用功的女孩卢·亨利。