虽然巴图姆在很年轻的时候就在球场上展示了很多天赋，但并不是所有的关注都是积极的。他的父亲是喀麦隆人，母亲是法国白人，他是该地区为数不多的黑人球员之一，经常因为他的肤色而被选中。巴图姆回忆说，当他年仅8岁时，“人们说，‘把那个黑人赶出赛场，因为他太棒了，他在作弊，你不能让黑人上场。’”他补充道，“我妈妈和人群中的一些人打了几架。”