1.白胡子余党复仇
虽然白胡子已经被黑胡子打败，但白胡子余党仍然健在，虽然实力跟之前无法相比，但也是能跟四皇稍微硬扛一段时间。四皇之间的实力是均衡的，如果受到白胡子余党的攻击折损兵力后，其他四皇趁火打劫的话，那可能会吃败仗，这种结果他们两个都不想看到。
2.两败俱伤的局面
两虎相争必有一伤，如果两个四皇都为了争夺白胡子的地盘而发生战争的话，那两败俱伤是在所难免的事情，而在新世界可是有很多人虎视眈眈的看着四皇的位置，不止黑胡子想要成为四皇，连超新星都迫不及待的想成为四皇。
3.兵力不足
一旦成功成功占领白胡子的领地，那就意味着要有更多的兵力去守卫这些岛屿，因为白胡子的死，之前的地盘都会处于无保护的状态下，如果占领后，有人去骚扰的话，没有足够的兵力去一直奔东奔西的，那占领的领地迟早会被夺走，那有必要去占领吗？
4.黑胡子的反击
四皇就算再没有头脑，手下肯定也有类似军师的人物，黑胡子的野心那么明显，肯定是奔着四皇的位置而去的，就算此时占领白胡子的领地，黑胡子也是不会就此罢休的，到时候不仅仅要承受黑胡子的反击，还要承受白胡子余党的复仇，这种局面谁都不想看到。
四皇并不是傻子，他们做事也都是经过深思熟虑的，如果占领白胡子的领地会有那么多的危机存在，那他们干嘛还要去做这种愚蠢的事情呢？
这个说法是不准确的，
在海贼王的世界里，船长就是一个海贼团的中心，除了像八宝水军这种世代相传的海贼团外，大部分海贼团的存活都建立在船长之上,失去了船长，这个海贼团的寿命也就走到尽头了。白胡子死后，白胡子海贼团基本已经可以说灭亡了，但除了白胡子和艾斯以及在顶上战争伤亡的人员外，白胡子海贼团的大部分残党依然很有实力，特别是以
不死鸟马尔高
花剑比斯塔
钻石乔滋
等原白胡子海贼团队长为代表的新世界强者带领下，白胡子海贼团残党虽无法比肩四皇，但除非大妈和凯多亲自出马，否则要打败他们仍然有点难度。
而四皇都有自己的地盘，都有其固守的领地，大妈是万国，凯多现在是在和之国，红发不明、而黑胡子则抢占了原本白胡子的地盘。盲目的扩张地盘并没有什么好处，而四皇带着部队御驾亲征一来，则自己的地盘成了无人防守的空城容易被其他势力乃至海军盯上。二来，盲目的扩张地盘并没有什么好处，打下了地盘却没有多余的兵力去守卫，毫无意义。
其次，两年后黑胡子已经取代了白胡子成为四皇，根据甚平的讲述，白胡子海贼团的地盘基本已经被黑胡子海贼团占领，要抢占白胡子的地盘，也就意味着要跟黑胡子对手，黑胡子多年前就拥有与红发一战的实力，如今拥有震震果实与暗暗果实两大杀招，整个黑胡子海贼团也是在飞速扩展。即便是强如凯多、大妈，在动手前也必须衡量一下得失。
最后，大妈其实是抢了白胡子的地盘的。白胡子死后，鱼人岛失去白胡子的庇护，迫于无奈向大妈示好，成为大妈旗下的加盟国，要定期给大妈进贡，某种意义来说也算是抢了。