孙中山曾这样评论胡汉民的才能:“迹其平生之大力量、大才干,不独可胜都督之任,即位以总统,亦绰绰有余。”虽然在军事上没有什么突出的才能,但纵观其一生,比之汪精卫意志更坚定、旗帜更鲜明。
1931年,胡汉民的势力越来越大。同年二月二十六日,立法院长胡汉民应蒋介石的邀请到陆海空总司令部“晚餐”,刚一抵达,马上被一群荷枪实弹的士兵押入会客室,两天后的晚上,胡汉民才见到逮捕他的蒋介石,被软禁南京小汤山的事实。
胡与蒋交恶早在1930年11月国民党三届四中全会上,蒋欲通过《训政时期约法》,设置总统,置五院院长于总统之下,遭胡坚决反对。会后,两人围绕制定约法问题继续争吵并展开争夺国民会议代表席位的斗争。胡势力超过蒋,胡、蒋矛盾白热化。于是,蒋武力扣押胡。蒋胡合作破裂。
1931年10月14日,迫于各方的声讨和压力,胡汉民终于获释。