孙中山曾这样评论胡汉民的才能:“迹其平生之大力量、大才干,不独可胜都督之任,即位以总统,亦绰绰有余。”虽然在军事上没有什么突出的才能,但纵观其一生,比之汪精卫意志更坚定、旗帜更鲜明。
1924年以后,胡汉民日渐主张反共。1925年三月十二日,孙中山在北京逝世,此后中国国民党内最具实力的人是汪精卫、胡汉民和廖仲恺。同年八月,中国国民党左派领袖廖仲恺被暗杀。汪精卫、许崇智、蒋介石三人组成特别委员会,以控制局势和处理廖案。在审理廖案过程中,作为国民党右派领袖的胡汉民被认为嫌疑最大,曾一度被拘留,后被派往苏联考察。
1927年四月与蒋介石合作反共。1927年宁汉分裂时,胡支持蒋介石,主持在南京成立的国民政府并任中央政治会议主席,参与反共清党。1928年,胡汉民任国民政府立法院长等职。1930年主持编成《总理全集》。