一九二五年五月二十六日，張國燾從香港登上航船，五月三十日下午抵達上海碼頭十六舖。四天海上顛簸，又加上感冒，本應好好休息一下，但當他坐著人力車趕赴閘北寶興里寓所時，發現整個上海的空氣異常緊張，「沿途行人車輛稀少，街頭巷尾，三五成群的人們，交頭接耳……」
到家時，第一個見到的是劉少奇當時的太太何葆貞（何葆貞曾在湖南安源礦工子弟學校擔任教員），一見面就悲憤填膺。
「知道吧？」她說：「兩個多鐘頭以前，南京路巡捕開了槍，打死打傷很多學生和市民……」五月三十日晚上八時，陳獨秀、蔡和森、李立三、劉少奇、惲代英、王一飛、羅覺等人，聚集到張國燾家裡，舉行緊急會議。
會議開了不到兩個小時，就解決了所有重大問題，完成了部署。
首先決定，發動反抗外力壓迫的全面罷市、罷工和罷課。提出的要求主要內容如下：
1.租界當局承認屠殺罪行，負責善後。
2.租界統治權移交上海市民。
3.廢除不平等條約，包括在華領事裁判權。
4.撤退駐華外國軍隊。
關於這次運動的執行方法，會議決定：
1.主要性質是反帝，因此應盡量減輕對中國商人的壓力，罷工不波及華資工廠，公用工業等，照顧一般市民生活，不停水，不停電。
2.由於自己沒有武裝，只能做消極性的反帝，應避免殺害外國人的群眾騷動，以免列強以此為藉口，實行武力鎮壓。
3.組織一個運動的中心領導機構。決定立即成立上海總工會，並通過市民力量，敦促上海總商會採取一致行動。運動的總指揮權應交由工、商、學三方面臨時結合起來的工商學聯合會負責。
會議最後決定了分工。
陳獨秀負總責，居中指揮。李立三代表上海總工會負責對外活動，主要是聯絡商界，其他各人都就原來工作崗位，展開對國民黨和其他民眾團體的聯絡和推動工作。
那時候的上海，其實還沒有一個可以稱之為「上海總工會」的組織。張國燾自願負責，趁這個重大群眾運動擴大展開的時候，不但把機構正式建立起來，並使之成為今後上海勞工運動的龍頭。
五月三十一日一大早，張國燾會同中共中央職工運動委員會秘書張學琅到閘北天通庵路一座一樓一底的新租房屋，掛上了上海總工會臨時辦公室的招牌。
這個臨時辦公室，其實是座空房子，只有一張粗糙的木桌，一張椅子和幾條長凳。招牌也只是一張大白紙，由張學琅寫了幾個大字，貼在大門上。
上午十點左右，上海各地零零散散的各地工會和工廠的代表陸續來到，開始辦理登記。
除了工會工廠的人，還有不少帶了現款與實物來捐獻的上海市民。不到兩年，這個臨時機構成為北伐國民革命軍未發一槍一彈，趕走軍閥並全面接管上海的總機關。
