日軍進攻香港後，廣東人民抗日遊擊隊迅速抽調第三、第五大隊精幹力量，挺進香港地區開展對敵鬥爭。1942年1月，在港遊擊隊員達百餘人。起初，這支隊伍收集英軍潰逃時丟棄的武器彈藥及軍用物資，以港九人民抗日遊擊隊的名義，發動和武裝群眾，打擊日、偽軍，剷除漢奸，肅清土匪，很快就在新界、九龍開闢了新的敵後遊擊據點。
1942年1月，南方工委副書記張文彬在寶安白石龍村主持召開廣東人民抗日遊擊隊（2月改稱廣東人民抗日遊擊總隊）幹部會議，提出堅持在新界地區開展遊擊戰。2月中旬，港九大隊在西貢黃毛應村正式成立。蔡國梁任大隊長，陳達明任政治委員，魯風任副大隊長，黃高陽任政訓室主任。港九大隊是廣東人民抗日遊擊總隊轄下五個大隊之一。1943年12月東江縱隊成立後，港九大隊歸東江縱隊司令部領導，改稱港九獨立大隊。同年冬，改由東縱第二支隊領導，恢復港九大隊名稱。後又隸屬東縱江南指揮部領導。日本投降前後，恢復港九獨立大隊的名稱，復歸東縱司令部領導。
港九大隊大隊長蔡國梁
政委陳達明
港九大隊成立後不斷壯大，活動範圍覆蓋新界和港九市區，成立大嶼山、沙頭角、西貢、海上、市區、元朗6個中隊，另有一個留守處和各區民運工作隊。
正在野外行軍的港九大隊隊員
港九大隊針對港九地區敵強我弱以及活動迴旋餘地小的特點，採取機動靈活的戰術，開展城市遊擊戰和海上遊擊戰。
1943年底，港九大隊成立市區中隊，方蘭任中隊長。市區中隊在敵人嚴密控制的港九市區，採用「紙彈戰」方法，通過派發、張貼各種傳單和發行《地下火》刊物，對敵人展開強大的政治攻勢，揭露敵人的暴行，宣傳國內外反法西斯戰爭的形勢，同時發動群眾展開形式多樣的鬥爭。遊擊隊還建立沙田、坑口、沙頭角、上水、元朗數支短槍隊，活躍在日軍駐紮的西貢、大埔、上水、元朗等圩鎮及九龍市區，伺機打擊日軍，懲辦漢奸、特務。以黃冠芳為隊長、劉黑仔為副隊長的沙田短槍隊是其中的佼佼者。被譽為神槍手的劉黑仔成為名揚港九的傳奇英雄。
日軍對遊擊隊在港九市區開展的武裝鬥爭極為驚恐，一面在港九外圍構築工事、增加兵力以加強防禦，一面調動兵力進行頻繁的「掃蕩」。1944年2月，日軍出動1000多人，陸海空配合對沙田、西貢地區進行持續17天的「掃蕩」。遊擊隊與群眾協同作戰，巧妙與敵人周旋，短槍隊進入九龍市區，處決日軍九龍憲兵司令部的林通譯；成功襲擊啟德機場，炸毀一座油庫和一架飛機。市區中隊也順利爆炸九龍旺角第四號鐵路橋，迫使開赴市郊「掃蕩」的日軍回撤。
港九大隊利用香港海岸線漫長、港灣小島眾多的特點，發動廣大漁民，積極發展海上抗日武裝。1942年2月，港九大隊建立海上隊。經過一年多的發展，海上隊人數達百餘人，隨後以海上隊為基礎建立海上中隊。海上中隊活動範圍從原來九龍、西貢附近的海域逐步擴展到大鵬半島。中隊破壞日軍海上運輸線，伺機打擊敵人的海上力量，保護廣東抗日遊擊隊的交通運輸線和往來客商的安全。其中取得重大勝利的是1944年8月的黃竹角海戰。是役海上中隊夜襲日軍海上挺進隊，擊沉敵船3艘，斃俘38人，繳獲輕機槍2挺、其他槍支29支。大嶼山中隊海上小隊與元朗中隊海上小隊也互相配合，在珠江口海域靈活打擊敵人。
據不完全統計，港九大隊海上部隊共繳獲敵船43艘，擊沉敵船7艘，斃俘日軍88人，淹死日軍40多人，斃俘偽軍約150人，繳獲輕機槍5挺、步槍50支、山炮1門及其他物資一批。
