中華民國七十七年初,國防部為對廣大已退役之軍事院校校友加強聯繫與照顧,遂令各軍事院校成立「校友服務中心」,並由各該校院校校長親任校友服務中心主任,各院校政戰部主任擔任副主任,是為校友會之前身。
後歷經國防部總政戰部擬訂校友會組織章程,協調內政部同意,以國防部為「目的事業主管機關」,依法定程序籌組校友會。先於民國七十七年五月撥用台北市新生北路三段170號之前美軍協防司令部舊營舍為校友會辦工場所。繼之,徵請已退役校友吉承俠中將、柏隆櫃中將以及丁憲灝、盧庸籬少將等,協助二處籌組校友會工作;並登報公告於民國七十七年六月十六日,假鳳山陸官校召開發起人大會,號召校友參加。
是日,國防部派專機載北部校友赴陸官校出席籌備大會。會中公推王多年上將為籌備會主任委員,吉承俠等三十五員為籌備委員。歷經三次籌備會議,於民國七十七年九月三日軍人節,於台北市中山堂召開成立大會。會中依法通過本會組織章程及選出第一屆理監事,正式展開會務工作。
校友會成立後,國防部為求會務積極開展,每週定期召集各院校政戰主任及校友會秘書長等人,開會共研會務開展,校友會乃能逐次健全。