GMNI didirikan pada tanggal 23 Maret 1954 di Surabaya.
Pendiriannya merupakan hasil penggabungan dari tiga organisasi mahasiswa yang memiliki semangat nasionalis:
- Gerakan Mahasiswa Marhaenis (GMM)
- Gerakan Mahasiswa Demokrat Indonesia (GMDI)
- Gerakan Mahasiswa Sosialis Indonesia (GMSI)
Penggabungan ini dilatarbelakangi oleh keinginan untuk membentuk organisasi mahasiswa yang solid dan berkarakter nasionalis, dengan ideologi yang berpihak pada rakyat kecil — kaum Marhaen.
Tokoh-tokoh penting yang berperan dalam pendirian GMNI antara lain:
•Ir. Soekarno (sebagai inspirator ideologi Marhaenisme)
•A. Soerastri Karma Trimurti, John Njotohusodo, Djoko Soetono,
dan sejumlah mahasiswa progresif dari berbagai daerah.