MPN 3 Balikpapan didirikan dan beroperasi pada tahun 1962 yang bertempat di SD Rapak yang sekarang menjadi Kecamatan Balikpapan Utara dengan Kepala Sekolah pertama ialah M.L. Maliangkay dan tahun 1966 pindah ke Kebun Sayur menempati gedung bekas Cunghua Cunghui ( bekas gedung sekolah china) di mana gedung tersebut digunakan oleh 3 sekolah yaitu: SMPN 3, SMP 4 persiapan dan ST Negeri

Kepala sekolah M.L Malangkay menjabat sampai dengan tahun 1972. Kemudian tahun 1972 sampai dengan tahun 1988 di pegang oleh Djumberi.L. Pada tahun 1978 karena Kebun Sayur terjadi kebakaran termasuk gedung sekolah SMPN 3, sehingga SMPN 3 pindah ke Gunung Samarinda pada tahun 1978, padahal pada saat itu SMPN3 sedang dalam tahap pembangunan  yang dimulai sejak tahun 1976.

Tahun 1988 – 1996 dipimpin oleh Ganda Sudarman, yang selanjutnya pada tahun 1996 digantikan oleh M. Amir yang menjadi kepala sekolah sampai dengan tahun 2003. Setelah itu kepala sekolah dipegang oleh Drs.H. Ahmad Mursyid M. Pd yang selanjutnya pada tanggal 7 September 2006 di gantikan oleh Dra. Tatiek Sulastri hingga saat ini.

SMPN 3 Balikpapan menempati tanah seluas 17847 m2 yang dilengkapi dengan berbagai sarana dan prasarana penunjang kegiatan belajar mengajar.