Le compte à rebours pour la création du Comité International des Jeux Méditerranéens a commencé en 1959 à Beyrouth lors de la 3e édition des Jeux Méditerranéens. 

Le Président du Comité d’organisation et Président du Comité national olympique du Liban, Gabriel Gemayel, a proposé la création d’un Comité permanent qui assurerait la viabilité des Jeux.  

Le CIJM a été officiellement créé le 16 juin 1961 à Athènes, dans la salle de Athens Lawn Tennis Club. Le Comité Exécutif s’est réuni d’abord sous la présidence de Gabriel Gemayel et en présence de Juan Antonio Samaranch (Vice-Président), Ioannis Ketseas (Secrétaire Général), Giulio Onesti, Mohammed Benzelloun, Ahmed D. Touny. Lors de la réunion, Gemayel a présenté le statut du CIJM, qui était basé sur le statut du Comité International Olympique. 

Cela a été suivi par la réunion de fondation de tous les membres des Comités Nationaux Olympiques qui ont participé aux Jeux Méditerranéens.Excepté le Président Gabriel Gemayel, Mohammed Taher Pacha (Président honoraire du CIJM), Juan Antonio Samaranch (Vice-Président), Ioannis Ketseas (Secrétaire Général), François Pietri (membre du CIO – France), Giordio de Stefani (membre du CIO – Italie), Le Prince Pierre de Monaco (membre du CIO – Monaco), Ahmed D.Touny (membre du CIO – République arabe unie), Theodosios Papathanasiadis (Grèce), Giulio Onesti (Italie), Marcello Garroni (Italie), Bruno Zauli (Italie), Nassif Majdalani (Liban), Mohammed Benzelloun (Maroc), Ahmed Elwetidi (République arabe unie), Salim Nabi (République arabe unie), Chedly Zouiten (Tunisie), Burhan Felek (Turquie) étaient également présents. 

Lors de la réunion, le statut a été approuvé et la proposition du Comité olympique grec de placer le siège du CIJM sur une base permanente à Athènes, a été acceptée. 

Le premier Président du Comité fut Gabriel Gemayel, suivi de Mohamed Mzali 1979-1987 (Tunisie), Claude Collard 1987-2003 (France) et depuis 2003 Amar ADDADI (Algérie). 

Après Ioannis Ketseas, Epaminondas Petralias, Nikos Filaretos, Minos Kyriakou, Isidoros Kouvelos et Iakovos Filippoussis, tous Grecs, ont exercé les fonctions de Secrétaires Généraux.