Küçük yaşta davul çalmayı öğrenmeye başlayan Di Meola, daha sonra gitar çalmaya karar verdi. Caz’a olan ilgisinin artmasından sonra 1971’de Boston’daki ünlü Berklee Müzik Koleji’ne girdi ve burada klavyeci Barry Miles’ın öncülüğündeki caz-füzyon grubu ile çalışmaya başladı.
Profesyonel Müzik Kariyeri 1974’de yine dünyaca ünlü caz ve dünya müziği piyanisti Chick Corea tarafından keşfedilen Di Meola, Corea’nın grubu “Return to Forever” ile çalışmaya ve hemen ertesinde büyük kitleler karşısında kendi konserlerini vermeye başladı.
Klavyede Chick Corea, bas gitarda Stanley Clarke, davulda Lenny White ve gitarda Al Di Meola’dan oluşan Return to Forever, üç caz-füzyon albümü kaydetti. 1976’da Return to Forever’ın dağılmasıyla Al Di Meola, kariyerine tek başına devam etmeye karar verdi.
1976’da ilk albümünü çıkardıktan sonra Paco De Lucia ve John McLaughlin ile bir üçlü oluşturarak flamenko etkili iki albümde çaldı. Arjantin’li ünlü tango ve akordeon ustası Astor Piazzolla ile dost olduktan sonra Güney Amerika müziğine olan ilgisi arttı. Bunun etkisiyle tango müziğinin yoğunlukla etkin olduğu albümler çıkardı. Albümlerinde, bir virtüöz olmasının yanı sıra güçlü bir besteci olduğunu da gösteren Di Meola, Paco De Lucia ve John McLaughlin’le 1996’da tekrar bir araya geldi ve Guitar Trio albümünü çıkardı. Bu üçlü aynı yıl dünya turnesine çıktı. Al Di Meola son 25 yılın enstrümantal müzik alanında en önemli isimlerden biri olmayı başardı.