Johann Jacob Frey absolvierte das Gymnasium seiner Heimatstadt Basel und studierte nach 1826 an der dortigen Zeichenschule des Gemeinnützigen Vereins bei Hieronimus Heß und bei seinem Vater Samuel Frey Malerei. Anfang der 30er Jahre ging er nach Paris, um niederländische Landschaftsbilder zu studieren und zu kopieren. Völlig mittellos, verdiente er sich dort seinen Lebensunterhalt durch das Restaurieren alter Gemälde; zeitweise war er dort auch in lithographischen Werkstätten tätig. 1834 kehrte Frey nur kurz nach Basel zurück, reiste von dort nach München und siedelte 1835 schließlich nach Rom über. Hier machte er Bekanntschaft mit Richard Lepsius, der dort 1836 am Archäologischen Institut arbeitete, und schrieb für ihn Hieroglyphen. Ende der 30er Jahre nahm er in Neapel seinen Wohnsitz, von wo aus er Sizilien und Spanien bereiste. 1842 folgte Frey der Einladung zur Teilnahme als Zeichner an der Königlich Preußischen Expedition nach Ägypten. In deren Verlauf erkrankte er jedoch schwer und wurde dadurch 1843 zur Rückkehr nach Rom gezwungen. Johann Jacob Frey gehörte zu den Mitbegründern des Deutschen Künstlervereins in Rom und entfaltete dort eine intensive künstlerische Tätigkeit. Sein Atelier wurde oft besucht, so vom bayerischen König Ludwig I. und vom preußischen König Friedrich Wilhelm IV., für den er eine Folge italienischer Landschaften malte. An Typhus erkrankt, starb Frey im Alter von 52 Jahren in Frascati.