1816 übernahm er die Sternwarte seines Vaters, der aus Altersgründen die regelmäßigen Beobachtungen eingestellt hatte. Doch John Herschel beschäftigte sich auch mit anderen Disziplinen, veröffentliche bedeutende mathematische Werke und arbeitete an der Entwicklung der Fotografie.
In den 1820er Jahren vollendete er den Katalog von Doppelsternen am nördlichen Himmel, den sein Vater begonnen hatte. Er berechnete zudem die Umlaufbahnen vieler Doppelsterne. 1833 reiste John Herschel für knapp fünf Jahre ans Kap der Guten Hoffnung und katalogisierte von Südafrika aus auch den südlichen Sternenhimmel. Er erkannte, dass die Magellanschen Wolken keine Nebel sind, sondern aus Sternen bestehen. Bei der Wiederkehr des Kometen Halley 1835 entdeckte er, dass der Komet Gas verdampft.
John Herschel ist zwar nirgends ein ganz großer Durchbruch gelungen, wie etwa seinem Vater mit der Entdeckung des Planeten Uranus. Doch hat er unter anderem die Mathematik, Astronomie und Fotografie so wesentlich beeinflusst, dass er vielen Kollegen als bedeutendster Forscher seiner Zeit galt. 1871 ist John Herschel im Alter von 79 Jahren in England gestorben.