1851 nahm er den Ruf an die kleine Sternwarte im Düsseldorfer Vorort Bilk an. Dort widmete er sich vor allem der Beobachtung von Asteroiden und dem Erstellen einer Sternkarte.

Das Observatorium war nur mäßig ausgestattet. Dennoch gelang es Karl Robert Luther, 24 neue Asteroiden zu entdecken. Damit gehörte er zu den erfolgreichsten Astronomen jener Zeit. Der Düsseldorfer Stadtrat zeigte sich für den Imagegewinn durch die himmlische Arbeit erkenntlich. Nach der vierten Asteroiden-Entdeckung wurde Luthers Gehalt erhöht – eine Anerkennung, von der Astronomen heute nur träumen können.

Als die Pariser Akademie im Jahr 1868 aus Anlass des 100. Kleinplaneten eine Gedenkmedaille herausgab, war darauf neben den beiden anderen Vielfachentdecker Hermann Goldschmit und John Russell Hind auch Karl Robert Luther zu sehen.

Luther starb im Jahr 1900 im Alter von 77 Jahren. Zwar führte sein Sohn die Sternwarte weiter, doch verlor sie an Bedeutung. Im 2. Weltkrieg wurde sie bei einem Bombenangriff völlig zerstört und nicht wieder aufgebaut. Heute ist Karl Robert Luther praktisch unbekannt – immerhin kreist er selbst durch das All: als Asteroid (1303) Luthera.