Als Angestellter der Domänendirektion der ungarischen Werke der Staatseisenbahn - Gesellschaft kam Weinberger nach Dognaczka im Banat. Der Mineralreichtum dieses Gebietes faszinierte ihn und so begann er bereits in jungen Jahren Mineralien zu sammeln. Später wurde er in das Direktorium der Gesellschaft nach Wien berufen.
Gemeinsam mit seinem Freund Karl Wittgenstein erwarb er in Böhmen ein stillgelegtes Eisenwerk. Dessen Wiederinbetriebnahme und der gewinnbringende Verkauf der früher auf Halde geschütteten Thomasschlacke begründeten das Vermögen Weinbergers.
Durch Krankheit in seiner Tätigkeit gehemmt widmete er sich später dem Ausbau seiner Mineraliensammlung, die so zu einer der besten der Monarchie wurde. Weinberger war Mitbegründer der Wiener Mineralogischen Gesellschaft im Jahre 1901 (heute Österreichische Mineralogische Gesellschaft). Er förderte sehr die mineralogische Wissenschaft und war um 1900 einer der bedeutendsten Mäzene des k.k. Naturhistorischen Hofmuseums.
Die Sammlung Weinbergers gelangte nach dem Ersten Weltkrieg in den Besitz des Maschineningenieurs und späteren Technischen Direktors der Steyr Werke, Dr. Hans Karabacek, und befindet sich heute in der Sammlung der Harvard Universität, Cambridge, Massachusetts.