1884’te Dedeağaç’ın Sofulu köyünde doğdu. Babası bankacıydı. Üsküdar’a atandığında Mazhar Osman on yaşındaydı. Üsküdar Mülki İdadisi’ne başladı ve okulu birinci olarak bitirdi.
Mülkiye’de okumak istiyordu ama maddi sorunlar yüzünden Tıbbiye-i Askeriye’ye gitmek zorunda kaldı. Burada hem okudu, hem çalıştı. Komşularının bahçelerini suladı, mektuplarını yazdı. onlara kuyudan su çekti. Harçlığını kazanmak için ilkokuldan itibaren her işi yaptı. Babası işini kaybedince, ailenin bütün dengeleri bozuldu, Osman’ın eğitimine devam edebilmesi için para kazanması şarttı. O zamanlar evde, ya da hastanelerde vefat edenlerin başında sabaha kadar bir görevli bekliyordu. Defnedilmeyi bekleyen ölülerin başında gece nöbetleri tutarak hayatını kazandı.
Son sınıfta hocası Raşit Tahsin’in yönlendirmesiyle akliye-asabiye branşını seçti. Bu duruma, özellikle yakın arkadaşları “Bunca okumadan sonra mecnunlarla mı uğraşacaksın? Bu tam manasıyla zekanın intiharı demektir,” diye şiddetle karşı çıktılar 1904 yılında Tabip Yüzbaşı rütbesiyle diplomasını aldı. Hicaz’a tayini çıktı, ancak gidişi bir yıl ertelenince, o da Gülhane Askeri Hastanesi Akliye Servisinde staj yaptı. Bu arada, ilk eseri “Tabâbet-i Ruhiye” adıyla yayınlandı.
Meşrutiyet yeniden ilan edilince, Münih ve Berlin Üniversitelerinde, psikiyatri ihtisası yaptı. 1912’de askeri hekim olarak Balkan Harbi’ne katıldı, gezici hastanelerde çalıştı, savaş alanlarında koleraya karşı mücadele etti.
Askeri Sıhhiye başkanı Süleyman Numan Paşa, Gülhane’den akliye, asabiye, kadın doğum ve anatomi derslerini kaldırınca Mazhar Osman askeriyeden istifa ederek Haseki Hastanesi başhekimi oldu. 1. Dünya Savaşının patlamasıyla binbaşı rütbesiyle yeniden askere alındı ve Haydarpaşa Askeri Hastanesi’nde akliye ve asabiye mütehassıslığına atandı. Asıl görevi askerden kaçmak için deli numarası yapanları ortaya çıkarmaktı.
1919’da Türkiye dergicilik tarihinde eşine ender rastlanan bir şekilde, 32 yıl boyunca yayınlanacak olan ve başyazarlığını da kendisinin yaptığı İstanbul Seririyatı Dergisi’ni çıkarmaya başladı. 5 Mart 1920’de Yeşilay Cemiyeti’ni kurdu. Devletten Bakırköy’deki metruk halde olan Reşadiye Kışlasının arazisini istedi. Neyse ki Cumhurbaşkanı Atatürk idi. Başbakanı İsmet İnönü ve içişleri bakanı Refik Saydam’ın onayı ile 1924 yılında başlayan süreç, 1927 tarihinde Bakırköy Ruh ve Sinir Hastalıkları Hastanesi’nin kurulmasıyla tamamlandı. Artık akıl hastaları zincire vurulmayacaktı. 1933’te ordinaryüs profesör oldu ve İstanbul Tıp Fakültesi Psikiyatri Kliniği Başkanlığına getirildi 1941’de emekli oldu. 1951’de şeker hastalığı ve nefes darlığı yüzünden vefat etti.
Bakırköy Ruh ve Sinir Hastalıkları Hastanesi, bir dönem onun adıyla “Mazhar Osman Hastanesi” olarak anıldı. Ölümünden iki gün sonra, Bakırköy’ün kıdemlilerinden ‘‘De Gaulle” lakaplı hasta, pencereden bahçedeki doktorlara seslendi: ‘‘Mazhar Osman öldü diye uydurmuşlar. Mazhar Osman ölür mü, ne saçma şey? Bir zamanlar Atatürk için de öldü diye çıkarmışlardı.” Oğluna sön sözleri şu olmuştu: “Oğlum, belki seni bir daha göremeyeceğim. Hayatta çok çalıştım, muvaffak oldum, mevki ve şöhrete nail oldum. Şu anda bunların aciz kıymetler olduğunu öğreniyorum. Hayatta ne olursan ol, parayı hakir gör, şöhretten iğren. Fakat dik yürü, her zaman dik yürü ve iyi bir insan ol.