天文台为灰色三层高水泥建筑，在入口大门的西侧下方有一连州青石碑“中华民国二十五年十一月十一日天文台奠基于此 校长邹鲁书”，上方横额书有繁体“天文台”三字。建筑体东西对称，大门中开，第三层在大门之上两侧建有两个圆顶“蘑菇”状建筑，方便放置天文望远镜。整个建筑保存完好，设计者为广东著名建筑师郑校之。
天文台于1936年11月11日奠基，1938年建成，是国立中山大学所建三座天文台中的第二座。第一座天文台于1929年6月在越秀中路老中大校园建成，第三座建于抗战时坪石中大校本部。中大天文台是中国人自主建设的第一个现代天文台，有“广东第一”“中国第二”之称。
天文台的倡建者是第三任中大校长、留法天文学博士张云。1935年，国立中山大学石牌五山新校区落成，在张云倡议下，再建新天文台于新校园的高岗之上，面积为旧台4倍。建成后因日军入侵，广州沦陷，中大先后搬迁至澄江、坪石等地，直到1946年才正式使用。
天文台承载了一代天文学家张云教授及其弟子邹仪新、叶叔华、席泽宗、容寿铿的故事。邹仪新是张云亲自培养的我国第一位女天文学家，也是亚洲第一位女天文学家。叶叔华院士毕业于此并因天文学研究成就被国际天文学联合会将一颗小行星命名为“叶叔华星”。席泽宗是中国科技史界的第一位院士，作为天文台里大学生，他在这里写下《彗星》等一系列天文学科普作品。1943年毕业于中大天文系的容寿铿，1949年任天文台台长，为天文台恢复使用和南京大学天文系创建作出突出贡献。
1952年全国院校调整，天文系调入南京大学，天文台中仪器资料也同时运去。此后曾作为生物系钴60辐射中心，现为广东农村政策研究中心办公楼。
