上海音乐学院曾于 1964 年招收过声乐、小提琴专业的硕士研究生。 1978 年正式恢复招收硕士学位研究生，设有音乐学、作曲与作曲理论、音乐表演艺术三个硕士学位授予点（ 1997 年因学科门类的调整，合并为音乐学一个硕士学位授权点），本硕士学位授予点现共有 51 余个专业研究方向。作为国务院学位委员会第二批批准设立的博士学位授权点单位，上海音乐学院从 1983 年开始招收音乐学和作曲与作曲理论（1991 年后增设）共 21个方向的博士研究生。
2001年，本院设立专门负责研究生教育管理的职能部门——研究生处，2005年更名为研究生部。经过近十余年的大力发展，在研究生教育管理体制、培养机制、学科专业建设、导师队伍建设、优良育人人文和学术氛围环境的营造等各个方面取得了令人瞩目的成绩。
目前，我院拥有三个一级学科博士授权点、三个一级学科硕士授权点，分别是音乐与舞蹈学、艺术学理论、戏剧与影视学。近年来，招收类型为博士研究生、学术型硕士研究生、全日制艺术硕士专业学位、在职攻读艺术硕士专业学位（ MFA ）、国内访问学者及研修人员等多种层次和形式。
同时，兼设两个博士后流动站，分别是音乐与舞蹈学与艺术学理论（详见博士后流动站板块）。
