上海音乐学院的研究生教育，最早可追溯到国立音专时期的1933年，本科生李献敏（钢琴专业）和选科生裘复生（钢琴高级）毕业后就读研究班，继续跟随查哈罗夫深造。1935年，长笛专业选科生叶怀德获高级修了后，进研究班继续随教员史丕烈学习。
新中国成立后， 1964年招收声乐、小提琴方向的本科后高级研修生。1978年正式恢复招收硕士学位研究生，设有音乐学、作曲与作曲理论、音乐表演艺术三个硕士学位授予点（1997年因学科门类的调整，合并为音乐学一个硕士学位授权点），作为国务院学位委员会第二批批准设立的博士学位授权点单位，上海音乐学院从 1983 年开始招收音乐学和作曲与作曲理论（1991年后增设）的博士研究生。最初招收声乐、小提琴方向的本科后高级研修生。1978年正式恢复招收硕士学位研究生，设有音乐学、作曲与作曲理论、音乐表演艺术三个硕士学位授予点（1997年因学科门类的调整，合并为音乐学一个硕士学位授权点），作为国务院学位委员会第二批批准设立的博士学位授权点单位，上海音乐学院从 1983 年开始招收音乐学和作曲与作曲理论（1991年后增设）的博士研究生。
为了适应高层次音乐人才培养的需求，上海音乐学院于2001年4月正式设立了专门负责研究生教育的职能部门——研究生处，其工作范围包括研究生培养工作、学科专业建设、研究生导师队伍建设、研究生教育管理体制等。2005年9月，为了适应新形势下学院研究生教育和高层次音乐人才培养的发展需要，经院长会议决定将研究生处改制为研究生部，下设行政、招生、培养、学位和学工五个办公室。2010年，研究生部成功申报了艺术学一级学科博士点，由音乐学一个二级学科博士点单位升格为一级学科博士点单位。2011年艺术学升格为学科门类后，研究生部获批成为三个一级学科博士(硕士)学位授权点单位（分别为“艺术学理论”、“音乐与舞蹈学”、“戏剧与影视学”），成为全国专业音乐院校中拥有最多博士点的院校。此后，又制定了相应的培养模式、学位要求和评估体系，且已在本院研究生教育各环节顺利实施。2014年研究生部为进一步加强对创新实践基地系统科学的管理，使学科评估工作常态化，特增设科研办公室。
上海音乐学院的研究生教育类型，涵盖学术型博士研究生、学术型硕士研究生、在职艺术硕士专业学位（ MFA ）、全日制艺术硕士专业学位、国内访问学者及研修人员等多种层次和形式。
在学院有独立专职机构开展研究生教育的15年，特别是近10年的发展历程中，研究生部跟据国家和学院不断发展变化的实际情况及自身特色，参照教育部、国务院学位委员会和上海市教委的教育策略和相关文件进行音乐高层次人才培养，不断完善学位制度，在 研究生教育层面上促进学校的学科优化整合及建设打造，在强化研究生教育内涵建设，以创新项目和085工程项目为平台，坚持重点一流学科发展的同时，不断提升专业学位研究生教育的水平，引领并促进着上海音乐学院的学科建设方向和步伐。
