汪俊之父汪凤曾为贵州参政。弘治六年，汪俊会试第一（会元），授庶吉士，进翰林院编修。正德年间，参与修撰《孝宗实录》，因不依附刘瑾、焦芳等人，被调任南京工部员外郎。刘瑾事败后，召还恢复原职，升任翰林院侍读学士，升礼部右侍郎。嘉靖元年转吏部左侍郎。

当时朝廷讨论兴献王尊号，即所谓“大礼议”，其与尚书乔宇、毛澄等人力争反对。毛澄借病辞去，代替者罗钦顺不赴任，于是命汪俊任礼部尚书。当时献王已加帝号，礼部主事桂萼再次请求称皇考。嘉靖三年，汪俊率领廷臣七十三人上疏反对，奏摺被扣内廷不发，却特召请桂萼、张璁、席书等支持献王皇考的官员从南京回京师。汪俊再三劝阻，终不得世宗同意，于是被罢免离去。《明伦大典》书成后，被落职，卒于家。隆庆年间，赠少保，谥文庄。

尊崇程朱理学，与王守仁交好而学术观点不同。学者称为石潭先生。