1961年，胡任和平公社党委副书记、公社管委会主任。1959年大跃进时，盛行“浮夸风”，鼓吹“水稻亩产超万斤”、“跑步进入共产主义”，加上自然灾害，人民生活进入“低标準”时期。胡世远给时任四川省委书记李井泉致信，如实反映农村实情，揭露浮夸虚报问题。此后，中共寿安区委召开扩大干部会，对胡进行批判斗争，扣上“反党”、“右倾”的罪名，被撤销党内外职务，开除党籍。1962年4月，根据中共中央《关于加速进行党员、干部甄别工作的通知》政策，胡世远恢复职务和党籍，任和平公社党委副书记、公社管委会主任。1966年起，文化大革命运动开始，胡世远因谈论“林彪形像不好，不带官像”受到批判斗争，定为反毛泽东思想、反党、反社会主义“三反分子”，多次遭造反派批判斗争，被罚跪砖头、瓦片，进行肉体迫害摧残。胡因身体受到严重摧残而致重病。1969年1月，胡世远病逝，年仅37岁。