她父亲是着名的两夹弦琴师，母亲是两夹弦旦角演员。自幼受父母艺术的薰陶，6岁学戏，8岁登台，13岁就以花旦、闺门旦着称。因其母艺名“大白鞋”，故她有“小白鞋”之称。解放前，戏班到处流浪，演员受人欺侮。1948年菏泽解放后，在人民政府的扶持下，她主演《白毛女》、《小二黑结婚》，受到观众好评。1954年和1956年，她先后参加省第一、第二届戏曲观摩演出，其主演的《站花墙》、《换亲》分别获演员和剧目一等奖，并由上海唱片厂灌制了唱片，同时出席了全国群英会。1959年9月，毛泽东在济南观看了黄云芝主演的《三拉房》。是年又参加山东省赴京汇报演出团，受到刘少奇、朱德、陈毅等国家领导人的接见，併合影留念。1960年，被选为山东省政协委员，加入了中国戏剧家协会。

她所演的人物形象鲜明、朴素大方，唱腔优美甜润，清丽舒畅，悦耳动听，有浓郁的地方色彩，在鲁西南有“拆了屋子卖了梁，也要听小白鞋演的《站花墙》”的美誉。她善于吸收山东梆子、河南豫剧等演唱技巧，改革了两夹弦剧的“捻子”、“占子”等曲牌，为两夹弦剧种的发展做出了贡献。“文化大革命”中，黄云芝受迫害自缢而死。