幼时，其父好友一阴癸派长老来做客无意透露魔门秘密，为杀人灭口，传授武功给其父，其实是邪功会致人走火入魔。

香玉山的父亲自问不是练上乘武学的料，于是便将此法门传给了香玉山，着他练习。最后导致香玉山走火入魔，落下内伤，不能练就上乘武功。香玉山以其家开的妓院作为收集天下情报的秘密基地，为萧铣掌管信息。

后遇寇仲和徐子陵，寇徐两人为其治癒了内伤。为了控制双龙，不惜骗取素素感情，使素素嫁给他。

香玉山(黄易群侠传2)

待成亲后，又始乱终弃，致素素含恨而死。素素死后，寇徐两人认定香玉山是害死素素的罪魁祸首，废其武功，却没有杀死他，两人立誓要刬除香家势力，关闭所有香家赌场和妓院。

香玉山知寇徐两人不会放过自己，投入东突厥颉利可汗的军师「魔师」赵德言门下作弟子，屡次帮赵德言出谋划策欲除双龙而后快，但都被双龙一一化解。

在书的最后，被寇仲以离间计挑唆，死在其师赵德言手上，可说间接为素素报了仇。