卢赤松出身望族，是以经学闻名的汉中郎将卢植十三世孙。曾祖卢阳乌，北魏时任秘书监。祖父卢道亮，为人清高，终身隐居不仕。父卢思道，北朝诗人，俊逸豪放富辩才，少年时即以才高而得盛名，人称“八米卢郎”。武平末年，任给事黄门侍郎，待诏文林馆。北周间，官至开府仪同三司，迁武阳太守。入隋后，官终散骑侍郎。

卢赤松隋时历官隋河南王府掾、渭水北海令、河东令，与唐高祖李渊是故交。高祖率军起义，卢赤松至霍邑迎接义师，拜行台兵部郎中。武德年间，授上仪同、太子舍人、上开府、封固安县公，又迁太子率更令、拜柱国，封范阳郡公。卢赤松为人贤德，聪明俊秀，辞章华美，文彩出众，无论高雅的士人还是一般俗众都很推崇他。武德八年六月二十一日卢赤松卒于长安。

子，卢承庆。贞观时历任考功员外郎、民部侍郎、尚书左丞，唐高宗时为宰相。