武侠Q传留香公子小说背景介绍，不杀敌手、不愿沾染血腥是他的特色之一，是以不论是敌是友，对他都是褒多於贬。他的师承极为神秘，江湖上知晓的人极少。连无所不知的水母阴姬门下也只推测出他是「夜帝」(见古龙另一小说《铁血大旗门》)的关门弟子。
而唯一可能知道他师承的胡铁花认为，这个推测虽然不完全正确，但也与事实十分接近了。
另一说法为铁中棠，因为铁中棠在地洞被困期间，「夜帝」曾传授武功。
也有部分人认为他事实上是铁中棠与水灵光的儿子，而胡铁花则姓云，楚留香(四处留香)胡铁花(蝴蝶花)可能是假名。
在楚留香在第一部小说《血海飘香》里出场时，他已经「成名近十年」。少年时代，他与胡铁花、姬冰雁一起，被称为「雁蝶为双翼，花香满人间」。楚留香当时左有飞雁，右有彩蝶，笑傲江湖，纵横天下。
一次胡铁花在醉酒後答应与华山派的「清风女剑客」高亚男成亲，酒醒後反悔，不告而别;之後不久，姬冰雁也离开了。楚留香独自闯荡江湖，直到七年之後(高亚男追了胡铁花三年，之後胡铁花又在沙漠边的小镇上徘徊四年)，在《大沙漠》里，楚留香才再次见到胡铁花和姬冰雁。
楚留香的年纪虽然从未在书中明确说明，但在《蝙蝠传奇》里，楚留香说出胡铁花是三十三岁。而楚留香与胡铁花是从小一起长大的，七八岁时就曾经一起去偷酒喝，也一起在雪地里玩，因此楚留香的年纪也应该与此相差不远。
楚留香与没有家的胡铁花不同，他有一艘自己的船。而且，船上有三个美丽的女孩子，是身世极苦、从她们十一、二岁时就跟着他的红颜知己：温柔体贴、精於易容的苏蓉蓉，博闻强记、头脑清楚的李红袖，还有妙手烹饪、调皮可爱的宋甜儿。
他的其他朋友也很多：先友後敌的无花和尚、看似冰冷却热情如火的姬冰雁、外号「杀人不见血，剑下一点红」的中原一点红、好客的掷杯山庄庄主左轻侯，以及快网张三。
楚留香的生活中也有许多可爱的女子。在《楚留香传奇》里，他有苏蓉蓉、李红袖和宋甜儿长伴身边，而且他似乎对蘇蓉蓉情有独锺，她姑母也称他是蘇蓉蓉的心上人。
蘇蓉蓉精於易容术，也擅长使毒。个性善解人意。大漠之王的女儿、女扮男装的黑珍珠显然对他十分倾心。在《大沙漠》有冰雪聪明的龟兹国琵琶公主;《画眉鸟》中有水母阴姬的弟子宫南燕;《借屍还魂》里有坚强刚毅的石绣云等;《蝙蝠传奇》里有责任重大的华真真，没有眼睛的可怜女子东三娘;《桃花传奇》有活泼鬼灵精的张洁洁及艾青、艾虹、卜阿鹃等麻衣教弟子;《新月传奇》里有冷漠高贵的新月。其中跟张洁洁甚至还有一子。
古龙为楚留香写了几个故事：《血海飘香》(又名《天枫十四郎》)、《大沙漠》、《画眉鸟》(这三部合称《铁血传奇》或《楚留香传奇》)、《借屍还魂》(又名《鬼恋侠情》)、《蝙蝠传奇》、《桃花传奇》、《新月传奇》、《午夜兰花》(这五部合称《楚留香新传》)。其中，《借屍还魂》、《蝙蝠传奇》、《桃花传奇》、《新月传奇》特别描写楚留香跟女主角的感情：对楚留香而言，除了三姝外，她们是最重要的女子。