杨过自少年时期流落市井，真正过得几日安稳、寻常日子的便是在桃花岛了，但是在岛上的回忆也不甚美好。大小武为讨郭芙的欢心合力作弄他，杨过因不会武功只能任他们欺负，凭借偶尔显灵的蛤蟆功入门基础侥幸保住了性命。无奈大小武恶人先告状，杨过又是宁折不弯的性子，在郭靖面前拒不认错道歉，柯镇恶亦容不下蛤蟆功的传人，郭靖无法，只得将他送往钟南山学艺。
当杨过辗转至古墓派后，也很少提及在桃花岛的日子。杨龙感情升温转化源于尹志平事件，否则以杨过的事师至孝至敬，以及小龙女的不谙世事和天真无邪，他们之间几乎没有可能。杨过拒绝小龙女的娶妻提议后，小龙女独自出走，杨过遍寻不着并于途中偶遇了长大后的郭芙，看到她形貌艳丽，不由得自惭形秽。芙蓉芙蓉，芙更在蓉之上，也难怪杨过会心中一动。当时杨过作蒙古人的古怪打扮，郭芙并未认出他来，又因系郭黄之女，秉承抗蒙大志，自然对蒙古人没有好脸色，于是鄙夷的瞥了杨过一眼。这一眼可倒好，直看得本就玻璃心的杨过更生自厌自弃之心，顿觉天地间他最可鄙可污可轻可贱，比蝼蚁还不如，由得世人随意践踏，活着没半点趣味。伤心冲动之下杨过跑上华山，偶遇洪七公冲淡了死志，并深信天地间只有姑姑一人是真心对他好，既然小龙女希望自己娶她，那就娶吧。
在去往丐帮英雄大会前，杨过特意扮作叫花子，想让郭芙一家轻贱鄙夷，仿佛这样一来他关于自身任人欺侮的猜想就不用悬而未决了，他持续数年的愤懑不平就有所来由了，他对郭芙一家的长久憎恶就合乎情理了，他与小龙女的终生约定就将是他无二唯一的归宿了。
当杨过为郭芙的美貌心折时，转念想起：“你就是再美十倍，也怎及得上我姑姑半分？”这话可有意思了，既是贬损郭芙在自己心中的地位，又是在暗暗提醒自己的身份。
假如郭芙真的如他所愿，继续瞧不起扮作叫花子的杨过，他满腔的愤怒可以马上引爆；但这次郭芙却未向他投去一眼，径直与大小武出门，杨过“心中百感交集，也不知是愁是恨？是怒是悲？”
杨过一生行事乖张，刚烈偏激，自伤身世，也最受不得轻贱，因此他在一激之下作出情理之外的举动乃是常事，又因侠之属性加持，救爱人理固当然，救仇人更显高义本色，故而暗藏深意的举动或许会被解读为顺手为之。
杨过数次相救郭芙。在英雄大会上与小龙女双剑合璧力挫金轮法王后，金轮法王对他二人颇为忌惮。事后金轮法王抓了郭芙，又挟持黄蓉欲要挟郭靖，小龙女劝杨过大和尚惹不起，别理这些闲事，杨过却还是要救郭芙。之后杨过落单撞到金轮法王在乱石堆里困住黄蓉、郭芙一行人，郭芙更在金轮法王手里，他自己明知不敌，逞强救人决计会送了性命，却还是义无反顾的冲进乱石堆营救。杨过毕竟武功有限，难以抵御金轮法王的攻击，黄蓉劝杨过保重，不用再拼，郭芙则手提长剑，护在母亲身前。在这危机时刻，杨过低声道“芙妹你快逃走，去跟你爹爹报信要紧。”仍不忘拼死将郭芙安全救出险境。
杨过一生与郭芙不睦，生死关头他竟然喊出了“芙妹”，只求芙妹能够逃脱，他的一颗心其实藏的并不深。小说里杨过称呼郭芙“芙妹”的情况只有寥寥数次，一次是这里，一次是小说结尾在襄阳大战与郭芙达成和解；还有一次是他欺骗大小武，称自己与芙妹情投意合，郭靖不日会将女儿许配给他：这一次也许是他出于欺骗、为套近乎之下的权宜之计，但是又何尝不是他一生之中唯一一次能够轻松畅想与芙妹有将来的一刻呢？
但是，这一欺骗性的举动带来的后果是出乎所有人意料的。其一，小龙女竟信以为真，并留下淑女剑赠与郭芙，希望他二人能够成其好事，然后再次出走。首先，小龙女为什么会轻易相信了这个谎言，甚至不与杨过当面对质就决定退出？小说里数次讲到杨龙二人如何心意相通，是不是连杨过都没有意识到的感情，却被小龙女意识到了？小龙女与杨过的迷妹诸如陆无双、程英、公孙绿萼甚至小郭襄都相处和睦，她更欢喜她的爱人受这么多迷妹的喜欢与爱慕，这就证明她眼光不错。但是，小龙女对郭芙的态度却有点不同，当然这也与郭芙本身的性格有关，她对人从不轻易示好，大小姐架子摆的足。
小龙女对郭芙是颇为忌惮的，当杨过终于找到出走的小龙女，并在重阳宫结为夫妻返回古墓的途中，杨过告诉小龙女，他把郭伯伯的姑娘也带过来了。小龙女一呆，颤声道：“真的？你带来了郭大侠……郭大侠的姑娘？”这里小龙女面色大变很是令人回味。即使杨过已经对小龙女表明心意，两人还成了亲，小龙女仍然害怕郭芙的插足，仍然对这段感情、这段婚姻有许多不安。郭芙没有做任何令小龙女疑心的举止，那么小龙女疑心的，就只能是杨过了。杨过对郭芙鲜有言语上的轻佻，更无举止上的冒犯。他与陆无双以媳妇傻蛋互称，甚至亲吻耶律萍的眼睛，与郭芙呢，只有剑拔弩张，互相看不上眼，甚至此时郭芙已经砍断了杨过一条臂膀，小龙女竟然还在担心？她是不是知道，杨过绝不会怪责郭芙，他会无限度的包容她呢？
之前杨龙曾偶然偷听到大小武对郭芙表白，而郭芙苦恼着应该选择谁的问题。杨过玩笑的问小龙女，如果她是郭芙，她会选大小武之中的哪一个，小龙女说选杨过，杨过笑说道，我不算，郭姑娘半点不喜欢我。郭姑娘半点不喜欢我，这应该是杨过对他和郭芙两人关系的一个总结性评价，那么他喜欢不喜欢郭姑娘呢？没人知道，除了小龙女也没人关心这个答案，而在这个总结性评价的前提下，甚至连杨过本人的想法都不再重要了，因为，郭姑娘半点不喜欢我。但是，杨过却关心郭芙会选择谁？连她的父母、亲人、师长都觉得这番话难以对外言说，杨过却操起了这门子心，一再问小龙女。结果小龙女再次回答道，还是选你。或许这里未必是小龙女对杨过的一番示爱，而是小龙女站在郭芙立场上的最优选择，所以她最忌惮的就是郭芙。
其二，大小武听信了杨过的一面之词，离开了郭芙，外面又在诨传郭芙将嫁给杨过，这是郭芙绝不愿的，再加上误以为杨过抱走妹妹去换取解药，郭芙怒气冲冲的来找杨过算账了，并一怒一激之下砍断了杨过右臂。郭芙的“怒”是你搅坏了我的姻缘，你在我的两个情哥哥中间横插一脚，你还偷走了我的妹妹，你是个卑鄙无耻的小人，就凭你还妄想娶我？郭芙言语间对小龙女不敬，说小龙女做了见不得人的事，这可大大冒犯了杨过，小龙女是他的师傅，是他认定的爱人，是一个在潜意识里不停压制郭芙世俗美的空灵美理想对象。当空灵幻灭，世俗当道，杨过要怎么办，他是不容于世俗的。于是他狠狠地打了郭芙一掌，嘴里还用言语激郭芙，妄图维护他一心坚持的、适合他的美的信仰。郭芙也是一个只遗传了郭靖鲁钝特点的暴躁妹子，头脑简单。郭芙愤恨那一掌之辱，又兼想为妹妹报仇，看到杨过眼神中却殊无半分乞怜之色更加恼火，索性横下心来一剑劈了下去，只可惜这不是一把普通的剑，而且削铁如泥的君子剑，于是企图装逼的杨过悲剧了。
郭芙与杨过的脾气是很相似的。当郭芙用君子剑指着杨过时，杨过毫不惧死，一副任你宰割我绝不求饶的做派。当郭芙被困重阳宫外的烈火时，耶律齐等一干人都无力救她，杨过正恼恨于郭芙误发毒针累得小龙女性命难保，因此不欲施救，却终究不忍心，还是冲入火丛。“郭芙本以为有人过来相救，正自欢喜，待得看清却是杨过，身外虽然炙热，心中宛如一盆冷水浇下，想道：’我死到临头，他还要来讥嘲羞辱我一番。’她究竟是郭靖、黄蓉之女，狠狠的瞪着杨过，竟是毫不畏惧。”
诚然郭芙出身好、相貌好，自小便有无数人巴结，更养成了骄纵蛮横、目中无人的个性。杨过却是个不顺郭芙意的另类，当然如果杨过主动示好，郭芙未必会有多稀罕，但是杨过数次逆他的意，大小姐可咽不下这口气了。
杨过呢，自小流落江湖，渴望温暖、渴望家庭、渴望安定，而这一切，郭芙轻而易举的就获得了。郭芙的生活就是他向往的一种传统的幸福。郭芙但凡表现出一分的轻慢，杨过就更觉得这份幸福是自己终生都无法企及的，只能自己率先放弃，而千万不要做被放弃的那一个。不论是欧阳锋、孙婆婆或是小龙女，都是他们率先对杨过施与关爱才令得杨过卸下心防，恨不得为他们肝脑涂地。偏偏大小姐是习惯了别人追捧的女神，她与杨过都是不肯服软、宁死也要争一口气的人。但是，郭芙一旦陷入危险，杨过马上保护欲发作，就是粉身碎骨也要救出郭芙。杨过不忍郭芙的怒目而视，仍旧将她救下，而郭芙面对同样敌视的杨过时，却是眼一闭、心一横，那一剑还是砍下来了。说到底，杨过的不忍是因为杨过心中有情，而郭芙的不忍是因为郭芙还不识情。
无论如何，郭芙的那一剑还是砍下来了，杨过生生挺受了这重重一剑，并仓惶离开。杨过养好伤后，心道：“我谎言欺骗武氏兄弟，其实也是为了她好，倘若武氏兄弟中有一人为她而死，岂非也是她的罪过？哼哼，她乘我重病之际斩我一臂，此仇不报，非丈夫也！”原来他都替郭芙考虑到这一层了，真是煞费苦心。然后忿忿不平地杨过作了几次心理建设后来找郭芙报仇：杨过躲在房外，心道：“你断我一臂，我便也断你一臂，只不过好男不与女斗，此刻我下来伤你，虽然易如反掌，却不是大丈夫行迳。”略一沉吟，已有计较：“好，让我大声叫嚷，将郭伯伯叫来。我先将他打败，再处置他女儿。男儿汉光明磊落，再也无人能笑话我一句。”但转念又想：“郭伯伯武功卓绝，我真能胜得了他麽？只怕未必！那麽此仇就此不报了？”“莫非郭伯伯知我来此，特来保护女儿？好！我便先和你动手！打你不过，死在你手下便了。”这一番心理活动太有意思了，杨过先前怀疑郭靖害死杨康，为报父仇计划暗算郭靖时，可没顾得上什么道义与大丈夫行径，现在替自己报已经坐实的断臂之仇，反而还扭捏起来讲究个师出有名了。
看到郭靖逼郭芙自断一臂时，杨过只吓得一颗心突突乱跳，只想：“我要不要下去阻止？叫他饶了郭姑娘？”杨过此时已经不忍了。后幸得蓉儿救出郭芙，杨过便一路尾随，嘴上还说着狠话要斩去郭芙右臂。落单的郭芙见到杨过时脸色苍白，目光中尽是惧色，等候着杨过无情的报复。但是杨过事到临头竟然下不了手，哼的一声，只弄曲了他的长剑，扬长而去。如他自己所想：“杨过啊杨过，是不是你天生的风流性儿作祟，见了郭芙这美貌少女，天大的仇怨也抛到了脑後？倘若斩断你手臂的是个男人，你今日难道也肯饶了他？”
独行侠杨过就这样漂流了16年。按照小说原文，16年间他“恨极郭芙”累至小龙女伤重难愈，如今小龙女更是下落不明，因此从未踏足襄阳拜访郭靖夫妇。在风陵渡口，当过路的旅客谈论到神雕侠的英雄事迹时，郭芙马上意识到神雕侠就是杨过。向来粗线条的郭大小姐也有如此纤细敏感的时刻，这可能因为她与杨过的交集似乎是她完美人生成长轨迹中的一块重大污渍，时刻提醒着自己在他面前武功多么低微、为人多么鲁莽、行事又是多么惹人憎恶。
当郭芙找到万兽山庄欲寻回小郭襄时，杨过先闻其声：“有没有一个大头矮子在这屋里？我要问他，把我妹子带到那里去了？”只见杨过“双眼精光闪烁，神情特异”，看来杨过在第一时间就认出了郭芙，不论是少女的她，还是少妇的她。小郭襄说道姐姐来找她了，杨过才意识到这是当年的小婴孩。郭襄看不上姐姐处处打着父母的旗号在外面逞威风，便说自己为她害羞，自己若说神雕侠是他的哥哥，姐姐就学不来了。杨过听罢只是微笑道：“令姊又怎瞧得起我这般人了？”言谈间并无鄙视郭芙此类行径的意思，乍听下反而仿佛在怪罪自己入不了她的眼：即使今天众人皆称呼我一声神雕侠，在郭芙的眼里，我仍是一个无父无母的小叫花子，又算得了什么呢？杨过苦笑着说出这句话时，他应该也明白，自己和郭芙之间是个死结，这辈子再难解得开，言语间颇有些自怜自伤与无可奈何的意味。
郭芙与史家兄弟打斗时，技不如人处于下风。但史家兄弟听闻郭襄喊郭芙“姐姐”，又喊神雕侠“大哥哥”，因此猜测郭芙是神雕侠夫人或是姊妹（这真是一个美丽的误会），于是手下留情，但郭芙偏偏不知见好就收，反而重刺了史老五一剑。史家兄弟大怒，欲为老五报仇，杨过赶紧解围：“神雕侠传令，让这两位姑娘走罢！”史家兄弟只得听令，待姐妹俩离开后，他们七嘴八舌、旁敲侧击，看能否伺机找郭芙算账，结果杨过说了一句：“侥天之幸，史五哥的伤势还不甚重。这女子行事向来莽撞，我这条右臂，便是给她一剑斩去的。”众人听了这话无不愕然，言下之意是我杨过被斩去右臂都不曾计较，你那只是小伤，要感谢郭芙下手轻，别净想着报仇了。依杨过的个性，断臂之痛实是他生平一大恨事，难以与外人道，而今他却主动提及，为了什么？显然是为了替郭芙永绝后患。
破庙内，郭芙向妹子炫耀自己的丈夫，并说妹子口中的大英雄纯属瞎编，不会有这样的一个英雄人物来替她庆生，再无一件事比得上耶律齐当选丐帮未来帮主来的重要了。这番话可大大激怒杨大侠了。按说经过了这一十六年，杨过早不复少年那般心高气傲、跳脱浮躁了，但是被大小姐言语一激，少年时不服输的劲儿又上来了。于是有了郭二小姐盛大空前的十六岁生日宴，更有了众目睽睽之下禅让的丐帮帮主之位。
当郭芙被霍都暗算时，她的父母丈夫都救她不得，还是杨过使出了弹指神通，而且他出手的速度和郭芙的外公黄老邪一样快。杨过对郭芙的紧张、关心程度丝毫不输于她的至亲。
襄阳大战时人人自危，各人自顾都不暇，杨过还有空注意到郭芙的心焦，注意到他的丈夫正深陷包围。杨过在全书难得的首次也是唯一一次正式难为了一下大小姐，且是在大小姐丈夫命悬一线的关头，总之是做得不太地道。是不是杨过早就预料到，经此一役后终须一别，上一次分离是十六年前，下一次分离还不知要待多久，更不知有无再见的可能，索性趁此机会戏弄郭芙一番，出平生一口恶气也好，反正她肯定不会答应，自己过一下嘴瘾也是好的。于是杨过提出了那个无理的要求：只要你向我跪下并磕三个响头，我就去救你丈夫。
郭芙是多骄傲的一个人啊，除了父母，还在谁面前低过头，如果是要杨过营救自己，郭芙是绝不会服软的，但此次牵涉到她的丈夫，而且他们夫妻一向恩爱，于是郭芙毫不迟疑的下跪打算磕头。
杨过被深深的震惊了，原来他对丈夫如此情深！原来他也可以为了一个男人做到如此地步，那我这番举止又是在做什么呢？于是他立马怂了，深悔自己出言轻薄，忙道：“是我的不是，我胡说八道，你别当真。耶律兄和我一见如故，焉有不救之理？”于是冲入敌军。当丈夫被救出后，郭芙万分感激，只觉得前尘往事尽是在误会杨过，自己未免太过小人之心。于是她走到杨过跟前，盈盈下拜，道：“杨大哥，我一生对你不住，但你大仁大义，以德报怨，救了……”说到此处，声音竟自哽咽了。郭芙从未这般声情难控、楚楚可怜的对杨过说过话，以往即便郭芙和颜悦色，也不过是同他打趣，觉得他说话有意思，内心深处却一点儿也瞧不上他。敏感的杨过显然察觉到郭芙的情绪变化，并被此感染，急忙还礼，说道：“芙妹，咱俩一起长大，虽然常闹别扭，其实情若兄妹。只要你此后不再讨厌我、恨我，我就心满意足了。”
话未落地，不止芙妹呆了，读者呆了，恐怕连杨过本人都没有意识到，这是他第一次直诉自己的情感需求。杨过这一生总是在被动的接受，很少主动的给予或者索取。郭靖待他至诚，他也是动摇、考验了无数次才真正信任、钦慕他。而郭芙呢，偶有的几次示惠，杨过偏不领情，甚至误解为是施舍；可是一旦郭芙身陷危难，杨过总是第一个跳出来舍命救她。他少时在桃花岛的那几个月，采花儿给郭芙带，被郭芙嫌手脏，捉蟋蟀和郭芙玩，也被郭芙和大小武欺负。这段短暂的时光、这系列不愉快的往事，是杨过对郭芙偏见的起始，也令他认定了郭芙瞧他不起，于是他用更加自傲、倔强的态度来对待郭芙，以掩饰他对种种轻视的不在意和藏于骨子里的自卑。郭芙示好时，他耍起脾气爱答不理；郭芙示威时，他找准机会挫她的威风；郭芙示弱时，他送掉小命也要护她周全；假如郭芙示爱，依他的个性，是会嘲笑郭芙痴心妄想还是瞬间化身迷弟呢？
杨过与郭芙的交集、纠缠，是一个始终自傲的人与一个始终自卑却伪装成自傲的人之间的交锋，火星四起，伤痕累累，是不想缠却不能放，不能合也难以忘。看杨过这段剖白，在他心底与芙妹感情至深，而至深的感情下掩埋着的讨厌和恨，是否更令人心碎？
杨过的一番软语直说的郭芙由呆至悟，由悟至恨，由恨生悔，但很可惜，无论多悔最终也只能落空。在城门战火下，在千军万马中，在咫尺生死间，过去的恩恩怨怨都化为乌有，冲天的烽火里只余杨过和郭芙，还有始终不能合一的心猿与石马。
如果杨过始终不明自己的心事，与郭芙的和解令他一生快意如斯；如果杨过终于明白自己的心事，与郭芙的和解将令他一生涩意如斯，不论是快意还是涩意，他都觉此生已尽，于是义无反顾的冲入了死地。
