在江西省峡江县水边镇的玉笥山下，坐落着一个千年古村，这便是何君。相传秦末有个叫何紫霄的在此修炼成地仙，后世为了纪念他，便把此地称作“何君”。宋时，有个医士名吴铁镜，自南剑州（今福建南平）来到江西永丰县。“以医道来访永丰葛陂橙山之族，游其术于县判刘公之家，公贤之，遂以女妻焉。于是卜居于邑之西北隅，曰耸溪（一曰耸陂）。”仕宋为医学博士，加轻车都尉，卒后葬永丰。其子吴杏林继为太医院正。景德年间（1004—1007），为躲避唐小龙之乱，吴杏林与其子吴正道移家于新淦县玉笥乡何君石下，从此何君吴氏便在峡江繁衍生息。吴正道，即吴扬九世祖。

吴扬之父吴节性（1356—1446），名迈，以字行。邑庠生。洪武二十年（1387），中江西省乡试，征入国子监。后授处州府龙泉县教谕，调金华府武义县教谕。不久升国子监助教，以清谨着称。洪熙改元（1425），仁宗皇帝朱高炽亲赐敕书：“文学老成，蹈履端静；冰檗之操，扬于士林。”以示褒奖。宣德二年（1427），以子扬贵封承德郎、刑部浙江清吏司主事，致仕归

乡。正统二年（1437），加封奉政大夫、刑部福建清吏司郎中。正统十一年（1446）十月二十日卒，年九十一。奉祀乡贤，文行载郡邑志，与妻合葬张家州龟形。

吴节性有三子：昭训、谟训、光训（行三，即吴扬）。洪武二十年（1387）三月初三日，吴扬生于家乡何君村，这年其父正好考中举人。吴扬生而聪慧颖异，父亲吴节性曾说：“先世种德于医甚多，食其报以光大门闾者，必此儿也。”年龄稍长，吴扬跟随父亲来到京师的国子监读书，刻苦用功，日夜不倦。经史子集，从不死记硬背，却能通晓其中义理，异于常人；写文章也务求创新，从不蹈袭前人。时任国子监司业的吴溥曾对吴节性说：“令子学识卓越，非常器也。”

永乐十二年（1414），参加京师乡试，中第8名举人。十三年（1415），登陈循榜3甲第143名进士。时太子朱高炽在南京监国，召见新科进士10人，高兴地说：“皆年少奇才也。”赐归。永乐十五年（1417），授工部主事。旋遭母丧，回乡守制。服阕，调任刑部浙江司主事。

宣德改元，封吴扬父刑部主事，其母、妻皆安人，复归乡省亲。任满，升为刑部郎中。

正统四年（1439），正遇粤东发生大饑荒，饿殍遍野，朝廷急需干吏前往抚恤，以少师杨荣推荐，吴扬被委任为广东左布政使。吴扬前往道谢，杨荣说：“荐贤为国，岂可谢耶？”实际上，当京官当然要比地方官威风舒坦，何况当时广东还属蛮荒之地，吴扬一下子从京师的正五品郎中外放为从二品的布政使，虽说官位升迁了，但是却身处蛮荒、前途也比不上京官。大学士杨士奇正好从家乡祭扫还朝，有点替他不平，便在朝中说：“吴扬勤慎富才识，宜留内用，岂可外补？”可见，吴扬很受朝廷重臣的赏识。赴任前，英宗皇帝还亲自召见他，叮嘱他“修举荒政，保护生灵”。

吴扬奉命星驰入粤，精选廉洁能干的属吏十余人，命他们殚心竭虑，务必施惠于民，处理好饑荒。吴扬还召集当地乡绅父老，晓以孝悌忠信之道，并承诺有肯向官府捐出粮食千石者，朝廷会下诏褒奖，并蠲免其徭役。于是富民争相捐粟，官廪得以充盈。经过吴扬一番努力，“沟壑胥庆再生，流离尽归故土”。

正统九年（1444），广西地区的瑶族劫掠两广边境，当时吴扬正在海南办公（海南当时属于广东布政使司管辖，为处理民事，广东地区的官长需定期在海南办公），巡按御史便嘱咐留在广东的右布政使彭远处置，但彭远已年迈，无力进入蛮荒之地。吴扬回粤后，立即戎装前行，而且不忍心让同僚彭远随军，说：“水路崎岖，瘴毒尤甚，岂老者所堪？”一至瑶区，便召其族首，语重心长地劝以祸福，瑶民最终感化归顺。

吴扬为官一任，造福一方。他有一次经过梅岭古道时，见过往行人有烈日之苦，便仿照张九龄之故事，在道路两旁遍植青松，南来北往者皆受荫庇，世人颂为“召公棠”、“莱公柏”。

吴扬虽位至方伯，却严于律己，对家人也严禁他们营私徇法。曾经写诫书给家族子弟们说：“家之隆替，系乎公私而已。吾幼时与二兄併力一心，未尝私一钱尺帛。汝曹生豢养，不知稼穑艰难，不务耕读，惟营私而妇言之惑，恨不执汝告县官。宜速改悔，不然幽有神遣，明有国法。”吴氏子侄皆畏服，一家大小百余口同居共爨无间言，乡邦称之。

正统十一年（1446），其父吴节性卒于家。吴扬上奏朝廷希望回乡服丧守孝，但朝廷正需能吏处理瑶乱，未批准。处于国事家丧之间的吴扬因“上不能裨益于君，下不能致孝于亲”，终日不怿，寝食悲叹，以至得疾。正统十四年（1449）正月二十九日卒，年六十三。葬何君深陂山乙辰向。所着诗文经兵火多散逸，惟存《海甸随录》一卷藏于家。政迹具载《粤藩碑记》，世祀名宦，并祀峡江县乡贤祠。

太宗皇帝时，有名助教曰吴节性者，道方行直，矩度端严，蔚为缙绅师表，公其季子也。讳杨，领永乐甲午京闱乡荐，明年登进士第，赐归。丁酉，拜工部主事。内艰服阕，调刑部浙江司。宣德改元，封助教以其官，母妻皆安人，复赐归省。满考，迁本部郎中。己未，陞广东左布政使。甲子，广西蛮徭流劫边境，往抚捕之。丙寅，助教讣闻，乞归守制，朝廷方倚公抚辑，不听。戊辰，回司亲事而疾作矣，遂卒。距生洪武丁卯，得寿六十又三。

公新淦着姓，十一世祖仕宋医学博士，子杏林继为太医院正。九世祖正道始自吉之永丰徙今何均石下。曾大父贵伦，大父仲信，俱隐德弗耀，乡称长者。母某氏。公生有美质，助教先生异之曰：“先世种德于医甚多，食其报以光大门闾者，必此儿也。”比长，侍先生肄业大学，昼夜不怠，至忘寝食。与天下士交游，辉光日新，经传子史，不事记诵，而颖悟过人。为文章辞必己出，不蹈袭前人。司业吴公尝语先生曰：“令子学识卓越，非常器也。”领京荐时，第名前列。

仁宗皇帝以储贰监国，召前列者十人见，喜曰：“皆年少奇才也。”在刑部所司讼谍特繁伙，公门敏果断，且宅心平恕，人无冤难。他司有疑狱，移公鞫之，辄一言决，大为秋官卿所器。治狱暇，手不释卷，或诮公复欲为进士耶，公曰：“学岂间于仕不仕，古人饰吏事以经术，为此耳。”及陟方岳，一以承流宣化为己任，先德政而后刑罚，设施不亟不徐，大利害必具以闻而罢行之。岭海之间，时和物阜，帖然宁谧焉。

朝廷尝虑岭南水旱，勑公处置，公奉上德意问民疾苦，恤穷困、理冤抑、劝农桑、兴学校，召父老语以孝弟忠信之道，有能捐粟千石者，如诏旌异，蠲其徭役。于是民争出私储，而官廪皆充溢。其抚蛮徭，观风使以公方在海南，而属之右布政使彭公远，远年老矣。公还，即促装戒行，曰：“水陆崎岖，瘴毒尤甚，岂老者所堪？”遇同僚之有恩如此。公不避艰险，至则呼徭首，语以祸福，卒靡然从化。

父丧，不得归，公以上不能裨益于君，下不能致孝于亲，色甚戚，寝食悲叹，人与之言，不应。僚寀屡以慰释之，终不怿，以至于卒。公赋性仁厚，才德优赡，得失不动于中。居官简静寡默，未尝及人之过，或以语侵之，受之不校。阁老诸先生鹹敬慕之。一日，少师石首杨公退朝引公，访以大才，公谦让未有知，强之，遂以某数人对，少师亲笔之册。未几，皆不次擢用。秋官贰卿杨公宁善品量人物，或以公问，曰：“澄之不清，挠之不浊，廊庙器也。”其陞方伯，以少师建安杨公之荐，公往谢焉。建安公曰：“荐贤为国，岂可谢邪？”陛辞，适少师西昌杨公祭扫还，扬言于朝曰：“吴某勤慎富才识，宜留内用，岂可外补？”

公曆仕久，家政悉其兄昭训、谟训所综理。公友爱，尤笃子姓，有营私者，公作书戒之曰：“家之隆替，系乎公私而巳。吾幼时与二兄併力一心，未尝私一钱尺帛。汝曹生豢养，不知稼穑艰难，不务耕读，惟营私而妇言之惑，恨不执汝告县官。宜速改悔，不然幽有神谴，明有国法。”诸子侄皆畏服，一家大小百余口同居共爨无间言，乡邦称之。有能业举子者，诱掖奖劝，恐其成之晚，复亲为讲析而课试之，乡族多经生学士，公为功为多——《国朝献征录.卷九十九》