開祖である氏心、その子で、文武に優れた傾奇者として有名な二代氏業、「柔聖」と言われた三代氏英、剣の達人として芝居・講談で有名な四代氏暁には多くの逸話が残されていますが、今に伝わる話の一端を紹介します。

○氏心は最初、大和郡山の本多家に仕える。ところが武芸に関心の低い本多家はどうも居心地が悪く、あまりに軽い扱いに腹を立てた氏心は「思うところあって御家を退転する。 追手なりとも差し向けられよ。」と目付け役に書状を叩きつけたと言う。激怒した本多能登守は追手を差し向けるが、氏心の腕っぷしを知っている追手は恐れて誰も近づかない。そうこうしているうちに氏心は悠然と大和郡山を後にしたという。
　本多家を出奔した氏心は、武芸に関して熱心で常に一流を求め「紀州の武辺は世に冠たり」と称される紀州藩向かった。 頼宜に拝謁した際「何かたしなむことはあるか」と尋ねられた氏心は「馬の轡（くつわ）を少々」と答えた。頼宜は笑いをこらえながら「そうではない、武芸の方だ。」と、すると氏心は「あぁ、武芸ならば何でもたしなみます。私に不得意な術はありません。」と答えたという。その答えっぷりが気に入った頼宜は即座に氏心を召抱えたと言う（「武林隠見録」）が氏心は脱藩した本多家と紀州家の関係を考慮し、家臣としての知行は辞退し、生涯客分浪人という形で仕えたという。

○頼宜は武芸に関しては一切の妥協を許さないところがあり、時おり武芸者の実力を自ら試したという。ある日、氏心も頼宜に呼ばれ御次の間にて平伏すると、頼宜は「これへ これへ」と更に招くので氏心は膝をついたまま側に寄っていった。しかしこれは御座所の敷居へ手をつき、平伏したところを左右の襖を一度に閉めて氏心の頭を挟まんとした頼宜の策略であった。しかし氏心はこんなこともあろうかと敷居の溝へ扇を入れ、密かに押さえていたので頭を挟むことはなかった。頼宜はこの氏心の心がけに思わず「あっ」と声をあげて感心したと言う。

○頼宜はあるとき、城内の庭園で氏心に親しく話しかけ、安心させたところを後ろから小姓に突かせたが、瞬時に転身をした氏心に逆に小姓が池に落ち怪我をしたため、氏心に感服し、以後二度と試すことはなかったという。

○あるとき越前の岩城団右衛門という武芸者が試合を申し込んできた。八寸の柱を蹴折ると言う強力の男で、地べたに座って待っている氏心向かって走りより、いきなり顎を蹴り上げた。氏心は足が顎にあたる寸前、仰向けになり倒れた。次の瞬間、身を翻して突っ立った氏心の顔面を団右衛門の二度目の足が襲ったが氏心はまた仰向けざまに倒れた。そして三度目、氏心は襲い掛かる団右衛門の足を掴んで投げ飛ばしたという。団右衛門は真っ逆さまに地面に落ちそのまま悶絶したと言う。（「大人雑話」）

○氏業はあるとき、屋根から落ちた猫が空中で反転し無事に着地したのを見て、猫に出来るものなら人間にも出来るはずと思い地面に藁や布団を敷き、屋根から猫のように落ちる工夫を重ねた。そして徐々に藁や布団を減らして行き、ついには『受身』を創案し布団も藁もなしでも自由に着地出来る様になったという。（「紀藩柔咄集」）

○江戸時代の氏業は京都時代の派手好みが抜けきらず、外出する時は小姓に伊達染めの着物を着せて朱鞘の刀をさせ、自分は着流しに小刀を差し手には鉄扇、大刀は小姓に担がせて歩いたという。武士が供の者に大刀を担がせて歩いた風習は足利時代のもので江戸時代にはすっかり廃れていたが、氏業は目立つことを狙って好んで行ったという。

○あるとき氏業が門下生である真田伊豆守幸道に招かれその屋敷に行った際、幸道が「武術の達人と言われる人は壁を歩くと言われています。先生も壁を横に走られると聞き及んでいます。今日はぜひそれを見せていただきたい。」と言ったところ「美味しい菓子でも食べさせてくれたらお見せしましょう。」と氏業は答えた。幸道は菓子を出して促したところ、氏業は壁に向かって逆立ちして「我が技はこのようなものです。」と答えた。幸道は冗談をとばかりに氏業に向かって「本当の技を見せてください。」と言った。すると氏業は座りなおし威を正して言った「あなたは三軍を指揮する由緒正しきお家柄。そのような言葉を発するべきではありません。武術を修むるは身を護り、国を護るためです。妖術を使うためではありません。武芸に秀でたものがそのような技を使うと世間では噂しているかも知れませんが、そのような話をするのは武術に拙いもの達が行なう事です。我々が目指すところとはそのような所ではありません。」これを聞いた幸道は恥じ入り己の未熟さを悟ったと言う。

○氏業はよく弟子たちに、「物事を習うにあたり一番大事な事は、師を選ぶことである。」と教えていた。一度悪い癖をつけてしまうとなかなか抜けないものである。それ故に、凡庸な師に弟子入りして3年過ごすよりも、3年遅れてでも良師を探すべきであるとした。また一芸に秀でて有名な人でも、文学に拙いものはその芸もまた卑しいものであるとし、業を学ぶのと同様に書もまた学ぶようにと教えていた。

○晩年、体も大分衰えていたころ門人の一人が「先生、今日は骨身にこたえるような稽古をして下さい。」と申し出たので「ここへ来なさい。」と言って呼び寄せた。そして刀を杖に立ち上がり、近寄ったかと思った瞬間、その者が仰向けに倒れてしまった。門弟一同が駆け寄り、水をかけるなどしてようやく意識を取り戻したが、歩いて帰ることが出来ず籠を用意して帰らせたと言う。

○氏英の晩年、ある日のこと杖をつきながら歩いていると前から「泥棒だ。誰か止めてくれ。」と言う声が聞こえた。その声の方を見ると、声の主の前を屈強な若者が走ってくる。そこで氏英が持っていた杖を走ってきた若者の前に突き出すと、若者は邪魔だとばかりに杖に手をかけたが次の瞬間、氏英が杖を下におろしたかと思うと若者はもんどり返って地面に叩き伏せられていた。そして「そりゃ行くぞ。」と言う声と共に若者の体は追いかけていた男の前に投げ出されていたと言う。これを見ていた人たちがその真似を何度もしてみたが子どもさえも倒せなかったと言う。

○身長六尺を有して強力無双と言われていた。16歳のとき紀州藩主、頼宜公がその武芸をご覧になると仰せられたため、池の縁に木枕を置きその上に立って強力と言われていた根来法師山本丹生谷と押し合いをした。根来法師山本丹生谷が三度突いたが全く動かず、四度目に突こうとした際、氏暁が身をかわすと根来法師山本丹生谷はそのまま池に落ちてしまった。これを見た頼宜公は即座に二百石の禄を与えたと言う。

○当流の柔術に「風呂詰」という技がある。かつて関口新心流が紀州藩御流儀として、他藩への流出を固く禁じられていたおり、身分を偽り当道場に入門、技を盗もうとした者があった。しかし、その者の素性知れるや否や藩よりの命令で殺さなければいけなくなってしまった。家臣としては藩命に背くわけにもいかず、やむなくこの風呂詰という技を教える振りをして殺した。その後、その者の出身である徳島藩に遺体の引取りを求めるも、隠密として派遣した者ゆえにその者の存在を認めることはない。情に厚かった当時の関口家当主は、行き場のなくなったかつての門下生を不憫に思い、墓をたて手厚く葬り、その後も今日に至るまで代々供養している。