不過，這種海盜活動對沿海社會穩定帶來極大隱患，也使得清朝當地官員對其很是忌憚。傳聞在1809年，腐敗無能的清廷與美國、葡萄牙艦隊勾結，曾經多次派兵對紅Q幫進行圍剿。
而且，當時的兩廣總督張百齡直接采取禁船出海的管理手段，斷絕紅Q幫的糧草和經濟來源，內外夾擊下的張保仔內外交困，導致他不得不歸附朝廷。后張保仔被清廷授予三品武官銜，還被任命為清廷的海軍軍官，繼續圍剿其他的海盜。這一行徑，導致張保仔昔日的手下們紛紛棄他而去，而他也于1822年在懺悔中郁郁而終。
雖然張保仔去世了，但關于他的故事，卻一直在民間流傳著。沿海很多地方都有以他名字或故事命名的景點，比如香港的扯旗山、赤溪的扯旗角，東營盤、西營盤，還有張保仔洞等。
而且，據說在民國時期，有一個張保仔老家的人，憑著藏寶詩“船頭向著烏豬山，船尾向著廣海灣，用柴燒用醋蘸，萬兩黃金在其間。”在扯旗山的石船石錨間，竟然挖到了萬兩黃金。還有人說，張保仔在晚年曾雇工匠將所搶的大量黃金，偷偷鑄于一些佛像中。后來有漁民去某寺廟上香，因不慎點燃寺廟里的物品導致火勢過大，把寺廟里供奉的佛像石蠟給燒化了，最后竟然發現了大量的黃金因此富甲一方。
“爺爺，這些都是張保仔的生平和寶藏傳說，沒有什么特別之處啊！”
“你別急，繼續往后看，關鍵的部分在這里！”
說話間，謝康年用手指了指后面的一段文字：
據說，張保仔天生就有陰陽眼，從小就能看到邪祟的東西，所以為人極其迷信。他在當紅Q幫幫主的時候，每當幫會內遇到難事、手下部屬內心動搖或需做出重大決斷時，張保仔都會借助一系列的迷信手段，讓幫會中的每個人信服于自己。
其中一個最常用的手段，就是找一名他非常信任的道士，先把自己的想法告訴對方，然后在一艘取名叫“神樓”的船上，召開大小頭目都參加的會議。張保仔會先假裝讓大家議論一番，然后由指定的道士進行求神問卜算吉兇，最后道士會將張保仔的想法作為神的意旨傳達給眾人。
這一招神樓問道的戲碼，讓當時紅Q幫的部屬對他的英明深信不疑，更是眾人對張保仔的號令言聽計從。而一直被張保仔非常信任的道士，不是別人，正是他老家一位從小玩到大的小伙伴。
這位小伙伴姓王，跟張保仔一樣也是從小就有陰陽眼，但是他跟張保仔的性格截然不同。王道士從小父母雙亡，為人愚鈍木訥很不招人喜歡，要不是小伙伴張保仔時不時的救濟，他早就餓死在了田間地頭。
可就這樣一個不受眾人待見的小男孩，在當地大旱之際，突然暈倒在一家道觀的門口。道觀的主持發善心救了他，卻在他睜開眼后發現此人竟然成了道家的天選之。先是有道家真人附身，口吐預言說只要虔誠供奉真人，三日后此地就將降大雨，以救百姓于干旱之中。
道觀主持對此事將信將疑，但面對束手無策的大旱，他抱著死馬就當活馬醫的心態，將這個預言告訴了老百姓們。沒想到經過老百姓的一番誠心禱告供奉后，大雨居然如期而至，這讓眾人把王道士當成了真人的化身。
此后，這個愚鈍的人也如開了竅一般，各種符咒術語侃侃而談，甚至連老百姓遇到疑難雜癥時都能給符驅災。漸漸地，王道人成了神明一般的存在，不僅是當地周邊的老百姓對其深信不疑，就連其他城鎮省份的百姓們也不惜千里萬里地跑過來拜他。
就這樣，成了海盜頭領的張保仔回鄉探親，特意拜訪了昔日的伙伴，將他請到了自己身邊，從此王道士成了他最得力的心腹。至于王道士是否真能趨吉避兇沒有人知道，不過他跟著道觀住持確實學到了很多東西，其中就包括一些不為人知的厲害法術。
有傳言說，張保仔在臨終之前郁郁寡歡，昔日好友為了保他來世瀟灑快活，繼續享受世間的榮華富貴，特意利用風水布了一個法陣。在這個法陣的法眼里，王道人不但藏了張保仔大量的金銀財寶，而且還埋葬了四個特殊時辰出生命格奇特的男女。
據說，這四個特殊的時辰，指的是道家常說的子午卯酉，也叫“四正”。即一陽生為子，一陰生為午，陽與陰合為卯，陰與陽合為酉。在時，為陰陽之生旺，在方，為陰陽之中正。是以陰陽，而定子午卯酉，非以子午卯酉，而定陰陽。在時辰中，需要先把該人的農歷生日換成八字，然后以農歷出生年月日時，算出前四世的因果，然后推出前四世分別落于哪一道。
也就是男順女逆數，正月就在原本宮位，然后二，三四五……順數就是順時針，逆數就是逆時針。例如屬鼠的人，陰歷六月出生，性別為男，則順數到巳宮天文星。如果是初三，就從月宮開始數，初一初二最后初三落在未宮，是為天驛宮，其他以此類推。最后查命宮就很簡單，是從日宮開始數，數到卯就是命宮了。比如子為天貴是佛道；丑為天厄是鬼道；寅為天權是人道；卯為天破是畜生。
王道人的法陣所采取的算術是在此法基礎上，又添加了很多他的自創和鉆研，總之這四個男女的選定很是費了一番周折。有一位曾經侍奉過王道人的老人說，四個法眼藏在一首詩里，這首詩是“烏豬洲仔有石船，船頭向往穿石心，船尾向往三尖石下一石香爐，石香爐底下有井字，從井字量起三十六周線，黃金三百兩，白銀三皮箱”。
有當地人根據這首詩真找到了有石船、石香爐及香爐下的“井”字的地方，但是“三十六周線”是指什么，直到現在也沒有人知道，因此四個價值連城的法眼沒有人知道。