Zříceniny Rychlebského hradu jsou ukryty v hlubokých lesích Rychlebských hor v nevysoké poloze nad Račím údolím jihozápadně od města Javorník. Pevnost zde byla založena zcela jistě za účelem kontroly stezky spojující Nysu s Kladskem. Původní jméno pevnosti, o které historické prameny mlčí jako ryba, bylo dávno zapomenuto a asi jej už nikdy nezjistíme. Později začal být hrad nazýván podle Rychlebských hor, v jejichž srdci leží. Německý název hor i hradu je odvozován od města Reichensteinu (dnešní Zloty Stok v Polsku).
Archeologické nálezy, odkrytéé na počátku 20. století, alespoň přibližně datují počátky hradu. Jeho vznik je tedy kladen do druhé poloviny 13. století. Tomu by také odpovídala zastaralá dispozice hradu s volně stojící válcovou věží v nádvoří. Věž měla průměr 10 metrů a dodnes je z ní zachován sokl, dostavěný počátkem 20. století. Mohutná hradba, až 2,5 metru silná, uzavírala oválné jádro, které bylo průběžně doplňováno o další stavby obranného či obytného charakteru. Život na hradě zanikl patrně už v první polovině 15. století v souvislosti s vojenskou akcí husitských vojsk. Patrně v roce 1428 byl hrad husitskými oddíly dobyt a již zůstal neobnoven. Existuje ještě nepodložená zpráva, že v roce 1505 hrad na trestné výpravě proti loupeživým živlům dobyl a vyvrátil vratislavský biskup Jan Thurzo. Osídlení opuštěných polorozbořených hradů loupežníky bylo zvláště v dobách slabé panovnické moci, zde případně slabé biskupské moci docela běžným jevem. Po staletích působení neúprosného zubu času byl hrad vybrán Moravskoslezským horským sudetským spolkem k zakonzervování a přizpůsobení potřebám turismu. Práce podporoval vratislavský biskup Jiří Kopp a hrad byl v průběhu akce zcela odkryt od sutin. Původní vzhled hradiště odpovídal dvěma pahorkům, které byly obklopeny téměř zasypaným příkopem. Romantická úprava zříceniny proběhla před rokem 1910 a hrad učinila turisticky atraktivnějším, leč probíhala vůči hradním zbytkům velmi nešetrně. Tehdy došlo k částečné změně půdorysu některých staveb, změně výzoru některých částí hradu, přemístění mnoha architektonických detailů z původního umístění, a co víc, našla se řada cenných archeologických nálezů. Jejich podstatná část se bohužel ztratila.
Při procházce Račím údolím můžete obdivovat skalní útvary na jeho svazích, nebo staré opuštěné a chátrající dřevěné stavby na začátku doliny, případně vystoupit na vyhlídkové skalisko Čertovy kazatelny nebo na protilehlý Pustý zámek. Po něm se zachovaly již jen terénní stopy a podle některých autorů jeho vznik snad souvisel s obležením Rychlebského hradu.
Dostat se na zříceninu rychleby lze po modré a posléze po červené značce, od parkoviště je vzdálena zhruba 3km, cesta zpět pak vede po zelené značce přes Čertovi kazatelny. Celkově nám procházka zabrala asi 2 hodiny.