Призрак девочки
Самая распространённая легенда о том, что по замку бродит призрак ребёнка – восьмилетней девочки Харриет. Считается, что девочка была дочерью одного из собственников строения и однажды ребенок упал с лестницы и скончался. Сейчас многие утверждают, что в замке часто слышен смех ребенка и топот, присутствие призрака сильнее всего ощущается на той лестнице, с которой упала девочка.
Камеры пыток
В соответствии с рассказами в подземелье замка существуют скрытые камеры, в которых пытали заключённых. Впечатлительные натуры считают, что призраки заключённых до сих пор находятся в замке в поисках успокоения. Посетители отмечают, что в Чарлевиле слышно дыхание, шорохи и шаги.
Учитывая, что за долгие годы поблизости жили средневековая знать, монахи и даже, друиды, считается, что их души также обитают в историческом здании.
Страшная комната
Одну из комнат туристы считают самой страшной. Поскольку считается, что в ней живёт полтергейст, который способен передвигать предметы. Эту легенду подтверждают и волонтеры, проживающие в Чарлевиле.
Звуки весёлого бала
Многие посетители замка говорят, что в замке отчётливо слышны звуки, идущего бала – музыка рояля, стук каблуков, весёлый смех, шёпот, шуршание шёлковых платьев и конечно, детский плач (девочки Харриет).
Призрачные дети
Дочь одного из бывших владельцев рассказала легенду о том, что однажды призрак ребенка помог ей выбраться из подвалов замка, проведя ее в безопасное место. Также девочка утверждает, что во время игры в прятки маленькая детская рука замерла ее в шкафу на наружный замок, но к счастью оказавшаяся рядом мать девочки, услышала крики дочери и вызволила ее из шкафа
Пророчество дуба
Вблизи замка растёт большое количество старых дубов, но среди них выделяется один самый большой и старый – королевский дуб. Согласно легендам, когда у дерева ломается одна из веток, в семье владельцев замок кто-то умирает. В 1963 году удар молнии почти полностью разрушил дерево и после этого скончался хозяин Чарльз Ховард.