L'affaire prend un tour politique, alors que la rumeur attribue une valeur financière exorbitante aux fresques : les partisans du partage initial sont accusés de brader un trésor national.
À la restauration de Meiji, les structures militaires restantes du château furent détruites, les douves extérieures comblées et les mottes castrales externes bradées.
