Если через панель удалили, и кеш создан веб-сервером, то все ОК должно быть, ведь файлы принадлежат веб-серверу. Исключение — когда кто-то зачем-то меняет при установке маску создаваемых сайтов, тогда кэшманагер при создании новых кэш-файлов задает им новые права, которые ему же не дают файлы удалять. Смотрите у файлов кеша кто владелец и какие права стоят. Для этого осваивайте SSH гуглите команды ls -la, chown, chmod и т.п., хотя можно и FTP-клиентом глянуть.