Мои «5 копеек» Пользуюсь FastVPS уже больше года, и в принципе очень им доволен.

Для тестов был взят тариф EVO-1-SSD и установлена ubuntu-14.04-x86_64-minimal При первом логине ввел

locale-gen ru_RU.UTF-8

И далее все по инструкции