Сам часто забываю ключевой смысл файла robots.txt, поэтому решил запостить сюда эту мысль.
Файл robots.txt ВСЕГО ЛИШЬ направляет робота индексации и все.
То есть, страницы могут попасть в индексацию другими различными способами — внутренней перелинковкой, похожие статьи, сайтмап и все такое.
Поэтому, если нужно именно УДАЛИТЬ некоторые страницы из индекса, то нужно в вебмастере постаавить их на удаление, а не просто запретить их в роботсе.