Да, можно использовать robots.txt для ограничения доступа к страницам, содержащим определенные символы в конце URL-адреса. В файле robots.txt можно указать директиву Disallow с указанием URL-адреса, который нужно заблокировать для поисковых роботов.
Например, чтобы запретить доступ к страницам, оканчивающимся на "/parent", можно добавить следующую запись в файл robots.txt:
Disallow: /*/parent$
Эта запись ограничит доступ ко всем URL-адресам, где в конце стоит "/parent".
Что касается настройки запрета для страниц, оканчивающихся на определенные символы, даже если уже применен 301 редирект, то лучше всего делать это на уровне серверных настроек. Например, можно использовать директиву RewriteRule в файле .htaccess для перенаправления всех URL-адресов, оканчивающихся на "/parent", на другую страницу или на главную страницу сайта.
Пример настройки в файле .htaccess:
RewriteEngine On
RewriteRule ^(.*)/parent$ /new-page [R=301,L]
Этот код перенаправит все URL-адреса, оканчивающиеся на "/parent", на страницу "/new-page" с кодом 301. Таким образом, даже если поисковые роботы попадут на страницу с символами в конце URL-адреса, они будут перенаправлены на другую страницу.