Broj 404 errors u webmaster tools raste

[nasy]

Pozdrav raja,

Evo jedno pitanje koje me izluđuje ovih dana.
Pošto sam prešla sa bloggera na wordpress, uradila sam sve preusmjeravanje ali sad imam u google webmaster tools problem oko 404 errors koji drastično raste iz dana u dan, tačnije sad ih imam preko 1000.

Poštom u mene linkovi završavaju sa .html Zašto onda googlebot hvata linkove bez?

evo primjer:
najgora-nuklearna-katastrofa-u-americkoj-povijesti-za-koju-nikad-niste-culi.html

a u webmaster tools pronađem 404 error -
najgora-nuklearna-katastrofa-u-americkoj-povijesti-za-koju-nikad-niste-culi

Pokušala sam da nađem problem u izvoru sa kojeg dolazi link, međutim sva tri su ispravna.

Šta bi trebala dodati u robots.txt da goglebot hvata samo jednu verziju linka sa krajem .html

Radila sam i neke parametre međutim, ne smijem tamo ništa puno jer nisam sigurna.

Ovo ja moj robots.txt:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Disallow: /readme.html

Možete vidjeti na slici da puno linkova hvata bez .html

Any idea please?

 

[mrgood]

Redirekt nije dobro napravljen. To se ne radi sa robots.txt nego sa .htaccess fileom.

 

[nasy]

P nisam rekla da sam radila redirect sa robots.txt, ma dodavala sam u .htaccess sve što su mi rekli da trebam, nego ovdje je riječ o restrikciji u robots.txt šta google može indesirati a šta ne, e sad mene zanima šta treba dodati da google uzima samo URL-ove sa html krajem a ne bez html, jer one samo stvaraju 404...

Ako imaš neki prijedlog pucaj :crazy_grin

 

[sdsolunac]

I u mom slucaju je slicam problem oko starih stranica 404 .
Molim vas neka mi neko od iskusnijih kolega objasni zasto nije dobro uraditi rediction /preusmeravanje ?
Dosta je plugina u Worpress i dosta kolega koji tvrde da bas preusmeravanje nam pomaze od mnogih problema koji mogu nastati kod google ako koristimo robots ili .htaccess

 

[nasy]

Znaš šta, riješila sam probleme kada sam ubacila plugin 404 to 301

Pošto google voli preusmjeravanje na 301, eto ubacila sam i vremenom se sve brisale sa webmaster tools

Probaj, gubiš vrijeme na ganjanu rješenja a rješenje je vrlo jednostavno.