身に覚えのない robots.txt によってサイトがブロックされている?

@niftyの無料ホームページサービス@homepageが9月でサービスを終了するため、新しいURLに佐野カイロのサイトを移転しました。

旧URL http://homepage2.nifty.com/s-chiro/

新URL http://sanochiro.com/  

これらサイトの管理をするためにGoogleのウェブマスターツールに時々アクセスしているのですが、今日アクセスしてみると、
robot-txt.png
旧サイト http://homepage2.nifty.com/s-chiro/ のプロパティについて、
「プロパティの健全性に重大な問題が発見されました。」

なんて表示があるではありませんか!!

何これ??

右側の「プロパティの健全性の確認」をクリックして表示されたのがこれ
robot-txt2.png

「重要なページがrobot.txtによってブロックされています。」ってどういうことよ・・?

「robot.txtが重要なページをブロックしているかどうかをチェック」をクリックすると、
robots.txt テスター が表示されます。

「テスト」のボタンをクリックすると、こうなります。

robot-txtc.jpg

この赤線部分の記述によって、佐野カイロのサイトへの検索エンジンのアクセスがブロックされているようです。

右上の「公開済みの robot.txt を表示する」をクリックしたところ、ブラウザにこのように表示されます。

robot-txt.jpg

URLの欄の記載は、「 http://homepage2.nifty.com/robots.txt 」となっています。

私のサイトのURLは、 http://homepage2.nifty.com/s-chiro/ で、

http://homepage2.nifty.com/s-chiro/・・・・・ の「/・・・・・」
の部分にアクセスしてホームページの情報を書き込んだhtmlファイルをアップロードしていて、
その上の階層にはアクセスすることが出来ません。
そこにこの robot.txt が存在するようです。

私にはどうすることも出来ないようです。
それに、こんな記述の robot.txt がそこにあったら、私だけでなく、@homepageを利用して、http://homepage2.nifty.com/・・・・・/という名前でホームページを作っている人が皆検索エンジンからのアクセスをブロックされてしまいます。

早速、@niftyのサポートに電話して、対応をお願いしました。

この robot.txt を削除してくれるのか・・、記述を変更してくれるのか・・。

早急に対処してくれることを期待しています。
ps. @niftyのサポートのお姉さんの対応は、とても親切でした。
コメント

同じくrobots.txtの件で悩んでます。

ウェブマスターツールは毎日見ています。本日(2/18)朝見た時に同じ現象が起きてました。一つ独自ドメインに移したのですが、まだ二つあるので移行中ですが、このrobots.txtでブロックされると、無料HP閉鎖よりも前に大きく影響がでそうです。検索していたらこのページが見つかりました。niftyのサポートに電話されたそうですが、どんな感じでしたか?私も明日電話してみようと思いますが、今はもう終了中で駄目です。対処してくれえそうでしたか?。勝手な書き込みで申し訳ありません。

Re: 同じくrobots.txtの件で悩んでます。

坂井さん、コメント有り難うございます。

robots.txt の設置されている場所が、http://homepage2.nifty.com/robots.txt ですから、

@homepageサービスの http://homepage2.nifty.com/・・・・ のホームページ全てに影響しているのだろうと思います。

@niftyのサポートのサポートの方からは、
「 robots.txt は通常そこに設置されていて・・・」「先ずは、Googleのサポートに相談を・・」

と言われたのですが、
Googleのサポートだと、電話対応というわけにはいかないこと、
そもそも、この http://homepage2.nifty.com/robots.txt に書かれている内容が、おかしいことを説明して、@niftyで対応してもらうことになりました。

この robots.txt を削除するのか、記述を替えるのか、最終的にどのような対応をしてくれるのか分かりませんが、1週間以内くらいで結果について電話連絡をくれることになっています。

私だけでなく、多くの方から苦情の電話が行けば、よりしっかり対応してくれると思いますので、是非、坂井さんからも電話してみてください。

結果が出たら、またブログでアップすると思います。

佐野 明文

> ウェブマスターツールは毎日見ています。本日(2/18)朝見た時に同じ現象が起きてました。一つ独自ドメインに移したのですが、まだ二つあるので移行中ですが、このrobots.txtでブロックされると、無料HP閉鎖よりも前に大きく影響がでそうです。検索していたらこのページが見つかりました。niftyのサポートに電話されたそうですが、どんな感じでしたか?私も明日電話してみようと思いますが、今はもう終了中で駄目です。対処してくれえそうでしたか?。勝手な書き込みで申し訳ありません。

その後の経過です

本日2/20お昼にniftyから電話が有り、いろいろ調べましたが、こちらでは原因が分かりません。グーグルの仕様変更が有ったのかもしれませんので、そちらにご相談くださいとの・・全く筋違いの返事で打ち切られかけました。原因が分かりません・・あれほどnifty.com/robots.txtを見せて(通常の検索のアドレスに入れると出てきます)、HP1,HP2、HP3の全てのrobots.txtファイルを見せてこの上2行でブロックされていますので、このファイルを消すか、二行のみでも消してくださいと頼んだのですが、2013年からずっとこのままなので出来かねます・・とのこと・・。このままブロックされ続ければ、全てのHPが検索から消えますよ・・と言ってもこちらではどうしようも有りません・・、何でしょう、niftyのシステムは外注なのでしょうか?原因と場所が分かっているのに、分かりません???の連呼!。食い下がって最後明日電話しますとのことでした。何か期待薄です。そちらは連絡ありましたか?

Re: その後の経過です

坂井さん、経過報告有り難うございます。

@niftyから私の所へは、今のところ報告がありません。

今のとろろ、@niftyの対応は残念ですね。

ブログ記事の画像を見たら分かりますが、この robots.txt のバージョンは
2016/02/07 0:02 となっています。
この時間帯に更新されているという意味に取れます。

ですから、@niftyで「2013年からずっとこのまま」のつもりでいたとしても、誰かが更新していることになると思います。

もし、@niftyが本当に「2013年からずっとこのまま」手をつけていないのに、このファイルが更新されているとしたら、サーバーのデータが勝手に改ざんされているという事で、ある意味大問題だと言えるかもしれません。

私たち利用者では更新できないファイルであること。
多くの利用者に迷惑がかかっていること。・・・他の利用者は気がついていないのでしょうか?

などから、早急に対処してほしいものです。

robots.txt を

User-Agent: *
allow: /

の2行に書き換えてくめるだけで、問題解決だと思うのですが・・・・

三回目の連絡が有りました。

本日の11時ころに男の人から電話が有りました。相変わらず2013年からniftyでは何もしておりません・・ただいま調査中でまたお電話します・・とそれだけでした。先ほど@niftyのメンテナンス情報をみたら2月18日の10:00~13:00までシステムメンテナンスを実施します・・とあります。丁度この問題が起きたのが18日ですから関係あるかもしれませんが・・、でも私がウェブマスターツールにアクセスしたのが9時過ぎですから、その時はすでにブロックされていましたから関係ないかもしれませんが・・。その前が2013年10月1日でniftyの言う日付はこれだと思います。3年ぶりのシステムメンテですからその時に何かした可能性が一番高いような気がします。まあ、システムメンテは10時からとしても準備は随分前からしているでしょうし、robots.txtを入れるくらいすぐですから、時間前に作業した可能性も十分あります。早く解決してほしいのですが・・、なんでniftyが2013年からかまっていませんと言うのでしょうか?18日のシステムメンテを知らないのでしょうか?

Re: 三回目の連絡が有りました。

坂井さん、経過報告有り難うございます。

日曜日でも連絡してくれたんですね。

「相変わらず2013年からniftyでは何もしておりません・・ただいま調査中でまたお電話します・・」

>・ただいま調査中でまたお電話します・・

ここのところに期待したいですね。

2013年から今までに@niftyが何かをしたかしないかということも大事かもしれませんが、
現状、robots.txt の記載は、我々のホームページへの検索ロボットのアクセスをブロックをするような記載になっているわけです。
そのことは、robots.txt についての知識が多少なりある人が見れば分かりますし、私のように、これまでほとんど知識の無かった人ですら少し調べれば分かることです。

それによって、現在、利用者が迷惑しているのですから、それに対して対応するのが当然と思われます。

サーバーの中の robots.txt を書き換えるだけで解決できるのに・・・

サーバー管理者の@niftyがすぐにやってくれないの? サーバーにアクセスできないの?
その知識、能力のある人がいないの?

全く理解できない状態ではあります。

しっかり対処して、電話してくれることを期待しましょう。

解決したみたいですね・・

やっとniftyが対応してくれたみたいですね。気が安らぎました。
メインサイトはすでに移転して、リダイレクトをかけ通常のアクセス数約5000を維持して、若干落ちたキーワードはあるのですが、今のところリダイレクトが効いて9月29日まではアクセスを維持できそうです。その後は不安ですが…。ロボットをブロックされると、リダイレクトの効果も無くなりますし、まだ3つサイト移動しなければならない時に、ブロックとは・・・焦りました。なんせここで生活を立てているので・・@homepage閉鎖はいつか来るとは覚悟していたのですが、めまいがしました。まあ、一週間で順調に旧サイトのアクセスが無くなり、新サイトに移り、リンクも(15年分)旧サイトを中間点として移り安心していた所に・・これですから・・。焦りました。

いろいろ情報とか教えていただき有難うございました。ここのページが無ければ一人で苦しんでいたと思います。感謝しています。では、また縁があれば…。

Re: 解決したみたいですね・・

坂井さん、コメント有り難うございます。

今回の件、本当に不可解な出来事でした。

何が不可解かって・・・

「Google側にエラーがあった」とGoogle側でアナウンスしているからです。??

https://productforums.google.com/forum/#!topic/webmaster-ja/IlBHkBZgHZ0;context-place=forum/webmaster-ja
コメントの投稿
管理者にだけ表示を許可する

SEO対策: カイロプラクティック 整体 腰痛 予防 下伊那郡