[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

robots.txt (Re: Debian JP master CVS www commits)

From: Fumitoshi UKAI <ukai@debian.or.jp>
Subject: robots.txt (Re: Debian JP master CVS www commits)
Date: Tue, 15 Aug 2006 13:25:10 +0900
List-help: <mailto:debian-www-ctl@debian.or.jp?body=help>
List-id: debian-www.debian.or.jp
List-owner: <mailto:debian-www-admin@debian.or.jp>
List-post: <mailto:debian-www@debian.or.jp>
List-software: fml [fml 4.0.3 release (20011202/4.0.3)]
List-unsubscribe: <mailto:debian-www-ctl@debian.or.jp?body=unsubscribe>
Organization: Debian JP Project
X-ml-info: If you have a question, send e-mail with the body "help" (without quotes) to the address debian-www-ctl@debian.or.jp; help=<mailto:debian-www-ctl@debian.or.jp?body=help>
X-ml-name: debian-www
X-mlserver: fml [fml 4.0.3 release (20011202/4.0.3)]; post only (only members can post)
X-original-to: debian-www@debian.or.jp
References: <20060814060501.3F939AFDBF@hp.debian.or.jp> <20060814061021.EAAF61A7AB7@xxxxxxxxxxxxxxxxxxxx> <20060815.104708.88999019.kise@xxxxxxxxxxx> <20060815022358.D406F1A7B42@xxxxxxxxxxxxxxxxxxxx>
Message-id: <8764gur5hx.wl%ukai@debian.or.jp>
X-mail-count: 09910
User-agent: Wanderlust/2.14.0 (Africa) SEMI/1.14.6 (Maruoka) FLIM/1.14.8 (Shij�) APEL/10.6 Emacs/21.4 (i486-pc-linux-gnu) MULE/5.0 (SAKAKI)

At Tue, 15 Aug 2006 11:23:58 +0900,
Kenshi Muto wrote:
> At Tue, 15 Aug 2006 10:47:34 +0900,
> KISE Hiroshi wrote:
> > あとは、robots.txtの件なのですが、どなたか理由をご存知ないですかね。
> > すべて拒否されているのでGoogleで検索もできないし、WebArchiveにも
> > 記録されません。
> 
> 最終mtimeは2002年6月20日付けで鵜飼さんが作成していますね。
> クローラでなんかひどい目にあったんだっけかな…。思い出せない。
> IRCでも特に見当たらず。

んー なんでしたっけかね。

とりあえず Googlebotと ia_archiver は許可するようにしておきます。
他に追加したほうがいいのってありますか?

-- 
鵜飼文敏

References:
- Debian JP master CVS www commits
  - From: Debian JP webadmin
- Re: Debian JP master CVS www commits
  - From: Kenshi Muto
- Re: Debian JP master CVS www commits
  - From: KISE Hiroshi
- Re: Debian JP master CVS www commits
  - From: Kenshi Muto

Prev by Date: Re: Debian JP master CVS www commits
Next by Date: Debian Web site Translation Update
Previous by thread: Re: Debian JP master CVS www commits
Next by thread: Re: Debian JP master CVS www commits
Index(es):
- Date
- Thread