[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

robots.txt (Re: Debian JP master CVS www commits)



At Tue, 15 Aug 2006 11:23:58 +0900,
Kenshi Muto wrote:
> At Tue, 15 Aug 2006 10:47:34 +0900,
> KISE Hiroshi wrote:
> > ã‚ã¨ã¯ã€robots.txtã®ä»¶ãªã®ã§ã™ãŒã€ã©ãªãŸã‹ç†ç”±ã‚’ã”存知ãªã„ã§ã™ã‹ã­ã€‚
> > ã™ã¹ã¦æ‹’å¦ã•ã‚Œã¦ã„ã‚‹ã®ã§Googleã§æ¤œç´¢ã‚‚ã§ããªã„ã—ã€WebArchiveã«ã‚‚
> > 記録ã•ã‚Œã¾ã›ã‚“。
> 
> 最終mtimeã¯2002å¹´6月20日付ã‘ã§éµœé£¼ã•ã‚“ãŒä½œæˆã—ã¦ã„ã¾ã™ã­ã€‚
> クローラã§ãªã‚“ã‹ã²ã©ã„ç›®ã«ã‚ã£ãŸã‚“ã ã£ã‘ã‹ãªâ€¦ã€‚æ€ã„出ã›ãªã„。
> IRCã§ã‚‚特ã«è¦‹å½“ãŸã‚‰ãšã€‚

んー ãªã‚“ã§ã—ãŸã£ã‘ã‹ã­ã€‚

ã¨ã‚Šã‚ãˆãš Googlebot㨠ia_archiver ã¯è¨±å¯ã™ã‚‹ã‚ˆã†ã«ã—ã¦ãŠãã¾ã™ã€‚
ä»–ã«è¿½åŠ ã—ãŸã»ã†ãŒã„ã„ã®ã£ã¦ã‚ã‚Šã¾ã™ã‹?

-- 
鵜飼文æ•