怎么查看蜘蛛的爬行记录

来源 : 作者 : admin时间 : 2014-07-09 21:26:45 人气指数 :

导语首先要启用IIS日志功能请按照下列步骤操作：1 打开 IIS。为此，请单击开始，指向程序，指向管理工具，然后单击 Internet 服务管理器。2 单击您的服务器名称旁边的加号 (+)。3 右键单击网站或 FTP 站

首先要启用IIS日志功能
请按照下列步骤操作：
1. 打开 IIS。为此，请单击开始，指向程序，指向管理工具，然后单击 Internet 服务管理器。2. 单击您的服务器名称旁边的加号 (+)。
3. 右键单击网站或 FTP 站点，然后单击属性。
4. 在 Web 站点或 FTP 站点选项卡上，选择启用日志记录。
5. 在活动日志格式列表中，选择一种格式。默认情况下，启用日志记录处于选中状态，格式为 W3C 扩展日志文件格式，并且为日志记录启用了下列字段：时间、客户端 IP 地址、方法、URI 资源及 HTTP 状态。选择要在日志中监视的项目，如果不想对监视进行自定义，请保留默认设置。注意：如果您选择的格式是 ODBC 日志记录，请单击属性，然后在文本框中键入数据源名称和数据库内表的名称。如果访问数据库需要用户名和密码，请键入它们，然后单击确定。
6. 单击应用，然后单击确定。

IS 的WWW日志文件默认位置为 %systemroot%\system32\logfiles\w3svc1\，（例如：我的则是在 C:\WINDOWS\system32\LogFiles\W3SVC1\），默认每天一个日志。
你自己去看一下，如果服务器不是你的，你去跟服务商问一下

主机的IIS日志里面可以查看。1. Google爬虫名称 1） Googlebot：从Google的网站索引和新闻索引中抓取网页 2） Googlebot-Mobile针对Google的移动索引抓取网页 3） Googlebot-Image：针对Google的图片索引抓取网页 4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense广告的情况下，Google才会使用此漫游器来抓取您的网站。 5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords为你的网站做广告的情况下，Google才会使用此漫游器。 2. 百度（Baidu）爬虫名称：Baiduspider 3. 雅虎（Yahoo）爬虫名称：Yahoo Slurp 4. 有道（Yodao）蜘蛛名称：YodaoBot 5. 搜狗（sogou）蜘蛛名称：sogou spider因为咱们国内比较关注百度所以我们来分下百度的蜘蛛，从刚刚记录的日志搜索“Baiduspider+“选取一段00:00:06 GET