八月31日，一个连续运转了五年，提供优质的服务和合理的价格的网站托管公司Jatol.com消失了，使得上百人不能进入他们的网页和邮箱。有一种说法是Jotal没有向其主机Fastservers支付费用，因此Fastservers关掉了Jotal网站。然而笔者说Jotal已经向客户收集到了九月需要缴纳的费用。因此使得此事变得扑朔迷离。

　　J-Spider:是一个完全可配置和定制的WebSpider引擎.你可以利用它来检查网站的错误(内在的服务器错误等),网站内外部链接检查，分析网站的结构(可创建一个网站地图),下载整个Web站点，你还可以写一个JSpider插件来扩展你所需要的功能。　　http://j-spider.sourceforge.net/

Web Spider开源引擎:J-Spider

　　Arachnid:是一个基于Java的webspider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Webspiders并能够在Web站上的每个页面被解析之后增加几行代码调用。Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。　　http://arachnid.sourcef ..

web spider开源框架:Arachnid

　　spindle是一个构建在Lucene工具包之上的Web索引/搜索工具.它包括一个用于创建索引的HTTPspider和一个用于搜索这些索引的搜索类。spindle项目提供了一组JSP标签库使得那些基于JSP的站点不需要开发任何Java类就能够增加搜索功能。　　http://www.bitmechanic.com/projects/spindle/

Web索引/搜索开源工具:spindle

web爬虫 WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

Web站点下载与镜像开源工具:WebLech