1、删除不要的链接
2、获取有用的链接
有用的链接中就包括绝对路径的链接和相对路径的链接,处理方式如下
1、绝对链接直接获取
2、例如 “/cat.html” 的链接转换成 域名+/cat.html 获取
3、例如 “cat.html” 的链接转换成 当前路径+cat.html 获取
4、还有一些例如 “../../cat.html” 的链接同样处理
所以从搜索引擎角度来看，这些链接都一样，到其数据库中的都是一个完整的链接，而且链接转换是蜘蛛必备的基本功能，不会给蜘蛛造成任何不顺，所以从SEO的角度看，两种路径在搜索引擎眼中是完全一样
下面看看两种路径的优缺点
绝对路径URL优点是：
1、如果有人采集你的网站，里面的链接还会指向你的网站
2、就算你移动网页位置，里面的链接还是指向正确的URL缺点，程序不利于测试，因为上面的链接都是绝对链接，放到服务器下才好测试
相对路径优点是：
1、移动内容比较容易
2、测试容易
缺点
1、页面位置发生变化时，链接容易失效
2、更容易被抄袭和采集
不过现在的采集软件大多可以鉴别绝对路径和相对路径。有的会直接去掉这些链接，所以绝对路径也并不是对采集一直都有效果，也有人说相对路径可以减少网页的体积，的确如此，不过也减少不了多少。
两种其实差不多，我还是比较推荐相对路径，较为方便!!!
