背景交代：
现在在做一个毕设，目的从各个招聘网站上（比如智联招聘）爬取职位信息，并存到自己的数据库中。然后进行分析，去重。最后能利用这些数据给用户推荐职位，并绘制一些诸如职位在城市的分布，薪资情况等等的排名的图表出来。
使用的框架：
现在使用到的技术有 SpringMVC + Spring + Hibernate 框架。
分布式采用了比较简单的Hessian。
HTML爬取和分析使用的Jsoup。
数据库MYSql。
前端暂时打算使用Bootstrap 但是还没定是不是自己做，有可能采用修改免费模板的方式。
问题：
这是利用以上搭建的环境爬取2940个职位信息的耗时情况。
惨不忍睹。
想问一下在这种架构的情况下如何能提高程序的效率？
以下是爬虫部分的代码：
@Component
public class Spider_ZhiLian implements Runnable{
private WorkDao workDao;
private static Logger logger = Logger.getLogger(Spider_ZhiLian.class);
public Spider_ZhiLian(WorkDao workDao)
{
this.workDao = workDao;
}
public Spider_ZhiLian()
{
}
public void run() {
// TODO Auto-generated method stub
getJobs();
}
public void getJobs()
{
int total = 0;
Calendar a=Calendar.getInstance();
final String YEAR = a.get(Calendar.YEAR)+"-";
List<Work> list = new ArrayList<Work>();
Element errorElements = null;
long startTime = System.currentTimeMillis(); //获取开始时间
long downTime = 0;//下载时间
long thinkTime = 0;//解析时间
long saveTime = 0;//存入数据库时间
for(int t = 0;t<50;t++)
{
list.clear();
try {
long point1start = System.currentTimeMillis(); //下载一个页面的时间
Document document = Jsoup.connect("http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E9%80%89%E6%8B%A9%E5%9C%B0%E5%8C%BA&isadv=0&sg=91bdb06d4b2c4871a1000b75fe7002b7&p="+t+1).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31").post();
//System.out.println(document);
long point1end = System.currentTimeMillis(); //下载一个页面的时间
downTime += point1end-point1start;
long point2start = System.currentTimeMillis(); //解析一个页面的时间
Elements companyName = document.select("td.gsmc");//公司
Elements salary = document.select("td.zwyx");//月薪
Elements place = document.select("td.gzdd");//工作地点
Elements name = document.select("td.zwmc");//职位
Elements date = document.select("td.gxsj");//更新时间
Elements infomations = document.select("li.newlist_deatil_two");
//地点：重庆公司性质：股份制企业公司规模：1000-9999人学历：本科
//地点：重庆公司性质：民营公司规模：100-499人学历：不限职位月薪：15001-20000元/月
for(int i = 0;i< companyName.size() ;i++)
{
Work work = new Work();
errorElements = infomations.get(i);
String[] infos = infoSpliter(infomations.get(i).text());
work.setCompanyName(companyName.get(i).text());
work.setName(name.get(i).text());
work.setSalary(salary.get(i).text());
work.setPlace(place.get(i).text());
work.setCompanySize(infos[0]);
work.setDate(Date.valueOf(YEAR+date.get(i).text()));
work.setEducation(infos[1]);
work.setType(2);
work.setUrl(name.get(i).getElementsByTag("a").attr("href"));
total++;
list.add(work);
}
long point2end = System.currentTimeMillis(); //解析一个页面的时间
thinkTime += point2end-point2start;
long point3start = System.currentTimeMillis(); //存入页面的时间
workDao.saveWorkList(list);
long point3end = System.currentTimeMillis(); //存入页面的时间
saveTime += point3end-point3start;
} catch (Exception e) {
e.printStackTrace();
System.out.println(errorElements.text());
}
}
long endTime = System.currentTimeMillis(); //获取开始时间
logger.info("共有 " + total + "个职位，耗时： "+(endTime-startTime)/1000.0 + " 秒。 ");
logger.info("获取HTML耗时 "+downTime/1000.0 + " 秒。 耗时比重： "+ downTime*1.00/(endTime-startTime) *100 + "%");
logger.info("解析HTML耗时 "+thinkTime/1000.0 + " 秒。耗时比重： "+ thinkTime*1.00/(endTime-startTime) *100 + "%");
logger.info("存入数据库耗时 "+saveTime/1000.0 + " 秒。耗时比重： "+ saveTime*1.00/(endTime-startTime) *100 + "%");
logger.info("处理异常耗时 "+(endTime-startTime-saveTime-downTime-thinkTime)/1000.0 + " 秒。耗时比重： "+ (endTime-startTime-saveTime-downTime-thinkTime)*1.00/(endTime-startTime) *100 + "%");
}
//将网站中一串的信息处理成String数组的形式
private String[] infoSpliter(String info)
{
String[] result = new String[2];
String[] temp1 = info.split("公司规模：");
String[] temp2 = null;
if(temp1.length < 2)
{
result[0] = "未知";
}
else
{
temp2 = temp1[1].split("人");
result[0] = temp2[0];//人数(规模)
}
String[] temp3 = info.split("学历：");
String[] temp4 = temp3[1].split("职位月薪：");
result[1] = temp4[0];
return result;
}
}大家无视我弱智的时间统计方式吧。。。AOP还不太会用。。只能先这么统计一下了。
自己的想法：
最左面的电脑（也就是主机）来控制中间三台电脑的爬虫。
中间三台电脑和主机在同一局域网内，三台主机连接互联网爬虫的数据再通过内网传送到主机的数据库上。
我觉得这样的方式应该能提高不少速度。
还有一种想法是在各个爬虫节点上配置数据库，爬虫之后直接存在自己的数据库中，然后主机访问三个爬虫节点的数据库。但是有个问题是数据的重复问题。
最后：
很感谢您能看到这里。
大概就是以上的情况，希望有大神能提出宝贵的建议让我的程序提高些效率。不然这样上百万的数据真的会跑到崩溃。
或者不是效率问题，其他方面有好的建议也欢迎提出。
再次感谢！
你的耗时分析里已经指出了问题，“获取HTML耗时”占的比重是90%，再看你的代码，业务逻辑是
public void getJobs(){
...
for(int i=0;i<50;i++){
//生成url
//爬取页面
//解析内容
...
}
...
}
并不清楚SSH框架中如何处理这个'''getJobs()'''这个函数，但看起来是单线程的，耗时这么久也就不足为奇了。
所以，应该把下载页面和处理内容两部分的工作分开来。这就是一个生产者-消费者问题了啊：页面下载的功能是生产者，网络IO明显比处理页慢，可以多开几个线程来进行下载页面工作，放入队列里；内容的分析处理部分是消费者，从队列里拿出页面解析就好，看情况要不要多线程。