首页 > 爬虫爬取的数据如何可视化?

爬虫爬取的数据如何可视化?

我最近爬了一个熊猫tv的一些数据,比如主播id和竹子数来进行比较。

现在这些数据我是保存为csv文件,然后用的语言是python。

现在我把他部署到了主机上,每天8pm爬取一次。

那么我如何展现这些数据呢?好疑惑,现在暂时有以下想法。

  1. csv直接变成html表格

  2. 使用类似jinja2之类的模板

  3. 将数据存储起来,用js处理,正好做个网站(本人学了一丢丢前端知识)

最后放上github地址:panda-bamboos-rank


最近帮别人处理过类似的一些数据可视化的内容,提供一点思路:

所谓可视化,肯定不单纯是变成简易的表格展示数据,而是要在数据的基础上做出二次加工,让数据更加“易懂”。所以主要就是加工数据和展示数据两方面。

加工数据:
如果你已经保存成了csv表格,那么可以将csv导入到数据库中,借助数据库高效的处理能力帮你加工数据,数据量越大,数据库的作用越明显。
当然,更简单的方法是用Python直接连接数据库进行储存,更灵活,可选的数据库也更多。

展示数据:
主要取决于你展示给谁看?传统的方式例如你处理好了数据,用一些制图工具加工成对应的图片。更现代的方式是用一些前端类库将数据加工成可交互的图表,利用网页的形式进行展示,相比之下更加灵活。
前端图表库的话,highcharts.js和echarts.js大而全,chart.js较小巧。不过我是d3.js忠实拥趸,d3到v4之后已经模块化,非常灵活。

【热门文章】
【热门文章】