首页 > 分布式系统下的文件访问

分布式系统下的文件访问

java应用,上线时要布多个节点,但是需要访问一些数据,这些数据量一般都是几个G,一两个月更新到次,不适合放到数据库,目前的方式是window共享,但是经常碰到权限问题,而且也想让这种访问尽量平台无关,有没有什么轻量点的办法?


我分享下我的做法

数据文件、数据文件的版本号、数据文件的MD5值这三个文件放在FTP上,应用启动的时候根据版本决定是否要拉最新的文件到本地,根据MD5值判断文件是否已经损坏。

1、版本落后或MD5损坏的文件必须重新拉去,至于你是不分加还是全部载到内存中,取决于你的应用场景。
2、配置监控项,扫描所有应用上文件的版本号和MD5值,确保所有系统上都拿到正确的文件版本
3、应用启动要做限制,通用的做法是利用Spring初始化Bean的时候是单线程方式,或者你可以做一个异步加载,但要记得做好内存锁。
4、应用设定一个扫描间隔,定期扫描FTP上文件版本和MD5是否需要更新

当然咯,我已经形成一个小框架了,专门用这个框架来同步偏静态的大数据。略重,但性能杠杠的。


可以考虑分布式存储挂载应用主机目录读取。


windows共享?看来是部署在windows下的啊,厉害!
共享磁盘方式最好

【热门文章】
【热门文章】