现在的采集工具很多,看你们科研数据是结构化数据还是非结构化数据采集工具。结构化就是关系型数据库中的数据,如:mysql,Oracle,Sql server等数据库中的数据。非结构化数据比如你们医疗系统每天运行的日志,每件精密仪器运行产生的数据。
两类数据差异很大,采集的工具也不同采集工具。结构化数据看你采集存储到哪里。要是没有用到大数据技术,只能用kettle工具采集了。这个工具功能很大。采集导入到各种存储方式的系统中,也可以库对库,库对文件等。
非结构化的数据,这类数据只能用FTP工具来手动采集了采集工具。要是会脚本开发语言,写采集脚本也能实现。
总之,采集数据工具很多,就看是那一类数据了采集工具。随着计算机技术快速发展,现在的采集工具很好用,给楼主推荐几种:DataX,Sqoop,flume,kafka等。
这些技术都能实现各类数据相互导入导出。
加微信好友, 获取更多信息
复制微信号
声明
一、本站原创内容,其版权属于本网站所有。其他媒体、网站或个人转载使用时不得进行商业性的原版原式的转载,也不得歪曲和篡改本网站所发布的内容。如转载须注明文章来源。
二、本网站转载其它媒体作品的目的在于传递更多信息,并不代表本网站赞同其观点和对其真实性负责;如侵犯你的权益请告诉我们立即删除;其他媒体、网站或个人转载使用自负法律责任。
发表评论