现在的采集工具很多,看你们科研数据是结构化数据还是非结构化数据采集工具。结构化就是关系型数据库中的数据,如:mysql,Oracle,Sql server等数据库中的数据。非结构化数据比如你们医疗系统每天运行的日志,每件精密仪器运行产生的数据。

两类数据差异很大,采集的工具也不同采集工具。结构化数据看你采集存储到哪里。要是没有用到大数据技术,只能用kettle工具采集了。这个工具功能很大。采集导入到各种存储方式的系统中,也可以库对库,库对文件等。

非结构化的数据,这类数据只能用FTP工具来手动采集了采集工具。要是会脚本开发语言,写采集脚本也能实现。

总之,采集数据工具很多,就看是那一类数据了采集工具。随着计算机技术快速发展,现在的采集工具很好用,给楼主推荐几种:DataX,Sqoop,flume,kafka等。

这些技术都能实现各类数据相互导入导出。

微信号:956602803
加微信好友, 获取更多信息
复制微信号