食品安全追溯系统平台涉及的数据量巨大,平台数据库包含各种空间数据、报表统计数据、文字、声音、图像等各种采样和汇总数据信息,如何实现快速地从这些超大容量的数据库中提取数据(查询)、分析、统计以及提取数据后进行数据分页,成为追溯系统成功实施需解决的关键技术之一。追溯系统海量数据处理由于数据量过大,数据处理复杂,软硬件要求较高,系统资源占用率高,处理方法和技巧较高而实现难度较大。
在优化追溯系统海量数据处理中,为提高数据处理的速度,选用微软最新数据库管理系统SQL Server 2005数据库,对处理海量数据的程序代码进行优化,对追溯平台的海量数据进行分区操作处理,以提高食品追溯系统海量数据处理的速度。例如针对按年份存取的数据,按年进行分区,不同的数据库有不同的分区方式,不过处理机制大体相同。并使用数据仓库和多维数据库存储追溯数据,使用采样数据进行数据挖掘操作,对海里数据采集进行预处理,优化查询语句,提高追溯系统的性能及追溯查询的处理速度。 |