为什么列存储数据库读取速度会比传统的行数据库快

列存储的数据库更适合OLAP,行存储的数据库更适合OLTP所谓的快只是针对于进行olap操作而言。我们知道,数据在存储中的基本单位为页,这也是进行数据读取时候基本单位,一次读取就是一次IO操作。
列存储的数据库更适合OLAP,行存储的数据库更适合OLTP所谓的快只是针对于进行olap操作而言。我们知道,数据在存储中的基本单位为页,这也是进行数据读取时候基本单位,一次读取就是一次IO操作。
以行方式查询(在有适当的索引情况下),那么,执行一次以上查询,只需要扫描一次page1就可以了。
以列方式查询,需要投其扫描page1 和page2共2次,分别取得字段1,字段2的单行值。
OK,我们换成olap的典型查询
select avg(字段2) from table
–(注意,这里假设字段2为一个整型数据,而且无where条件限制,即需要扫描全部数据)
对于行存储,这个查询需要两次IO将全部数据放入内存后,进行页间数据的跳读(类随机读取),对于列存储,只需要一次IO将page2放入内存后进行连续读取,如果字段2还有多页的话,也都是进行的物理连续读取
也就是说,在进行olap操作时候,不仅是减小了IO次数,而且把随机读取变为了连续读取。
列式存储把相同类型的数据归在一起,压缩比可以很高,通常能到10%~25%。数据库的瓶颈通常在IO,很高的压缩比,可以大大减轻数据读取的压力,提高响应速度。
除去字符串类型,其他类型的字段通常是固定长度的,而且在磁盘和内存的字节顺序通常是一致的,可以直接映射,省去了解析的过程。而在行存储中,只要有变长的字段存在,需要逐行逐字段的解析。
延伸阅读:
在读取数据时,SQL Server每次都把所需数据所在的整个Page读取到内存中,Page是数据读取的最小单位。如果采用行存储,每一个Page都存储所有列的数据,每行的Size决定了单个Page能够存储的数据行数量。
我们可以粗略计算一下,如果一个数据行有10列,每列的平均Size是10B,一行的Size是100B,那么单个Page非常多存储80行(8060B/100B);如果采用列存储模式,那么单个Page可以存储806行(8060B/10B)。就单个Page存储的数据行数量而言,列存储是行存储的10倍,SQL Server引擎把一个Page读取到内存中,能够获取的数据行数量成10倍增加。
因此,采用列存储模式时,每一个Page能够存储更多的数据行。在加载列存储数据时,SQL Server只需要消耗少量的IO,就能把某一列的全部数据加载到缓存中。当从列很多的大表中读取几个列时,相比传统的行存储(Row Store)模式,列存储(Column Store)能够成千上万倍地提高数据的读取速度和查询性能。
最后建议,企业在引入信息化系统初期,切记要合理有效地运用好工具,这样一来不仅可以让公司业务高效地运行,还能最大程度保证团队目标的达成。同时还能大幅缩短系统开发和部署的时间成本。特别是有特定需求功能需要定制化的企业,可以采用我们公司自研的企业级低代码平台:织信Informat。 织信平台基于数据模型优先的设计理念,提供大量标准化的组件,内置AI助手、组件设计器、自动化(图形化编程)、脚本、工作流引擎(BPMN2.0)、自定义API、表单设计器、权限、仪表盘等功能,能帮助企业构建高度复杂核心的数字化系统。如ERP、MES、CRM、PLM、SCM、WMS、项目管理、流程管理等多个应用场景,全面助力企业落地国产化/信息化/数字化转型战略目标。 版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们微信:Informat_5 处理,核实后本网站将在24小时内删除。版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系邮箱:hopper@cornerstone365.cn 处理,核实后本网站将在24小时内删除。
相关文章推荐
低代码开发是一种创新的应用开发模式,它通过可视化界面、预置组件和拖拽式操作,让用户无需编写大量代码即可快速构建应用。
织信低代码作为国内主流的企业级低代码开发平台之一,为企业提供高效、便捷的应用开发解决方案。
· 数据引擎:支持多达9个大类、37种字段组件,拖拽即可生成对应表单,满足企业多样化的数据管理需求。
· 流程引擎:采用可视化拖拽+连线操作,遵循BPMN2.0规范,支持多种流程模式,帮助企业实现业务流程的自动化管理。
· 权限引擎:提供团队、应用、数据三级权限管控,保障数据安全与业务合规。
· 自动化蓝图:支持可视化搭建业务流程。
· JavaScript脚本:支持前端业务逻辑开发。
· Java扩展包:支持后端复杂业务逻辑开发。
· 自定义API:支持与第三方系统集成。
织信低代码平台提供丰富的组件和模板,用户可以根据企业需求灵活配置应用,快速构建符合企业业务需求的应用系统。同时,织信低代码平台支持与第三方系统集成,实现数据的共享和业务的协同,打破数据孤岛,提升企业运营效率。
各行业用户的共同选择







