性能优化

TPCH10G 测试：OceanBase TiDB Oracle SPL | 性能优化

前几天听说 OceanBase 打榜了 TPCH 的第一名，之后又看到这样一个测试报告[链接]。 先点评一下这个测试报告： 1. 坦白地说，这个测试还不太专业，并不能比出分布式大数据…

多维分析后台实践 8：主子表及并行计算 | 性能优化

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标，是在完成前几期优化的基础上，用有序归并或一体化存储来实现主子表…

多维分析后台实践 7：布尔维度和二值维度 | 性能优化

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标，是在完成前几期优化的基础上（特别是上期的分支机构维度序号化），…

多维分析后台实践 4：预汇总和冗余排序 | 性能优化

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标，是在前期基础上实现预汇总和冗余排序，继续提升计算速度。 实践的步…

多维分析后台实践 5：小事实表关联小维表 | 性能优化

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是在前面几期基础上，将客户宽表中最近一天的新客户数据与分支机构等…

多维分析后台实践 3：维度排序压缩 | 性能优化

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article}实践目标 本期目标，是在完成数据类型转化基础上，实现维度排序压缩，进一步提升计算速度…

多维分析后台实践 2：数据类型优化 | 性能优化

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是练习将数据库读出的数据，尽可能转换为有利于性能优化的数据类型，…

多维分析后台实践 1：基础宽表 | 性能优化

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 多维分析后台实践 1：基础宽表 实践目标 本期目标是练习如何搭建多维分析后台的基础宽表…

枚举维度与二值维度切片的优化 | 性能优化

【摘要】 多维分析（OLAP）中常见的枚举维度切片（过滤条件 in）和二值维度（是否型过滤条件）如何优化？点击了解 ${article} 问题描述 多维分析（OLAP）系统的汇总和切片…

高并发账户记录查询 | 性能优化

【摘要】 面对高并发账户记录查询问题，按照本文的介绍一步一步操作，就能有效提升性能。点击了解 ${article} 问题描述 高并发账户记录查询在银行、互联网企业、通信企业…

外存有序去重 | 性能优化

外存去重，如果数据对去重字段是有序，而且结果集很大，可以用 cs.group。但是 group 依然会生成分组子集，所以用 cs.group@1，取每一个分组的第一条记录组成排列后返回（…

OLAP 服务器，空间换时间可行吗？ | 性能优化

【摘要】 全量预汇总真的是提高 OLAP 性能的可行方案吗？点击了解 ${article}          多 ..

批量随机键值的查询优化 | 性能优化

一、    问题描述 键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立…

我们怎样把 X 银行用户画像客群交集计算提速 200+ 倍 | 性能优化

【摘要】 X 银行把上亿客户划分为几千个客群，要计算任意几个客群的交集，还要按照维度过滤，还要秒级响应？点击了解 ${article} 问题描述 X银行用户画像应用中，需要完成…

我们怎样把 S 银行 POS 机交易报表提速 30+ 倍 | 性能优化

看看问题 S银行POS交易情况报表很慢，业务人员要等待一个多小时（3700秒）才能看到结果，严重影响业务。报表表样如下： [图片] 解决步骤 首先，要理解业务和计算特征。POS…

我们怎样把 L 银行贷款协议跑批速度提高 10+ 倍 | 性能优化

【摘要】 L 银行贷款协议存储过程执行需要 2 个小时，严重影响整个跑批任务！如何破解？点击了解 ${article} 问题描述 L银行跑批任务包含很多存储过程，其中“对公贷款协议…

我们怎样把 S 银行手机账户查询从预先关联变成实时关联 | 性能优化

【摘要】 S 银行的手机银行活期明细查询后台是 Elastic Search，营业单位代码表要通过预先关联冗余到明细宽表中。当营业单位发生变更时，必须刷新几亿条数据量的大表，耗…

我们怎样把 C 银行资金头寸报表提速 20+ 倍 | 性能优化

【摘要】 C 银行的资金头寸报表很慢，严重影响业务，如何解决？点击了解 ${article} 看看问题 C银行有个资金**报表很慢，业务人员要等待1分30秒才能看到结果。资金**报表…

我们怎样把 B 银行自助分析从 5 并发提升到 100 并发 | 性能优化

【摘要】 B 银行自助分析系统只能支持 5 并发，造成大量业务人员长时间等待。如何破解？点击了解 ${article} 现状分析 B银行的电子银行自助分析系统，需要查询指定日期的…

我们怎样把 T 银行贷款跑批任务提速 150+ 倍 | 性能优化

【摘要】 互联网贷款产品指标跑批任务耗时 7.9 小时，亟需优化！点击了解 ${article} 问题说明 T银行通过某互联网渠道对客户发放贷款。放款、还款明细数据存放在Mysql中，…

我们怎样把 P 保险公司 2 小时的跑批优化成 17 分钟 | 性能优化

【摘要】 新增保单关联历史保单的跑批任务非常耗时，点击了解 ${article} 问题描述 P保险公司的车险业务中，需要用往年历史保单来关联新的保单，在跑批中称为历史保单关联…

我们怎样把 C 保险公司团保明细单查询提速 2000+ 倍 | 性能优化

【摘要】 只用了一天的时间，就把明细查询提速 2000 多倍，真的很香！点击了解 ${article} 问题描述 C保险公司业务系统中，团体保险明细查询速度很慢。查询时输入保单号，…

我们怎样把 W 银行预计算固定条件查询优化成实时灵活条件查询 | 性能优化

【摘要】 每个指标计算都涉及到千万数据量大表的关联、条件过滤、分组汇总、去重计数等多种混合运算，而 3 秒钟要计算 2000 个指标！究竟如何做到？点击了解 ${article} …

性能优化技巧：前半有序时的排序 | 性能优化

一、    问题背景与适用场景 在对数据集进行排序运算时，有时会遇到这样一种场景：数据集T已经按字段a有序，而字段b无序，现在我们要将T按a、b排序，我们称之为…

性能优化技巧：后半有序分组 | 性能优化

一、    问题背景与适用场景 什么是后半有序？如果数据集T已经按字段a、b有序，现在我们要将T按b排序或分组时，因为在a值相同的段内，b都是有序的，这种要排序…

大数据量 - 明细表自关联 - 分段汇总性能优化 | 性能优化

【摘要】 大表自己关联自己的情况是比较常见的需求，关系数据库实现起来性能不尽如人意。有没有更好的计算方法，可以快速计算大数据量明细表的自关联性能问题？点击 ${art…

性能优化技巧：有序分组 | 性能优化

一、    问题背景与适用场景 通常分组计算都采用hash方案，即先计算分组字段的hash值，hash值相同的记录被分拣到一个小集合里，然后在这个小集合中遍历找分组字…

轻量级多维分析后台 | 性能优化

集算器提供了标准的 JDBC\ODBC 驱动，实现了规范的元数据接口，支持常见的 JAVA\ 非 JAVA BI 工具。集算器以高性能文件存储和高效压缩存储为基础，支持宽表预汇总、关联表…

性能优化技巧：大事实表与大维表关联 | 性能优化

一、    问题背景与适用场景 在《[链接]》中，我们尝试了小事实表与大维表关联时的性能优化方法，该方法利用了小事实表可以装入内存的特点，将关联键汇集排序后…

性能优化技巧：小事实表与大维表关联 | 性能优化

一、    问题背景与适用场景 在主子表关联查询中，有时会遇到这样一种情况：按条件过滤后的事实表数据量很小，能够全部装载进内存或仅比内存略大一点；而要关联…

性能优化技巧：附表 | 性能优化

一、    问题背景与适用场景 在《[链接]》中我们见证了有序归并算法提升主子表的关联性能，在集算器中，还有进一步提高性能的办法—附表。集算器组表支持主子表…

性能优化教案 - 集群 | 性能优化

【简介】 本文采用集算器集群架构，由浅入深，由繁化简，分别讲述了如何快速高效地实现多机并行，集群计算。 [图片][图片][图片][图片][图片][图片][图片][图片][图片][图…

大数据量 - 大量标签组合指标 - 实时计算方案 | 性能优化

【摘要】 随着指标维度、标签的不断增加，组合出来的各种指标数量增长很快，甚至指标泛滥。海量的指标无法做到预先算好并存储，但实时计算又无法达到秒级响应的速度。如何…

高性能内存数据库 | 性能优化

【摘要】 内存数据库是高性能结构化数据计算的重要解决方案，但实际项目中总会存在诸多不足，比如内存占用大、硬件成本高、架构复杂、开发效率低、性能提升不明显。如何解…

高并发 - 有关联查询 - 性能优化 | 性能优化

【摘要】 海量用户会带来高并发有关联查询，例如：网上银行、手机银行、手机营业厅、手游网游等等。数据量巨大，还要关联机构表等维表，如何保证秒级的查询速度？点击 ${a…

集算器打开文件的时间不可忽略 | 性能优化

linux 打开组表文件的时间，实际测试要 10-20 毫秒。 主要原因是操作系统要按照目录去找文件。 所以性能要求非常严格的时候，要尽量减少文件的个数。 oracle 没有打开文件…

大批量 - 大客群交集统计 - 性能优化 | 性能优化

【摘要】 用户客群（标签）多的可以达到几千个，每个客群可能包括几十万甚至上千万的用户。要统计几个客群共同用户，同时要按照客户维度过滤。以 SQL 为基础的数据库技术…

性能优化教案 - 多维分析 | 性能优化

【摘要】 多维分析是针对一个事先准备好的数据立方体实施旋转、切片（切块）、钻取等交互操作的过程，经常也被直接称为 OLAP（On-line Analysis Processing）。OLAP ..

集算器助力 ireport | 性能优化

在使用 Jasper 报表工具制作报表时，常常会遇到数据来自多个数据源的情况，通常的做法是使用主子报表或者使用javabean作为数据源。使用主子报表通常会增加报表设计的复杂…

如何利用索引提高性能 | 性能优化

【摘要】         本章我们讨论了关系数据库中普通的键值索引存在的弱点，以及如何进行物理设计以提高性能，如 ..

格间计算性能提升方案 | 性能优化

一般情况下，如果报表中存在很多格间计算（即单元格之间的关联计算），那么通常会影响报表性能。这是因为： 1、格间计算很难分步骤编写，导致运算过程很难优化。 2、格间…

润乾报表实现中间数据外置 | 性能优化

绝大多数报表项目的数据库中，除了支撑系统运行的业务数据表之外，实际业务还可能产生很多中间表。业务数据表是报表系统的核心和基础，是支持报表系统运行的持久化数据层…

润乾报表实现计算过程性能优化 | 性能优化

当报表出现性能问题，需要对数据源计算进行优化时，控制执行路径是一种有效的方法，但也是阻碍优化的难题。这是由于数据库执行路径不透明，程序员很难甚至无法干预执行路…

高性能计算应用场景 | 性能优化

【摘要】 遇到这些场景，慢的让人崩溃？集算器为您加速！点击 ${article} 获得极速体验！ 本文预计阅读时间 3 分钟。 [图片] [图片] [图片] [图片] [图片] [图片] [图 ..

多数据源报表性能优化方案 | 性能优化

润乾报表支持在同一报表内使用不同类型的数据源，包括 RDB、TXT 文本、Excel、JSON、HTTP、Hadoop、mongodb 等。润乾报表中使用混合数据源不必依赖第三方程序（如 JA ..

混合异构数据源关联计算优化方案 | 性能优化

在报表项目中，报表数据源常常会来自于多种异构数据源，例如：关系型数据库（oracle、db2、mysql）、nosql 数据库（mongodb）、http 数据源、hadoop（hive、hd ..

带隐藏格报表的性能优化方案 | 性能优化

报表中可以通过隐藏格进行有效的辅助计算，但如果报表携带大量隐藏格，又会对性能产生很大影响。这是因为大量隐藏格会占用内存、降低运算速度。而且隐藏单元格除了单元格…

存储过程性能低怎么破？ | 性能优化

报表应用中实现数据源计算经常会使用存储过程，但同时也带来多方面的问题。首先，存储过程的包只提供一层分类，无法用树形结构组织，容易造成代码管理混乱。而有些程序员…

多层次报表的性能优化方案 | 性能优化

多层次报表是常见的报表形式，典型的如分组报表和主子报表。其中的关联运算（组与明细、主表和子表）由于有层次而不能直接在数据库中完成，需要在报表端完成。而报表端一…

多库取数的性能优化方案 | 性能优化

当数据库表数据量较大时，报表性能往往不高，此时仅针对 SQL 或报表端进行优化，效果往往不明显。这种情况下要显著提升性能，可以考虑采用并行多库的方式，即采用一定规则…

如何解决报表关联计算中的性能问题 | 性能优化

报表开发过程中经常要在报表中完成数据关联计算，有时为了降低报表制作复杂度，会将关联关系放到可视的报表模板中完成；而有时则必须在报表中完成关联，如多数据源、异构…

如何提高报表的取数性能 | 性能优化

报表在展现或导出时往往需要从数据库中取出大量数据，而 JDBC 的取数速度一向比较慢，有可能成为报表各运算环节的短板或瓶颈，从而严重影响整个报表的生成效率。针对这一…

SPL 分组优化技巧 | 性能优化

[链接] 1.      常规分组 当分组聚合的结果集不大时，可以使用groups。例如有学生成绩表存储在集文件中，表结构如下： Scores ..

SAP 系统大数据量资产负债表的性能优化案例 | 性能优化

【摘要】 有了固定报表工具之后，这类格式复杂、指标参数任意组合的需求并不难实现，只是原始数据量一大，查询就会非常慢，用户体验变的极差，当多并发请求时，甚至还会对…

在线查询提速方案 | 性能优化

【摘要】 在线查询时，慢的问题经常让使用者抓狂，业务部门的不满会转换成技术团队的压力，但基于传统技术体系这类问题往往解决的不好。本文提出一种基于算法特性设计和使…

高性能多维分析方案 | 性能优化

【摘要】 随着数据量的增加，用普通数据库作为多维分析服务器的响应速度越来越差，用户等待时间越来越长。如果采用预汇总方案提速，又需要巨大的存储空间而且存在很多功能…

高性能计算数据库 | 性能优化

【摘要】 作为高性能计算数据库，SPL Base 可以在离线跑批、在线查询和多维分析 3 个方面提供高效的计算输出，帮助用户解决由于性能带来的这些问题： 1. 半夜跑批跑不完，…

从 TPCH 测试看 SPL 性能优化技巧 1 | 性能优化

测试环境说明 CPU：4颗，主频2.6G，每个CPU内核数8个。 硬盘：800G，15000转SAS硬盘，理论读写速度150m/s。 内存：64G。 操作系统：Linux cent os 6 ..

性能优化技巧 - 遍历 | 性能优化

【摘要】 数据分析场景中，充斥着聚合运算，常见的有求和、计数、均值、最大最小值等等，想要得到正确的结果值，遍历技术必不可少，如何更加高效地对数据进行遍历？点击：…

集算器实现外部数据并行计算 | 性能优化

【摘要】 SPL 可将文本文件按体积大致分为 N 段，而不是按行号精确分段，如此可大幅提高并行计算性能。通过 JDBC 取数时，有时会遇到数据库负载虽然不重，但取数性能仍然…

用集算器更新数据库的技巧 | 性能优化

【摘要】 对数据库进行批量更新时，使用 update 函数要比 execute 函数性能更好。数据库通常会提供同步 / 导入工具，这些工具通常具备更好的性能，也都支持命令行调用，SP…

新一代内存计算引擎 | 性能优化

【摘要】 内存计算的本质就是为了高性能 (包括一定的高并发)，以此应对实时查询等问题！当前技术手段要么太贵、要么体系沉重；而集算器不仅算的更快，且体积更小、更轻！…

SPL 代码优化技巧 | 性能优化

         SPL是一种面向结构化数据计算的程序设计语言，集算器是SPL语言的java实现，采用网格式编程 ..

SPL 关联优化技巧 | 性能优化

1.          小维表 用SPL进行关联，当维表不大时可以读入内存。 1.1 &nb ..

性能优化技巧 - 查找 | 性能优化

【摘要】 日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据…

性能优化技巧 - 组表数据更新 | 性能优化

组表是集算器提供的高性能存储格式，其原理在于将数据事先排序并以压缩方式紧致存储，好处是占用空间更小，可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻…

性能优化技巧 - 多层排号键 | 性能优化

【摘要】 排号键是 SPL 独特的数据类型，适合替代多层次、各层不连续的键值，比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快，常用于优化内存索引…

性能优化技巧 - 集群维表 | 性能优化

【摘要】 事实表和维表进行关联计算时，需要对维表进行频繁的随机访问，因此维表要尽量放在内存中，才能提高关联计算的性能。如果维表较大，单机内存放不下，就应该考虑用…

性能优化技巧 - 内存关联计算 | 性能优化

【摘要】 关联动作会严重影响性能，SPL 支持内存预关联，可以加快关联动作，从而提升性能。为了理解关联动作对性能的影响，下面设计一套 Oracle 关联表，以及无关联的宽表…

性能优化技巧 - 程序游标 | 性能优化

【摘要】 很多算法都会产生落地的中间结果，从而影响性能，尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地，下面举例说明。 计算目标：订单表原来已…

性能优化技巧 - 位置利用 | 性能优化

【摘要】 SPL 的特征之一是数据有序，适当地利用位置，可以显著提高性能。让我们先从一个典型场景开始，逐步掌握利用位置的各种技巧。 对排序后的数据进行二分查找，可以…

SPL 排序优化技巧 | 性能优化

【摘要】         排序计算是一个非常消耗资源的操作，特别是对于大数据排序，如果内存无法装下数据，常规的做 ..

利用有序高效实施交并差集合运算 | 性能优化

【摘要】       看起来很简单的集合运算放在大数据的场景下，如果还想获得高性能就需要充分了解数据特征和计算特征才能设计出高效算法 ..

报表性能优化 | 性能优化

【摘要】 报表性能对用户的影响十分恶劣，所有用户查报表时都希望立等可取，超过 5 秒钟用户就会很不满意，更别提要求毫秒级响应的情况了。引起报表性能的原因有很多（数…

SPL组表进一步优化 JOIN 性能 | 性能优化

【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能，其中数据存储使用…

大主子表关联的性能优化方法 | 性能优化

【摘要】 主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费…

优化体系结构 - 数据外置减少中间表 | 性能优化

【摘要】 由于数据量或计算复杂度原因，经常需要在数据库中创建中间表，但中间表会带来很多问题！若采用专业的数据计算引擎，又会带来怎样的好处呢？去乾学院看个究竟吧！…

查询慢 跑批慢 性能低怎么办？ | 润乾高性能计算专家 | 性能优化

【摘要】 报表或数据查询一次等的花儿都谢了； 晚上跑批跑不完，第二天影响业务； 数据库太慢，很多计算性能太低。 查询慢、跑批慢、数据库压力大怎么办？本文将介绍一种…

车险往年保单关联计算的性能优化 | 性能优化

【摘要】 保险行业计算车险往年保单，需要按照车辆 vin 码、车架号、牌照种类和牌照号等多字段关联，涉及到几千万甚至上亿的大表，用存储过程计算非常耗时。点击 ${articl…

10 行代码解决漏斗转换计算之性能优化 | 性能优化

【摘要】 庖丁解牛，给人的深刻印象是技艺酷炫！然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后，把细节融入了自己的身体，成为一种本能；流畅自…

超大数据下大批量随机键值的查询优化方案 | 性能优化

【摘要】 当数据量巨大时，使用大批量随机键值集获取对应记录集合，不仅仅考验数据库软件本身，更在于程序员对数据的理解！如何在硬件资源有限的情况下将性能发挥到极致？…

多层科目任意组合汇总报表的性能优化 (下) | 性能优化

【摘要】 当有了报表工具之后 (固定报表)，一些中国式复杂样式、指标参数任意组合的报表并不难实现，只是当原始数据量一大，查询响应就会非常慢，用户体验变差，当多并发…

多层科目任意组合汇总报表的性能优化 (上) | 性能优化

【摘要】 当有了报表工具之后 (固定报表)，一些中国式复杂样式、指标参数任意组合的报表并不难实现，只是当原始数据量一大，查询响应就会非常慢，用户体验变差，当多并发…

优化 Join 运算的系列方法（3） | 性能优化

  5 综合案例 实际业务中，多表关联运算十分常见，外键表、同维表、主子表这几种关联类型可能会混合出现。下面我们来看一个综合案例。 5.1 表结构和查询目标 某电商…

优化 Join 运算的系列方法（2） | 性能优化

 3 半内存时的外键表 外键指针化的前提是事实表和维表都可以装入内存，但实际业务中涉及的数据量可能很大，那就不能采用这种方法了。3.1 维表内存化 如果只是事实表…

优化 Join 的系列方法（1） | 性能优化

【摘要】 解析了 JOIN 运算的分类和原理，并且介绍了多种优化 JOIN 运算的方法。${article} JOIN是关系数据库中常用运算，用于把多个表进行关联，关联条件一般是判断某个…

如何用外部程序优化SQL语句中的IN和EXISTS | 性能优化

1544599473050 数据结构 IN 和 EXISTS 是 SQL 中常见的复杂条件，在将 SQL（存储过程）转换成库外计算获取高性能时也会面对这些问题。本文将以 TPC-H 定义的模型 ..

用计算路由的方法优化 BI 后台性能 | 性能优化

问题的提出 BI 系统的常见结构是：前端是 BI 应用，负责多维分析的用户操作和结果呈现；后台是数据库 / 数据仓库，负责数据计算和存储。前端和后台之间用 SQL 作为接口。 …

如何优化多数据集关联报表 | 性能优化

【摘要】 关联计算在集合运算中的复杂度无出其右，在报表业务中经常引发查询性能问题，如何优化是大家经常面临的难题！这里《${article}》尝试列举各种报表关联情况，并给…

加速 JDBC 的快捷方法 | 性能优化

【摘要】 数据库 JDBC 经常会引起取数性能问题，通过并行方式取数可以加速取数进程，但 JAVA 实现过于复杂。本文介绍一种简单易行的并行取数方式来提升 JDBC 取数性能，还…