性能优化

集算器打开文件的时间不可忽略 | 性能优化

linux 打开组表文件的时间，实际测试要 10-20 毫秒。 主要原因是操作系统要按照目录去找文件。 所以性能要求非常严格的时候，要尽量减少文件的个数。 oracle 没有打开文件…

【友乾营第十八期】大批量 - 大客群交集统计 - 性能优化 | 性能优化

[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [ ..

性能优化教案 - 多维分析 | 性能优化

[图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] ..

集算器助力 ireport | 性能优化

在使用 Jasper 报表工具制作报表时，常常会遇到数据来自多个数据源的情况，通常的做法是使用主子报表或者使用javabean作为数据源。使用主子报表通常会增加报表设计的复杂…

如何利用索引提高性能 | 性能优化

【摘要】         本章我们讨论了关系数据库中普通的键值索引存在的弱点，以及如何进行物理设计以提高性能，如 ..

格间计算性能提升方案 | 性能优化

一般情况下，如果报表中存在很多格间计算（即单元格之间的关联计算），那么通常会影响报表性能。这是因为： 1、格间计算很难分步骤编写，导致运算过程很难优化。 2、格间…

润乾报表实现中间数据外置 | 性能优化

绝大多数报表项目的数据库中，除了支撑系统运行的业务数据表之外，实际业务还可能产生很多中间表。业务数据表是报表系统的核心和基础，是支持报表系统运行的持久化数据层…

润乾报表实现计算过程性能优化 | 性能优化

当报表出现性能问题，需要对数据源计算进行优化时，控制执行路径是一种有效的方法，但也是阻碍优化的难题。这是由于数据库执行路径不透明，程序员很难甚至无法干预执行路…

高性能计算应用场景 | 性能优化

【摘要】 遇到这些场景，慢的让人崩溃？集算器为您加速！点击 ${article} 获得极速体验！ 本文预计阅读时间 3 分钟。 [图片] [图片] [图片] [图片] [图片] [图片] [图 ..

多数据源报表性能优化方案 | 性能优化

润乾报表支持在同一报表内使用不同类型的数据源，包括 RDB、TXT 文本、Excel、JSON、HTTP、Hadoop、mongodb 等。润乾报表中使用混合数据源不必依赖第三方程序（如 JA ..

混合异构数据源关联计算优化方案 | 性能优化

在报表项目中，报表数据源常常会来自于多种异构数据源，例如：关系型数据库（oracle、db2、mysql）、nosql 数据库（mongodb）、http 数据源、hadoop（hive、hd ..

带隐藏格报表的性能优化方案 | 性能优化

报表中可以通过隐藏格进行有效的辅助计算，但如果报表携带大量隐藏格，又会对性能产生很大影响。这是因为大量隐藏格会占用内存、降低运算速度。而且隐藏单元格除了单元格…

存储过程性能低怎么破？ | 性能优化

报表应用中实现数据源计算经常会使用存储过程，但同时也带来多方面的问题。首先，存储过程的包只提供一层分类，无法用树形结构组织，容易造成代码管理混乱。而有些程序员…

多层次报表的性能优化方案 | 性能优化

多层次报表是常见的报表形式，典型的如分组报表和主子报表。其中的关联运算（组与明细、主表和子表）由于有层次而不能直接在数据库中完成，需要在报表端完成。而报表端一…

多库取数的性能优化方案 | 性能优化

当数据库表数据量较大时，报表性能往往不高，此时仅针对 SQL 或报表端进行优化，效果往往不明显。这种情况下要显著提升性能，可以考虑采用并行多库的方式，即采用一定规则…

如何解决报表关联计算中的性能问题 | 性能优化

报表开发过程中经常要在报表中完成数据关联计算，有时为了降低报表制作复杂度，会将关联关系放到可视的报表模板中完成；而有时则必须在报表中完成关联，如多数据源、异构…

如何提高报表的取数性能 | 性能优化

报表在展现或导出时往往需要从数据库中取出大量数据，而 JDBC 的取数速度一向比较慢，有可能成为报表各运算环节的短板或瓶颈，从而严重影响整个报表的生成效率。针对这一…

SPL 分组优化技巧 | 性能优化

[链接] 1.      常规分组 当分组聚合的结果集不大时，可以使用groups。例如有学生成绩表存储在集文件中，表结构如下： Scores ..

SAP 系统大数据量资产负债表的性能优化案例 | 性能优化

【摘要】 有了固定报表工具之后，这类格式复杂、指标参数任意组合的需求并不难实现，只是原始数据量一大，查询就会非常慢，用户体验变的极差，当多并发请求时，甚至还会对…

在线查询提速方案 | 性能优化

【摘要】 在线查询时，慢的问题经常让使用者抓狂，业务部门的不满会转换成技术团队的压力，但基于传统技术体系这类问题往往解决的不好。本文提出一种基于算法特性设计和使…

高性能多维分析方案 | 性能优化

【摘要】 随着数据量的增加，用普通数据库作为多维分析服务器的响应速度越来越差，用户等待时间越来越长。如果采用预汇总方案提速，又需要巨大的存储空间而且存在很多功能…

高性能计算数据库 | 性能优化

【摘要】 作为高性能计算数据库，SPL Base 可以在离线跑批、在线查询和多维分析 3 个方面提供高效的计算输出，帮助用户解决由于性能带来的这些问题： 1. 半夜跑批跑不完，…

从 TPCH 测试看 SPL 性能优化技巧 1 | 性能优化

测试环境说明 CPU：4颗，主频2.6G，每个CPU内核数8个。 硬盘：800G，15000转SAS硬盘，理论读写速度150m/s。 内存：64G。 操作系统：Linux cent os 6 ..

性能优化技巧 - 遍历 | 性能优化

【摘要】 数据分析场景中，充斥着聚合运算，常见的有求和、计数、均值、最大最小值等等，想要得到正确的结果值，遍历技术必不可少，如何更加高效地对数据进行遍历？点击：…

集算器实现外部数据并行计算 | 性能优化

  文本并行 SPL可将文本文件按体积大致分为N段，只读取其中一段。比如cardInfo.txt存储着一千万条人口信息，将其分为十份，取第二份，代码可以写作： A B 1 =file ..

用集算器更新数据库的技巧 | 性能优化

对数据库进行批量更新时，使用update函数要比execute函数性能更好。 比如，source和target是两个不同的数据源，callrecordA是source中的物理表，有1万条记录， ..

新一代内存计算引擎 | 性能优化

【摘要】 内存计算的本质就是为了高性能 (包括一定的高并发)，以此应对实时查询等问题！当前技术手段要么太贵、要么体系沉重；而集算器不仅算的更快，且体积更小、更轻！…

SPL 代码优化技巧 | 性能优化

         SPL是一种面向结构化数据计算的程序设计语言，集算器是SPL语言的java实现，采用网格式编程 ..

SPL 关联优化技巧 | 性能优化

1.          小维表 用SPL进行关联，当维表不大时可以读入内存。 1.1 &nb ..

性能优化技巧 - 查找 | 性能优化

【摘要】 日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据…

性能优化技巧 - 组表数据更新 | 性能优化

组表是集算器提供的高性能存储格式，其原理在于将数据事先排序并以压缩方式紧致存储，好处是占用空间更小，可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻…

性能优化技巧 - 多层排号键 | 性能优化

排号键是SPL独特的数据类型，适合替代多层次、各层不连续的键值，比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快，常用于优化内存索引查询和外键关…

性能优化技巧 - 集群维表 | 性能优化

事实表和维表进行关联计算时，需要对维表进行频繁的随机访问，因此维表要尽量放在内存中，才能提高关联计算的性能。如果维表较大，单机内存放不下，就应该考虑用集群方式…

性能优化技巧 - 内存关联计算 | 性能优化

关联动作会严重影响性能，SPL支持内存预关联，可以加快关联动作，从而提升性能。 为了理解关联动作对性能的影响，下面设计一套Oracle关联表，以及无关联的宽表，并执行同…

性能优化技巧 - 程序游标 | 性能优化

很多算法都会产生落地的中间结果，从而影响性能，尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地，下面举例说明。 前半排序 计算目标：订单表原来已…

性能优化技巧 - 位置利用 | 性能优化

SPL的特征之一是数据有序，适当地利用位置，可以显著提高性能。让我们先从一个典型场景开始，逐步掌握利用位置的各种技巧。 快速查询 对排序后的数据进行二分查找，可以获…

SPL 排序优化技巧 | 性能优化

【摘要】         排序计算是一个非常消耗资源的操作，特别是对于大数据排序，如果内存无法装下数据，常规的做 ..

利用有序高效实施交并差集合运算 | 性能优化

【摘要】       看起来很简单的集合运算放在大数据的场景下，如果还想获得高性能就需要充分了解数据特征和计算特征才能设计出高效算法 ..

报表性能优化 | 性能优化

【摘要】 报表性能对用户的影响十分恶劣，所有用户查报表时都希望立等可取，超过 5 秒钟用户就会很不满意，更别提要求毫秒级响应的情况了。引起报表性能的原因有很多（数…

SPL组表进一步优化 JOIN 性能 | 性能优化

【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能，其中数据存储使用…

大主子表关联的性能优化方法 | 性能优化

【摘要】 主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费…

优化体系结构 - 数据外置减少中间表 | 性能优化

【摘要】 由于数据量或计算复杂度原因，经常需要在数据库中创建中间表，但中间表会带来很多问题！若采用专业的数据计算引擎，又会带来怎样的好处呢？去乾学院看个究竟吧！…

查询慢 跑批慢 性能低怎么办？ | 润乾高性能计算专家 | 性能优化

[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 完整资料下载： 查询慢、跑批慢、性能低怎么办？| 润乾高性能计 ..

车险往年保单关联计算的性能优化 | 性能优化

【摘要】 保险行业计算车险往年保单，需要按照车辆 vin 码、车架号、牌照种类和牌照号等多字段关联，涉及到几千万甚至上亿的大表，用存储过程计算非常耗时。点击 ${articl…

10 行代码解决漏斗转换计算之性能优化 | 性能优化

【摘要】 庖丁解牛，给人的深刻印象是技艺酷炫！然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后，把细节融入了自己的身体，成为一种本能；流畅自…

超大数据下大批量随机键值的查询优化方案 | 性能优化

【摘要】 当数据量巨大时，使用大批量随机键值集获取对应记录集合，不仅仅考验数据库软件本身，更在于程序员对数据的理解！如何在硬件资源有限的情况下将性能发挥到极致？…

多层科目任意组合汇总报表的性能优化 (下) | 性能优化

【摘要】 当有了报表工具之后 (固定报表)，一些中国式复杂样式、指标参数任意组合的报表并不难实现，只是当原始数据量一大，查询响应就会非常慢，用户体验变差，当多并发…

多层科目任意组合汇总报表的性能优化 (上) | 性能优化

【摘要】 当有了报表工具之后 (固定报表)，一些中国式复杂样式、指标参数任意组合的报表并不难实现，只是当原始数据量一大，查询响应就会非常慢，用户体验变差，当多并发…

优化 Join 运算的系列方法（3） | 性能优化

  5 综合案例 实际业务中，多表关联运算十分常见，外键表、同维表、主子表这几种关联类型可能会混合出现。下面我们来看一个综合案例。 5.1 表结构和查询目标 某电商…

优化 Join 运算的系列方法（2） | 性能优化

 3 半内存时的外键表 外键指针化的前提是事实表和维表都可以装入内存，但实际业务中涉及的数据量可能很大，那就不能采用这种方法了。3.1 维表内存化 如果只是事实表…

优化 Join 的系列方法（1） | 性能优化

【摘要】 解析了 JOIN 运算的分类和原理，并且介绍了多种优化 JOIN 运算的方法。${article} JOIN是关系数据库中常用运算，用于把多个表进行关联，关联条件一般是判断某个…

如何用外部程序优化SQL语句中的IN和EXISTS | 性能优化

1544599473050 数据结构 IN 和 EXISTS 是 SQL 中常见的复杂条件，在将 SQL（存储过程）转换成库外计算获取高性能时也会面对这些问题。本文将以 TPC-H 定义的模型 ..

用计算路由的方法优化 BI 后台性能 | 性能优化

问题的提出 BI 系统的常见结构是：前端是 BI 应用，负责多维分析的用户操作和结果呈现；后台是数据库 / 数据仓库，负责数据计算和存储。前端和后台之间用 SQL 作为接口。 …

如何优化多数据集关联报表 | 性能优化

【摘要】 关联计算在集合运算中的复杂度无出其右，在报表业务中经常引发查询性能问题，如何优化是大家经常面临的难题！这里《${article}》尝试列举各种报表关联情况，并给…

加速JDBC的快捷方法 | 性能优化

JAVA 应用必须通过 JDBC 从数据库中取数，有时候我们会发现，数据库的负担一点也不重而且 SQL 很简单，但取数的速度仍然很慢。仔细测试会发现，性能瓶颈主要在 JDBC 上，…