解决方案

数据维护例程 | 解决方案

概述 组表是SPL重要的文件存储格式。为保证高性能，组表常常要求数据有序存储，但数据的产生次序通常和组表要求的次序不同，在维护组表数据时需要调整数据的次序。另外，…

复组表定期维护例程 | 解决方案

背景与方法 本例程适应场景：数据维护的实时性不高，可以在指定时刻定期执行，一般数小时或天为单位；总数据量很大，需要拆成多个分表存储；支持追加和更新两种模式。每次…

单组表定期维护例程 | 解决方案

背景与方法 本例程适应场景：数据维护的实时性不高，可以在特定时刻定期执行，一般以数小时或天为单位；总数据量不大，可以单组表存储；支持追加和更新两种模式。每次数据…

实时更新例程 | 解决方案

1 应用场景 和【实时追加例程】的应用场景类似，所不同的是需要对数据进行更新。本例程适用于具有如下特征的数据表的更新： 对数据更新的实时性要求很高、数据更新周期很…

定期小量主动更新例程 | 解决方案

组表是SPL重要的文件存储格式。组表文件不支持在读取时同时写入，为保证高性能，组表还常常要求数据有序存储。数据不是一成不变的，还需要持续追加或更新，新产生数据的次…

SPL 计算性能系列测试：位置关联 | 解决方案

一、 测试任务 基于位置计算两个实体之间的距离，进而决定是否建立关联关系。这是典型的非等值关联运算，此时不能再使用 HASH 方法来优化。 任务原型来自国家天文台的星体…

应用中的数据业务：Java 还是 SQL？ | 解决方案

应用中的数据业务通常涉及持久化数据的访问、数据计算和流程处理。数据库中的持久化数据可以用 SQL 计算，存储过程的 loop/if 语句可以进行流程处理，JDBC（含 ODBC）可以…

跑批为什么这么难 | 解决方案

业务系统产生的明细数据通常要经过加工处理，按照一定逻辑计算成需要的结果，用以支持企业的经营活动。这类数据加工任务一般会有很多个，需要批量完成计算，在银行和保险…

Hadoop/Spark 太重，esProc SPL 很轻 | 解决方案

随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的 PC 服务器组成…

浏览式报表如何删除当前行数据 | 解决方案

用户在使用润乾报表时，经常遇到希望删除某一条数据的需求，润乾报表的行式填报中有插入，追加，删除行的功能，但对于普通报表，就需要另想办法了。下面主要介绍下如何在…

多维分析后台实践 5：小事实表关联小维表 | 解决方案

【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是在前面几期基础上，将客户宽表中最近一天的新客户数据与分支机构等…

解决 Nginx 代理下静态文件及 reportServlet 访问不到的问题 | 解决方案

报表在用 Nginx 做反向代理的时候，有时候会遇到这样的问题。 如下，报表应用真实路径为http://192.168.0.248:8761/，但通过 Nginx 代理后通过http://19 ..

应用场景 敏捷数据计算引擎 | 解决方案

全文下载 [图片] [图片] [图片] [图片] http://c.raqsoft.com.cn/article/1586000621526 http://c.raqsoft.com.cn/a ..

应用场景 报表数据源 | 解决方案

全文下载 [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 资源 常用计算的 SPL 代码http:/ ..

应用场景 SQL 解题手 | 解决方案

全文下载 [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 资源 •《常用计算的 SPL 代码》 http://doc.raqsoft.com.cn/e ..

应用场景 文件处理器 | 解决方案

全文下载 [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 资源链接 常用计算的 SPL 代码 http://doc.raqsoft ..

轻量级多维分析后台 | 解决方案

集算器提供了标准的 JDBC\ODBC 驱动，实现了规范的元数据接口，支持常见的 JAVA\ 非 JAVA BI 工具。集算器以高性能文件存储和高效压缩存储为基础，支持宽表预汇总、关联表…

高性能内存数据库 | 解决方案

【摘要】 内存数据库是高性能结构化数据计算的重要解决方案，但实际项目中总会存在诸多不足，比如内存占用大、硬件成本高、架构复杂、开发效率低、性能提升不明显。如何解…

敏捷数据计算中间件 | 解决方案

【摘要】 计算中间件是应用与数据之间，独立进行计算的可编程通用软件，常用以解决松耦合、高性能、特殊源计算、多源混算、复杂逻辑等问题。但传统计算中间件一般用硬编码…

轻量级高性能文件型数据仓库 | 解决方案

【摘要】 数据仓库代表的是一种对数据的管理和使用的方式，它应当是一整套包括了 etl、数据管理、算法实现在内的完整的理论体系。但实际项目中的数据仓库总会存在不尽人意…

产权交易所统一数据集市案例 | 解决方案

【摘要】 随着产权交易所业务的发展和 IT 系统的建设，出现了多个系统同时运行，互不连通的问题。由于新老系统采用独立的数据库存储，数据格式、标准、规范都不相同，跨源…

银行柜员绩效考核案例 | 解决方案

【摘要】 商业银行对员工的绩效考核标准一般分为 4 个方面：柜员的销售业务量、客户服务、内部流程、学习成长等。一般本质上具有如下特征：多样性数据源，数据来自银行的…

木槿生活数据平台案例 | 解决方案

【摘要】 零售行业门店多、客户多、库存多，经常面临的问题：1、各个业务系统之间彼此不相关联，造成信息孤岛，很难从数据中发现隐藏的问题或商机。2、日积月累，报表查询…

轻量级高性能多维分析套件 | 解决方案

什么是轻量级？抛开技术术语，从效果上看就是为了实现操作目的，使用更轻便、更省时的方法；那么什么是高性能呢？最直接的说法就是比常用方法更加高效、更快。 下面就来介…

微服务快速开发案例 | 解决方案

【摘要】鉴于热更新、松耦合、语言无关等特性，微服务已广泛应用于互联网行业。但也带来了新问题：框架更复杂、开发周期更长、维护更困难。点击《微服务快速开发案例》，…

在线查询提速方案 | 解决方案

【摘要】 在线查询时，慢的问题经常让使用者抓狂，业务部门的不满会转换成技术团队的压力，但基于传统技术体系这类问题往往解决的不好。本文提出一种基于算法特性设计和使…

高性能计算数据库 | 解决方案

【摘要】 作为高性能计算数据库，SPL Base 可以在离线跑批、在线查询和多维分析 3 个方面提供高效的计算输出，帮助用户解决由于性能带来的这些问题： 1. 半夜跑批跑不完，…

新一代内存计算引擎 | 解决方案

【摘要】 内存计算的本质就是为了高性能 (包括一定的高并发)，以此应对实时查询等问题！当前技术手段要么太贵、要么体系沉重；而集算器不仅算的更快，且体积更小、更轻！…

银行业自助分析前置服务器方案 | 解决方案

【摘要】 银行自助分析系统用户多，数据量大，系统速度还要求飞快。与此同时，后台数据仓库却已经负担了太多的应用，无法为大量连接提供高性能查询。点击 ${article}，去…

体系结构方案 -ETL 中间件 | 解决方案

【摘要】 ETL 常常做成 ELT 甚至 LET！ 这样做带来的恶果是：1）数据库臃肿、负担重，数据管理混乱；2）性能低下，时间成本高（ 数据库写入很慢），影响 ETL 窗口时间。 …

Java 专业数据计算包 | 解决方案

【摘要】 Java 是当前最为主流的企业应用开发语言，而开发企业应用又不可能不与数据、数据库打交道。虽然数据库提供了比较丰富的数据计算功能，但是还是会有很多情况下，…

保险行业历史保单关联业务跑批性能优化 | 解决方案

【摘要】 某省车险每天新增保单 1-2 万，三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单，计算复杂、数据量大、耗时很长。点击 ${article}，去乾学院看看…

海量账户大并发实时查询解决方案 | 解决方案

【摘要】 手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是：访问人数特别多，全量数据超大，而且不能…

体系结构方案 - 临时性数据计算 | 解决方案

【摘要】 日常数据处理中经常会发生一些临时数据计算需求。这种临时性计算具有相当的普遍性。那么，我们是用什么方法来处理这种具有普遍性的临时计算需求呢？ 去乾学院看…

创新边缘计算引擎 | 解决方案

引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构，由于业务需求和技术要求较以往有很大不同，本身也还在发展中，传统的技术框架和编程模式不再完全适用，很…

高性能离线跑批方案 | 解决方案

【摘要】 随着数据量的不断增长和业务复杂度的不断增加，离线跑批任务量越来越繁重，耗时越来越长。众多项目出现了整晚都算不完、跑不完的情况。造成如此困境的原因是什么…

应用结构：可编程数据网关 | 解决方案

前言 访问多个异构数据源是大型企业应用软件非常常见的需求，人们也开发出了很多办法试图解决这个困难问题，但是这些办法往往都只是对某一种特定的场景，一直都没有异构特…

体系结构方案 - 文件型数据仓库 / 集市 | 解决方案

【摘要】 传统关系型数据仓库的问题包括：成本高、计算封闭、性能差、管理难。那么，关系数据仓库问题多，为什么还要用呢？为什么不直接使用文件系统存储？我们为什么需要…

报表性能优化 | 解决方案

【摘要】 报表性能对用户的影响十分恶劣，所有用户查报表时都希望立等可取，超过 5 秒钟用户就会很不满意，更别提要求毫秒级响应的情况了。引起报表性能的原因有很多（数…

SPL组表进一步优化 JOIN 性能 | 解决方案

【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能，其中数据存储使用…

优化体系结构 - 数据外置减少中间表 | 解决方案

【摘要】 由于数据量或计算复杂度原因，经常需要在数据库中创建中间表，但中间表会带来很多问题！若采用专业的数据计算引擎，又会带来怎样的好处呢？去乾学院看个究竟吧！…

优化体系结构 - 解决多样性数据源 | 解决方案

【摘要】 多样性数据源普遍存在，且本身没有计算能力，常规手段总是需要建设专门的数据仓库及 ETL 转入工作，增加额外工作量，且实时性也不好。若采用专业的数据计算引擎…

报表没完没了怎么办？ | 润乾集算器提效报表开发 | 解决方案

【摘要】 报表做不完，客户总抱怨，老板一直催，报表没完没了怎么办？ 投入很多技术力量做报表，还是疲于应付？ 技术高手用来做报表，感觉很浪费？ 缺少低成本高效率的报…

查询慢 跑批慢 性能低怎么办？ | 润乾高性能计算专家 | 解决方案

【摘要】 报表或数据查询一次等的花儿都谢了； 晚上跑批跑不完，第二天影响业务； 数据库太慢，很多计算性能太低。 查询慢、跑批慢、数据库压力大怎么办？本文将介绍一种…

Java 中如何使用 SQL 查询文本 | 解决方案

【摘要】         使用 SQL 查询语言，你只能查询位于数据库里面的数据，但是当你面对的数据是一些 Ex ..

体系结构方案 - 跨库数据运算 | 解决方案

【摘要】 存在问题：跨库的数据汇总运算开发复杂、效率低。 产生的原因：单库的大表数据量巨大，条件限制又不能做分布式数据库，而大多数应用程序都严重依赖数据库的计算…

数据脱敏的处理方法及查询 | 解决方案

【摘要】 关键词：集算器、SPL、数据脱敏、报表 1）、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些…

模拟测试数据的生成方法 | 解决方案

【摘要】 许多程序员都头疼测试数据的模拟，一个是要逼真，另一个需要数据量，不逼真往往导致一些 bug 测不出来，数据量不够则无法发现性能问题，这篇文章给出了很好的解…

体系结构方案 -BI 系统的前置计算 | 解决方案

【摘要】 存在问题：BI 系统后台计算由中央分布式数据仓库（MPP）实现，性能不佳，导致交互式多维分析响应迟钝。 产生的原因：中央数据仓库上挂数十个应用，计算负担太重…

实时报表 T+0 的实现方案 | 解决方案

【摘要】 基于数据库系统的 T+0 全量实时查询，在数据量很大时一般只能进行数据库扩容（包括分库手段），成本高昂；如果采用文件系统和生产数据库混合运算，就可以实现低…

10 行代码解决漏斗转换计算之性能优化 | 解决方案

【摘要】 庖丁解牛，给人的深刻印象是技艺酷炫！然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后，把细节融入了自己的身体，成为一种本能；流畅自…

基于文件系统实现可追加的数据集市 | 解决方案

【摘要】 无需构建前置数据 (仓) 库，用更低的成本就可以轻松应对项目中各类大数据集报表查询的难题！让我们一起去乾学院看个究竟吧：${article}！ 一 问题背景 绝大多数…

百万级分组大报表开发与呈现 | 解决方案

【摘要】 异步机制给了大数据运算更广阔的的遐想，我们经常期望通过一项技术或一个工具解决更多问题，异步机制也一样。当报表基于海量数据进行查询时，异步就是一个很好的…

跨库多维分析后台的实现 | 解决方案

问题的提出         多维分析（BI）系统后台数据常常可能来自多个数据库，这时就会出现跨库取数计算的问题。 例如：从 ..

秒级展现的百万级大清单报表怎么做 | 解决方案

【摘要】 使用数据库分页机制会遇到两个问题，1 翻页有时会有等待感，2 查询的同时数据库还在插入删除，会出现数据不一致的情况。为了解决这个问题，${article} 介绍了一…

37 个场景你要用集算器 | 解决方案

【摘要】 我们经常说是要解决开发难和运算慢两个问题，其实从根本上只解决开发难就行了，原来之所以会有性能问题是因为算法很难优化，换句话说高性能算法很难写！因此，让…

轻量级可嵌入多维分析后台 | 解决方案

问题的提出 多维分析（BI）系统后台数据源通常有三种选择。一、普通数据库；二、专业数据仓库；三、BI 系统自带的数据源。 但是，这三种选择都有各自的问题。普通数据库一…

润乾集算器与帆软报表集成 (直接通过 jdbc，类 DB 存储过程方式调用) | 解决方案

集算器概述 集算器作为一种大数据计算工具，不仅在润乾产品体系中能发挥它的巨大作用，在其他绝大部分数据处理、数据计算领域的项目、产品中，也都有他助力计算的身影。比…

为什么会有这么多中间表？ | 解决方案

[图片] 中间表的由来 中间表是数据库中专门存放中间计算结果的数据表。报表系统中的中间表是普遍存在的。那么，这些中间表是如何出现的？为什么中间表会越来越多？中间表…

用计算路由的方法优化 BI 后台性能 | 解决方案

问题的提出 BI 系统的常见结构是：前端是 BI 应用，负责多维分析的用户操作和结果呈现；后台是数据库 / 数据仓库，负责数据计算和存储。前端和后台之间用 SQL 作为接口。 …

集算示例：10 行代码解决漏斗转换计算 | 解决方案

销售过程是一个多环节的过程，哪个步骤有了过大瑕疵，都会导致业绩急剧下滑。而诊断出哪个步骤有瑕疵，除了无形的经验，还有量化的诊断方式，就是今天要讨论的主角：转化…