业务系统产生的明细数据通常要经过加工处理，按照一定逻辑计算成需要的结果，用以支持企业的经营活动。这类数据加工任务一般会有很多个，需要批量完成计算，在银行和保险…
随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的 PC 服务器组成…
用户在使用润乾报表时，经常遇到希望删除某一条数据的需求，润乾报表的行式填报中有插入，追加，删除行的功能，但对于普通报表，就需要另想办法了。下面主要介绍下如何在…
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是在前面几期基础上，将客户宽表中最近一天的新客户数据与分支机构等…
报表在用 Nginx 做反向代理的时候，有时候会遇到这样的问题。 如下，报表应用真实路径为http://192.168.0.248:8761/，但通过 Nginx 代理后通过http://19 ..
全文下载 [图片] [图片] [图片] [图片] http://c.raqsoft.com.cn/article/1586000621526 http://c.raqsoft.com.cn/a ..
全文下载 [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 资源 常用计算的 SPL 代码http:/ ..
全文下载 [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 资源 •《常用计算的 SPL 代码》 http://doc.raqsoft.com.cn/e ..
全文下载 [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] 资源链接 常用计算的 SPL 代码 http://doc.raqsoft ..
集算器提供了标准的 JDBC\ODBC 驱动，实现了规范的元数据接口，支持常见的 JAVA\ 非 JAVA BI 工具。集算器以高性能文件存储和高效压缩存储为基础，支持宽表预汇总、关联表…
【摘要】 内存数据库是高性能结构化数据计算的重要解决方案，但实际项目中总会存在诸多不足，比如内存占用大、硬件成本高、架构复杂、开发效率低、性能提升不明显。如何解…
【摘要】 计算中间件是应用与数据之间，独立进行计算的可编程通用软件，常用以解决松耦合、高性能、特殊源计算、多源混算、复杂逻辑等问题。但传统计算中间件一般用硬编码…
【摘要】 数据仓库代表的是一种对数据的管理和使用的方式，它应当是一整套包括了 etl、数据管理、算法实现在内的完整的理论体系。但实际项目中的数据仓库总会存在不尽人意…
【摘要】 随着产权交易所业务的发展和 IT 系统的建设，出现了多个系统同时运行，互不连通的问题。由于新老系统采用独立的数据库存储，数据格式、标准、规范都不相同，跨源…
【摘要】 商业银行对员工的绩效考核标准一般分为 4 个方面：柜员的销售业务量、客户服务、内部流程、学习成长等。一般本质上具有如下特征：多样性数据源，数据来自银行的…
【摘要】 零售行业门店多、客户多、库存多，经常面临的问题：1、各个业务系统之间彼此不相关联，造成信息孤岛，很难从数据中发现隐藏的问题或商机。2、日积月累，报表查询…
什么是轻量级？抛开技术术语，从效果上看就是为了实现操作目的，使用更轻便、更省时的方法；那么什么是高性能呢？最直接的说法就是比常用方法更加高效、更快。 下面就来介…
【摘要】鉴于热更新、松耦合、语言无关等特性，微服务已广泛应用于互联网行业。但也带来了新问题：框架更复杂、开发周期更长、维护更困难。点击《微服务快速开发案例》，…
【摘要】 在线查询时，慢的问题经常让使用者抓狂，业务部门的不满会转换成技术团队的压力，但基于传统技术体系这类问题往往解决的不好。本文提出一种基于算法特性设计和使…
【摘要】 作为高性能计算数据库，SPL Base 可以在离线跑批、在线查询和多维分析 3 个方面提供高效的计算输出，帮助用户解决由于性能带来的这些问题： 1. 半夜跑批跑不完，…
【摘要】 内存计算的本质就是为了高性能 (包括一定的高并发)，以此应对实时查询等问题！当前技术手段要么太贵、要么体系沉重；而集算器不仅算的更快，且体积更小、更轻！…
【摘要】 银行自助分析系统用户多，数据量大，系统速度还要求飞快。与此同时，后台数据仓库却已经负担了太多的应用，无法为大量连接提供高性能查询。点击 ${article}，去…
【摘要】 ETL 常常做成 ELT 甚至 LET！ 这样做带来的恶果是：1）数据库臃肿、负担重，数据管理混乱；2）性能低下，时间成本高（ 数据库写入很慢），影响 ETL 窗口时间。 …
【摘要】 Java 是当前最为主流的企业应用开发语言，而开发企业应用又不可能不与数据、数据库打交道。虽然数据库提供了比较丰富的数据计算功能，但是还是会有很多情况下，…
【摘要】 某省车险每天新增保单 1-2 万，三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单，计算复杂、数据量大、耗时很长。点击 ${article}，去乾学院看看…
【摘要】 手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是：访问人数特别多，全量数据超大，而且不能…
【摘要】 日常数据处理中经常会发生一些临时数据计算需求。这种临时性计算具有相当的普遍性。那么，我们是用什么方法来处理这种具有普遍性的临时计算需求呢？ 去乾学院看…
引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构，由于业务需求和技术要求较以往有很大不同，本身也还在发展中，传统的技术框架和编程模式不再完全适用，很…
【摘要】 随着数据量的不断增长和业务复杂度的不断增加，离线跑批任务量越来越繁重，耗时越来越长。众多项目出现了整晚都算不完、跑不完的情况。造成如此困境的原因是什么…
前言 访问多个异构数据源是大型企业应用软件非常常见的需求，人们也开发出了很多办法试图解决这个困难问题，但是这些办法往往都只是对某一种特定的场景，一直都没有异构特…
【摘要】 传统关系型数据仓库的问题包括：成本高、计算封闭、性能差、管理难。那么，关系数据仓库问题多，为什么还要用呢？为什么不直接使用文件系统存储？我们为什么需要…
【摘要】 报表性能对用户的影响十分恶劣，所有用户查报表时都希望立等可取，超过 5 秒钟用户就会很不满意，更别提要求毫秒级响应的情况了。引起报表性能的原因有很多（数…
【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能，其中数据存储使用…
【摘要】 由于数据量或计算复杂度原因，经常需要在数据库中创建中间表，但中间表会带来很多问题！若采用专业的数据计算引擎，又会带来怎样的好处呢？去乾学院看个究竟吧！…
【摘要】 多样性数据源普遍存在，且本身没有计算能力，常规手段总是需要建设专门的数据仓库及 ETL 转入工作，增加额外工作量，且实时性也不好。若采用专业的数据计算引擎…
【摘要】 报表做不完，客户总抱怨，老板一直催，报表没完没了怎么办？ 投入很多技术力量做报表，还是疲于应付？ 技术高手用来做报表，感觉很浪费？ 缺少低成本高效率的报…
【摘要】 报表或数据查询一次等的花儿都谢了； 晚上跑批跑不完，第二天影响业务； 数据库太慢，很多计算性能太低。 查询慢、跑批慢、数据库压力大怎么办？本文将介绍一种…
【摘要】 使用 SQL 查询语言，你只能查询位于数据库里面的数据，但是当你面对的数据是一些 Ex ..
【摘要】 存在问题：跨库的数据汇总运算开发复杂、效率低。 产生的原因：单库的大表数据量巨大，条件限制又不能做分布式数据库，而大多数应用程序都严重依赖数据库的计算…
【摘要】 关键词：集算器、SPL、数据脱敏、报表 1）、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些…
【摘要】 许多程序员都头疼测试数据的模拟，一个是要逼真，另一个需要数据量，不逼真往往导致一些 bug 测不出来，数据量不够则无法发现性能问题，这篇文章给出了很好的解…
【摘要】 存在问题：BI 系统后台计算由中央分布式数据仓库（MPP）实现，性能不佳，导致交互式多维分析响应迟钝。 产生的原因：中央数据仓库上挂数十个应用，计算负担太重…
【摘要】 基于数据库系统的 T+0 全量实时查询，在数据量很大时一般只能进行数据库扩容（包括分库手段），成本高昂；如果采用文件系统和生产数据库混合运算，就可以实现低…
【摘要】 庖丁解牛，给人的深刻印象是技艺酷炫！然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后，把细节融入了自己的身体，成为一种本能；流畅自…
【摘要】 无需构建前置数据 (仓) 库，用更低的成本就可以轻松应对项目中各类大数据集报表查询的难题！让我们一起去乾学院看个究竟吧：${article}！ 一 问题背景 绝大多数…
【摘要】 异步机制给了大数据运算更广阔的的遐想，我们经常期望通过一项技术或一个工具解决更多问题，异步机制也一样。当报表基于海量数据进行查询时，异步就是一个很好的…
问题的提出 多维分析（BI）系统后台数据常常可能来自多个数据库，这时就会出现跨库取数计算的问题。 例如：从 ..
【摘要】 使用数据库分页机制会遇到两个问题，1 翻页有时会有等待感，2 查询的同时数据库还在插入删除，会出现数据不一致的情况。为了解决这个问题，${article} 介绍了一…
【摘要】 我们经常说是要解决开发难和运算慢两个问题，其实从根本上只解决开发难就行了，原来之所以会有性能问题是因为算法很难优化，换句话说高性能算法很难写！因此，让…
问题的提出 多维分析（BI）系统后台数据源通常有三种选择。一、普通数据库；二、专业数据仓库；三、BI 系统自带的数据源。 但是，这三种选择都有各自的问题。普通数据库一…
集算器概述 集算器作为一种大数据计算工具，不仅在润乾产品体系中能发挥它的巨大作用，在其他绝大部分数据处理、数据计算领域的项目、产品中，也都有他助力计算的身影。比…
[图片] 中间表的由来 中间表是数据库中专门存放中间计算结果的数据表。报表系统中的中间表是普遍存在的。那么，这些中间表是如何出现的？为什么中间表会越来越多？中间表…
问题的提出 BI 系统的常见结构是：前端是 BI 应用，负责多维分析的用户操作和结果呈现；后台是数据库 / 数据仓库，负责数据计算和存储。前端和后台之间用 SQL 作为接口。 …
销售过程是一个多环节的过程，哪个步骤有了过大瑕疵，都会导致业绩急剧下滑。而诊断出哪个步骤有瑕疵，除了无形的经验，还有量化的诊断方式，就是今天要讨论的主角：转化…