数据计算工具-集算器

怎样用 esProc 提速枚举字段条件过滤 | 数据计算

数据表枚举字段的取值是有限几种值，针对枚举字段 f 的过滤条件写成 f =v1 or f=v2 or…或者 f !=v1 and f !=v2 and…，也可能写成 in 或者 not in。 ..

怎样用 esProc 提速主子表关联时的 EXISTS | 数据计算

数据库中，大主子表之间进行 EXISTS 计算往往会导致较差的性能。这样的计算本质上是在做连接，如果能预先将主子表都按照主键有序存储，就可以使用有序归并算法有效提速。…

怎样用 esProc 为大主子表关联提速 | 数据计算

类似订单和明细表这样的主子表关联比较常见，在 SQL 中，这种关联用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 [图片] 如果预先将主子表都按照…

怎样用 esProc 加速 JOIN 以避免宽表 | 数据计算

在数据分析应用中，数据库多表关联的 SQL 语句很复杂，JOIN 性能也不理想，多表往往会被整合成宽表。比如图中订单表和多个维表就可能会被转换为宽表： [图片] 但是，宽表…

怎样用 esProc 加速 COUNT DISTINCT | 数据计算

SQL 中的去重计数 COUNT DISTINCT 一直比较慢。去重本质上是分组运算，需要把遍历过的分组字段值都保持住，用于后续的比对。结果集太大时，还要把数据写到硬盘上做缓存，…

这样理解关联是不是耳目一新 | 数据计算

SQL 对关联的定义过于简单，关联就是两个表做笛卡尔积后再过滤，在语法上写成 A JOIN B ON …的形式。Python 关联基本上是延用 SQL 的方式，概念和方法都差不多。 esPro ..

搞多层 json，SPL 才是专业的 | 数据计算

业务数据经常存在层次关系，比如订单包含日期、客户和订单明细，订单明细又包含价格、数量、产品，产品则包含名称和分类。 json 的可嵌套结构很适合描述这种关系，比如订…

不可或缺的相邻引用 | 数据计算

数据分析经常出现跨行计算，比如比上期、比同期、移动平均等等。针对有序数据集实现跨行计算，会涉及集合相邻成员引用的问题。比如某商家某年 12 个月的销售额已经按月份…

化于无形的 lambda 语法 | 数据计算

针对数据集合的每个成员进行计算是很常见的任务，用循环语句当然能实现，但比较麻烦，算个简单的求和都要写很多句代码。编程语言经常把这些运算封装成函数，比如 Python …

极具特色的位置运算 | 数据计算

集合在计算机中一般都存储为数组形式，其成员天然会有个位置。数据表本质上是记录的集合，也会被存储成数组，作为成员的记录也有位置的概念。而实际应用中确实有很多分析…

另类却不罕见的聚合运算 | 数据计算

标准 SQL 中提供了五种最常用的聚合运算：SUM/COUNT/AVG/MIN/MAX，都是对集合计算出单值。比如日志表中找出用户 1001 第一次登录的时间，SQL 很简单： SELECT ..

使用 ReportLite 外部库自动插入报表到 word 模板 | 数据计算

在很多业务场景中需要在 word 文档中嵌入报表。比如下图这个报告： .. [图片] [图片] 这是一个某大学年度毕业生就业报告，报告中的表格和统计图的数据来自数据库，如果通…

计算客户流失率 | 数据计算

下面是某企业的历史销售合同记录Contract.txt： [图片] 去年有销售额而今年没有的客户称为今年的“流失客户”，“流失客户”的数量除以去年的总客户数量为今年“客户流失率”，…

续费模式下的客户增长率计算 | 数据计算

一家杀毒软件公司的产品采用按时间购买的方式销售，用户必须不断续购“许可 key”才可以继续使用软件，“许可 key”分为半年授权、一年授权和终身授权，详细情况如下： ID Key…

空座位 | 数据计算

有一个能容纳 1000 人的餐馆，他们将座位按顺序编号并记录在了数据库表中，每个客人就坐之后，服务员就会在座位表中标记一下，当客人离开后，就删除这个标记。某一时刻下…

根据考勤和绩效信息计算应发工资 | 数据计算

某企业财务需要为员工计算员工工资并将数据导出给银行，工资的计算首先需要参考员工的缺勤率和工作绩效，具体规则为：基本工资*(1-缺勤率+绩效) 而后再缴纳个人所得税，…

显示奥运会金牌榜 | 数据计算

下面是某届奥运会的比赛数据。国家表Country.txt： [图片] 运动员表Athlete.txt记录了每位运动员所属的国家： [图片] 比赛成绩表MatchResult.txt记录了所有 ..

为销售管理系统准备测试数据 | 数据计算

为一个销售管理系统准备模拟数据进行测试。要求生成4张表，数据的要求分别是：销售员表，要求有50名销售员，5个地区：NorthChina, SouthChina, CentralChina, ..

史上最强分组运算，没有之一 | 数据计算

分组是常见的结构化数据计算，SQL 和 Python 都有相应的语句和函数来处理。不过，和 esProc SPL 提供的分组运算相比，这些语言都弱得多了。常规的分组一般都会伴随着聚合…

一年中有过三次连续请假大于两天的员工 | 数据计算

如下是某企业 2009 年内的员工请假记录表LeaveRecords，员工每次请假的起始日期和结束日期都会记录在内： [图片] 下表是员工的详细信息表Employees： [图片] 请找出这一 ..

订购了所有产品客户及其它客户的平均账户余额 | 数据计算

下面是一个企业订单情况的数据库内的一些表格，首先是 Customers 表，记录了客户 ID 和客户的账户余额： [图片] Orders 表记录了每个订单以及它的客户： [图片] OrderD ..

促销期间销售额最高的销售员 | 数据计算

这是一个百货公司的数据库问题。数据库中有两个表，一个是商店促销时间的日历，促销记录表Promotion： [图片] 一个是全年的销售员销售额表，销售记录表SalesRecord： [图…

某类商品在超市中的平均停留时间 | 数据计算

下面有一个简化的超市的库存管理系统内的一些表，首先是商品表 Commodity.txt，记录各种产品的信息： [图片] 下面是进货记录表Stock.txt，超市在每天早上 5 点钟进货，下…

超市一个月内累计断货时间最长的商品 | 数据计算

一个简化的超市的库存管理系统内的一些表如下。首先是商品表Commodity.txt，记录各种产品的信息： [图片] 下面是进货记录表Stock.txt，超市在每天早上 5 点钟进货，下表…

在 New York 累计工作时间超过 5 年的员工 | 数据计算

下面是某企业的员工信息表 Employees： [图片] 由于业务原因，该企业的员工存在着经常性的地区调动，为记录调动历史，他们使用了下面一个表 EmpTransfer，记录了员工从入…

夫妻年龄和超过 70 岁的家庭 | 数据计算

某企业打算给企业内的夫妻员工提供廉价购房福利，此福利只对夫妻都在企业内的家庭提供，且条件之一是夫妻的年龄和达到或超过 70 岁。下面是企业的员工信息表Employees： […

连续三天上涨达到 9.5% 的股票 | 数据计算

下面是某证券交易所一个月内的日收盘价记录StockRecords，其中 CODE 列为股票代码，DT 为日期，CL 为收盘价： [图片] 试找出这个月内曾连续三天上涨达到9.5%的股票。将记…

当年销售额占到一半的前 n 个客户 | 数据计算

下面是某企业的历史销售合同记录Contract： [图片] 下面为他们的客户信息列表Client： [图片] 某年内按销售额排名的客户，达到一半销售额的前 n 个客户称为该年的“大客户”…

邮费计算 | 数据计算

某 B2C 网站需要计算订单的邮寄费用，大部分情况下，邮费由包裹的总重量决定，但是，当订单的价格超过 300 美元时，提供免费付运。详细规则如下面的 mailCharge 表所示： …

征婚匹配 | 数据计算

Romeo（罗密欧）是一个 NS GSOH M Veronian（不抽烟，生活在维罗纳，很有幽默感的男性）。根据Juliet（朱丽叶）的WLTM（Would like to meet）条件判断 ..

条形码检查和校验 (#60) | 数据计算

条形码扫描后是一个 13 位的数字字符串。为应对扫描错误的情况，条形码有“检查和校验”的方法，用于校验条形码是否有错。具体的计算规则为：取出 13 位字符串的前 12 位数…

列出管理结构树 | 数据计算

Employees.txt 是某企业员工表，记录了每位员工的 ID 和名字： [图片] Relationships.txt 记录了员工之间的从属关系，例如第一条记录就代表编号为 7902 的员 ..

算 24 点 | 数据计算

算 24 点游戏是一种经典的用扑克牌来进行的益智游戏。游戏内容是：从一副扑克牌中抽去大小王剩下 52 张，任意抽取 4 张牌，把牌面上的数字（J、Q、K、A 分别代表 11、12、…

八皇后 | 数据计算

八皇后问题是一个古老而著名的问题。具体为：在 8X8 格的国际象棋上摆放八个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，请问有多少种…

万年历 | 数据计算

请给出指定的某年（如 2020）的全年日历。使用字符串输出，仿照常见日历的格式，按月分隔，包含日期和星期信息。循环十二个月，首先计算月标题和星期标题添加到万年历，…

统计单词的出现率 | 数据计算

在一篇正规的英文文档中，单词都会以空格、逗号、句号或回车分隔，“-”符号表示连接回车符前后的字符为一个单词。现有一篇符合上述特征的文档MobyDick.txt，请找出其中一…

求出无限循环小数的循环节 | 数据计算

循环节即为无限循环小数中循环的数字部分。无限循环小数都可以表示为一个分数，所以给定一个分数的分子和分母，就可以求出它的循环节。用分子和分母求余，判断余数在前面…

模拟多重循环解决逻辑问题 | 数据计算

请编写程序解答下面 10 个问题： 1、第一个答案是 b 的问题是哪一个？（a）2；（b） 3；（c）4；（d）5；（e）6 2、唯一的连续两个具有相同答案的问题是：（a）2，3；（…

模拟随机发牌 | 数据计算

四个人打扑克，用一副扑克牌，抽掉大小王，剩余 52 张牌，洗牌后平分给四个人，每人 13 张，并按花色和点数整理。现在用 ,,,表示扑克牌花色，例如 8 表示黑桃 8，K 表示红…

计算斐波那契数列的前 N 项 | 数据计算

斐波那契数列指的是这样一个数列：1、1、2、3、5、8、13、21、…… 这个数列从第三项开始，每一项都等于前两项之和。输出这个数列的前 N 项（N>2）。定义一个序列，将…

用筛选法计算 10000 以内的质数表 | 数据计算

筛选法是一种古老的求不超过自然数 N（N＞1）的所有质数的方法。把自然数1~N排列起来。最小的质数是 2，所以先把 1 划去，从 2 开始，把 2 留下，而把 2 后面所有能被 2 …

这可能是最轻量级的列存技术了 | 数据计算

列式存储是提高数据分析计算性能的重要手段。如果数据表的总列数很多而计算涉及的列很少，采用列存就只读取需要的列即可，能够减少硬盘访问量，提高性能。而且，同一列数…

比 csv 快 N 倍的通用文件格式 | 数据计算

用 csv 文件存储数据很普遍。类似的还有纯文本文件、tsv 文件等等，这些文件都是平面结构，没有层次关系，数据都存成文本字符。有些 xls 文件也是类似的平面结构。 csv 文…

数据分析编程从 SQL 到 SPL：机场分析 | 数据计算

数据结构和样例数据： [图片] 表中存储的是 2025 年 1 月 1 日飞机出发、到达城市机场的数据。其中 FId 是航班号，AircraftId 飞机号，DepCity 出发城市，Arr ..

数据分析编程从 SQL 到 SPL：人口和语言分析 | 数据计算

数据结构国家表 world.country [图片] Code 是国家编码，Name 是国家名称，Population 是国家人口。国家语言表 world.countrylanguage ..

比 SQL 快出数量级的大数据计算技术 | 数据计算

SQL 经常跑得很慢 SQL 是最常用的大数据计算语言，但是，SQL 经常跑得很慢，严重浪费硬件资源。某银行的反洗钱准备计算，36 亿行，11 节点的 Vertica 集群跑了 1.5 小时 …

性能优化案例课程 TPCH- 目录 | 数据计算

1. 数据准备学习本课程需要先准备测试数据。可以使用 TPC 官网提供的程序生成测试数据，也可以使用[链接] 提供的方法生成。准备数据时，要注意数据占用硬盘的空间大小。…

性能优化案例课程 TPCH-Q22 | 数据计算

select cntrycode, count(*) as numcust, sum(c_acctbal) as totacctbal from ( select substr(c_phone ..

性能优化案例课程 TPCH-Q21 | 数据计算

select * from ( select s_name, count(*) as numwait from supplier,lineitem l1,orders,nation where ..

性能优化案例课程 TPCH-Q20 | 数据计算

select s_name,s_address from supplier,nation where s_suppkey in ( select ps_suppkey from partsup ..

性能优化案例课程 TPCH-Q19 | 数据计算

select sum(l_extendedprice * (1 - l_discount)) as revenue from lineitem,part where ( p_partkey = ..

性能优化案例课程 TPCH-Q18 | 数据计算

select * from ( select c_name, c_custkey, o_orderkey, o_orderdate, o_totalprice, sum(l_quantity) ..

性能优化案例课程 TPCH-Q17 | 数据计算

select sum(l_extendedprice) / 7.0 as avg_yearly from lineitem,part where p_partkey = l_partkey a ..

Office 加载项服务的安装配置说明 | 数据计算

使用集算器桌面版的Office加载项服务，可在Excel中使用SPL.X()函数执行SPL脚本并获得结果集后填充到Excel中。如果是 Windows 系统，请从官网下载最新的集算器桌面版和 ..

SPL：访问 ORC、Parquet | 数据计算

Parquet 和 ORC 都是 hadoop 中用于存储数据的列式存储格式, hadoop 提供了 Java API 读写它们的文件，集算器把实现读取文件的 JAVA 代码做了封装，形成更易 ..

性能优化案例课程 TPCH-Q16 | 数据计算

select p_brand,p_type,p_size, count(distinct ps_suppkey) as supplier_cnt from partsupp,part wher ..

性能优化案例课程 TPCH-Q15 | 数据计算

create view revenue (supplier_no, total_revenue) as select l_suppkey, sum(l_extendedprice * (1 - ..

性能优化案例课程 TPCH-Q14 | 数据计算

select 100.00 * sum( case when p_type like 'PROMO%' then l_extendedprice * (1 - l_discount) else ..

性能优化案例课程 TPCH-Q13 | 数据计算

select c_count, count(*) as custdist from ( select c_custkey, count(o_orderkey) c_count from cus ..

性能优化案例课程 TPCH-Q12 | 数据计算

select l_shipmode, sum(case when o_orderpriority = '1-URGENT' or o_orderpriority = '2-HIGH' then ..

性能优化案例课程 TPCH-Q11 | 数据计算

select ps_partkey, sum(ps_supplycost * ps_availqty) as value from partsupp, supplier, nation whe ..

性能优化案例课程 TPCH-Q10 | 数据计算

select * from ( select c_custkey,c_name, sum(l_extendedprice * (1 - l_discount)) as revenue, c_a ..

性能优化案例课程 TPCH-Q9 | 数据计算

select nation, o_year, sum(amount) as sum_profit from ( select n_name as nation, extract(year fr ..

性能优化案例课程 TPCH-Q8 | 数据计算

select o_year, sum(case when nation = 'CHINA' then volume else 0 end) / sum(volume) as mkt_share ..

性能优化案例课程 TPCH-Q7 | 数据计算

select supp_nation, cust_nation, l_year, sum(volume) as revenue from ( select n1.n_name as supp_ ..

性能优化案例课程 TPCH-Q6 | 数据计算

select sum(l_extendedprice * l_discount) as revenue from lineitem where l_shipdate >= date '1 ..

性能优化案例课程 TPCH-Q5 | 数据计算

select n_name, sum(l_extendedprice * (1 - l_discount)) as revenue from customer, orders, lineite ..

性能优化案例课程 TPCH-Q4 | 数据计算

select o_orderpriority, count(*) as order_count from orders where o_orderdate >= date '1995-1 ..

性能优化案例课程 TPCH-Q3 | 数据计算

select * from ( select l_orderkey, sum(l_extendedprice * (1 - l_discount)) as revenue, o_orderda ..

如何把 SPL 集成到自己的 snowflake 环境中 | 数据计算

1. 前言在 snowflake 云环境下，用户可搭建集算器 SPL 应用程序包开发环境、生成 App 安装包。用户安装 App 后，通过 SPL 函数接口调用集算器进行数据运算，将计算结 ..

性能优化案例课程 TPCH-Q2 | 数据计算

select * from ( select s_acctbal,s_name,n_name,p_partkey,p_mfgr,s_address,s_phone,s_comment from ..

性能优化案例课程 TPCH-Q1 | 数据计算

select l_returnflag, l_linestatus, sum(l_quantity) as sum_qty, sum(l_extendedprice) as sum_base_ ..

SPL 复组表 | 数据计算

OLAP 业务的数据一般不会出现大量频繁地更新动作。数据变动主要是：1、新增数据的追加，2、数据插入、修改和删除。 SPL 提供了复组表，可以有效缩短数据变动的处理时间，…

数据维护例程 | 数据计算

概述组表是SPL重要的文件存储格式。为保证高性能，组表常常要求数据有序存储，但数据的产生次序通常和组表要求的次序不同，在维护组表数据时需要调整数据的次序。另外，…

SPL 优化电商漏斗分析从 3 分钟 + 到 10 秒 | 数据计算

问题描述在 A 电商公司，漏斗转化率分析是常用且重要的统计需求。用户使用智能设备购物时，系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event，比如…

SPL 实践：漏斗分析 | 数据计算

问题描述漏斗分析定义电商业务中漏斗分析是常见的统计需求。用户使用智能设备购物时，系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event，比如：访…

SPL 实践：客户画像 | 数据计算

问题描述数据结构与规模客户 - 维度表 cust_dim 字段名称字段类型字段注释示例数据 id Number 客户号 18765 d1 Number 维度 1 12 … … … … ..

SPL 实践：多指标实时计算 | 数据计算

问题描述数据结构与规模存款明细表 deposit 字段名称字段类型字段注释示例数据 dt Date 日期 2023-11-23 curr String 币种 1 人民币，0 其他 c ..

SPL 实践：计算路由提升并发能力 | 数据计算

问题描述系统结构前端应用是 BI 系统，主要实现条件过滤查询，后台是某 MPP 数据库。前端根据用户在页面上的选择、操作来生成针对宽表 ordes（订单表）的 SQL 提交给后…

SPL 实践：高并发帐户查询 | 数据计算

问题描述数据结构与规模帐户明细表 T 数据结构：字段名称字段类型字段注释示例数据 Id String 帐号 28 位数字 Tdate Date 日期 2023-10-22 Tamt ..

实时追加例程—用内存避免小分表 | 数据计算

实时追加例程—用内存避免小分表背景与方法参考下面文章 [链接] 该文章中采用多层分表的方式存储实时数据，对于数据追加频繁的场景，为了保证新数据能快速及时写出，采用…

SPL 列式计算 | 数据计算

内存列式计算什么是列式存储内存中的序表，一般是采用行式存储。例如员工表包含字段 id、name、birthday，在内存中大致是这样存储的： [图片] 每行（也就是每条记录）存…

SPL 时间键 | 数据计算

时间键介绍维表的数据相对比较固定，但仍然也会有变动。比如某客户的所在城市发生了变化：2020 年 5 月 15 日，city 从 New York 变更为 Chicago。在订单表关联客户 ..

SPL 的新关联计算 | 数据计算

[链接][链接]》介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。《[链接]》介绍了外存关联计算的编程方法。本篇继续介绍 SPL 的新关联计算方法，包括：用于…

SPL 中的关联计算 - 外存篇 | 数据计算

上一篇《[链接]》（简称“内存篇”）介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。当一个或者多个关联表数据量很大需要外存时，就不能使用内存连接算法了，S…

SPL 文件上的常规运算 | 数据计算

SPL 有集文件和组表两种文件格式，后缀分别是 btx 和 ctx。本文介绍 SPL 在这两种文件上的常规计算，类似于 SQL 可以表达的简单计算（不包含子查询）。这两种文件相关的…

SPL 中的关联计算 - 内存篇 | 数据计算

SPL 中的关联计算和 SQL 有很大不同，SQL 把连接定义为笛卡尔积后再过滤。SPL 也提供了这种运算，但在绝大多数场景下都有更好的替代方法，因而并不推荐使用。应用 SPL 编…

复组表定期维护例程 | 数据计算

背景与方法本例程适应场景：数据维护的实时性不高，可以在指定时刻定期执行，一般数小时或天为单位；总数据量很大，需要拆成多个分表存储；支持追加和更新两种模式。每次…

单组表定期维护例程 | 数据计算

背景与方法本例程适应场景：数据维护的实时性不高，可以在特定时刻定期执行，一般以数小时或天为单位；总数据量不大，可以单组表存储；支持追加和更新两种模式。每次数据…

怎样做数据库运算性能测试？ | 数据计算

新出现的数据库产品通常会标榜自己的运算速度“最快”、“更快”，但在实际应用中却常常达不到让人满意的性能。因此，事先做好运算性能测试，是数据库选型成功的关键。很多用…

实时更新例程 | 数据计算

1 应用场景和【实时追加例程】的应用场景类似，所不同的是需要对数据进行更新。本例程适用于具有如下特征的数据表的更新：对数据更新的实时性要求很高、数据更新周期很…

SPL 计算性能系列测试：漏斗分析 | 数据计算

一、测试任务电商业务中漏斗分析是常见的统计需求。用户使用智能设备购物时，系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event，比如：访问网站，…

定期小量主动更新例程 | 数据计算

组表是SPL重要的文件存储格式。组表文件不支持在读取时同时写入，为保证高性能，组表还常常要求数据有序存储。数据不是一成不变的，还需要持续追加或更新，新产生数据的次…

实时追加例程 (分表) | 数据计算

1. 应用场景本例程适用于具有如下特征的数据表的追加：对数据追加的实时性要求很高、数据追加周期很短、任意时刻均有可能追加；数据只有追加无删除修改的需求；单次追加…

SPL 计算性能系列测试：位置关联 | 数据计算

一、测试任务基于位置计算两个实体之间的距离，进而决定是否建立关联关系。这是典型的非等值关联运算，此时不能再使用 HASH 方法来优化。任务原型来自国家天文台的星体…

应用中的数据业务：Java 还是 SQL？ | 数据计算

应用中的数据业务通常涉及持久化数据的访问、数据计算和流程处理。数据库中的持久化数据可以用 SQL 计算，存储过程的 loop/if 语句可以进行流程处理，JDBC（含 ODBC）可以…

应用成本低出 N 倍的数据分析引擎 esProc SPL | 数据计算

【本篇可结合 https://c.raqsoft.com.cn/article/1699245988919 阅读】目前网上有很多涉及 esProc SPL 的帖子，有方案介绍、测试报告、案例 ..

有序存储对于高性能的意义 | 数据计算

有序存储是指将数据按照某些字段排序后再存储。在此基础上，我们可以实现某些高性能算法，利用数据有序的特征来降低计算复杂度，从而大幅提高计算性能。免索引直接找在…

如何实现快速多指标计算 | 数据计算

在统计分析应用中，从明细数据计算出来的各种指标是支撑业务的重要数据。但是，要做到快速而且灵活的多指标计算，后台数据源面临多个难题。多指标计算的一个难题是涉及的…

可路由计算引擎实现前置数据库 | 数据计算

很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展，中央数据仓库的负载在持续增加。一方面，数仓是前端应用的数据后台，而前端应用不断增多，用户…