-
技术向:如何设计企业级大数据分析平台?
所属栏目:[大数据] 日期:2021-05-30 热度:106
传统企业的OLAP几乎都是基于关系型数据库,在面临“大数据”分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉。 突破设计原则 建设企业的大数据管理平台(Big Data Management Platform),第[详细]
-
N个数,求第K大数
所属栏目:[大数据] 日期:2021-05-30 热度:108
今天同学给我出了一道题是这样的: 有n个 不重复 的数,这n个数可以放入内存中,让你用最快的方法找到第k大的数。 解答: 一般情况我们可能考虑,先将n个数排序(快排序、堆排序),然后可以得到结果。但是当n很大时这样做的效率会很低。所以我们提出一种更[详细]
-
51Nod-1005-大数加法
所属栏目:[大数据] 日期:2021-05-30 热度:136
今天遇见一道细节问题特别多的题,写得我眼疼,题本身不难,难得是他的细节问题繁多,需要考虑的情况也甚多,稍有不慎就侧漏了,哈哈。题的思路也很清晰,就是将最后的结果的正负的符号分离出来,剩下的就是高精度的加减法了,利用字符串处理即可,效率可以[详细]
-
【983】大数据实操:社交数据在征信领域的分析应用
所属栏目:[大数据] 日期:2021-05-30 热度:145
本文主要内容由社交征信背景、社交网络数据分析、个体用户画像研究、社交圈子研究、模型建设及应用这五部分构成,下面文章将逐一介绍。 一、社交征信背景 征信不是一个简单的由征信进行评分的模型,而是由数据公司、征信公司、征信使用方三部分组成。数据公[详细]
-
如何存一个大数
所属栏目:[大数据] 日期:2021-05-30 热度:189
题目: ? ? 输入数字n,按顺序打印出1到最大的n位十进制数。比如输入3,则打印出1,2,3,一直到最大的3位数即999。 ? ?此题看起来简单,当我刚开始看到问题后,首先想到的就是先求出最大值,然后在一个一个打印出就ok啦。但是仔细理解题意,并没有告诉n的取值[详细]
-
基因数据处理18之基因序列生成工具wgsim安装和使用
所属栏目:[大数据] 日期:2021-05-30 热度:149
1.下载: https://github.com/lh3/wgsim 可以git或者zip 2.安装: gcc -g -O2 -Wall -o wgsim wgsim.c -lz -lm 3.数据下载:可以使用bwakit下载: https://github.com/lh3/bwa/tree/master/bwakit 下载: bwa.kit/run-gen-ref hs38DH 4.使用方法和默认配置:[详细]
-
BI 商业智能/数据仓库实施杂谈
所属栏目:[大数据] 日期:2021-05-30 热度:64
从最初接触BI商业智能到现在已经十多年的时间,一直以乙方角色工作。今天忽然想就BI在甲方公司的应用情况做些总结,以及提一些设想,也希望有兴趣的朋友一起交流。与具体工具无关,偏重于方法论的讨论。 早期的BI实施情形大概类似于这样,大家都没太经历过BI[详细]
-
基因数据处理19之BWA匹配算法串产生、匹配、评价等整体流程
所属栏目:[大数据] 日期:2021-05-30 热度:103
环境: ubunut BWA samtools wgsim bwa.kit工具 1 .数据下载:需要在bwa.kit下 bwa.kit/run-gen-ref hs38DH 2.串产生: hadoop@Mcnode1:~/cloud/adam/xubo/data/hs38DH$ wgsim -N 1000 -1 10 hs38DH.fa span style="font-family: Arial,Helvetica,sans-serif[详细]
-
bzoj1670【Usaco2006 Oct】Building the Moat 护城河的挖掘
所属栏目:[大数据] 日期:2021-05-30 热度:130
1670: [Usaco2006 Oct]Building the Moat护城河的挖掘 Time Limit:? 3 Sec?? Memory Limit:? 64 MB Submit:? 387?? Solved:? 288 [ Submit][ Status][ Discuss] Description 为了防止口渴的食蚁兽进入他的农场,Farmer John决定在他的农场周围挖一条护城河。[详细]
-
作为架构师,你应该如何挖掘真正的业务需求?
所属栏目:[大数据] 日期:2021-05-30 热度:164
在上一篇文章中,作为架构师的你,已经了解到业务人员需要什么以及如何在收集用户故事的过程中识别需求。在那篇文章里,我还描述了用户故事模板: 为了避免 需要解决的问题, 作为 角色 我想要 功能; 为了获得 预期的利益, 作为 角色 我想要 功能。 这两种[详细]
-
文本挖掘----基于OCR的文档关键字提取
所属栏目:[大数据] 日期:2021-05-29 热度:104
前言 紧急添加:有人反馈看不懂。那是因为没有看姐妹篇,《你有没有想到,这样的观点挖掘引擎?》。请先阅读本文,再继续看下去! 做了一段时间的OCR,把大量的图片、PDF处理成了文本。请注意:这些文本在互联网上属于稀有资源。这些文本以前都放在一个盒子[详细]
-
51Nod-1027-大数乘法
所属栏目:[大数据] 日期:2021-05-29 热度:182
给出2个大整数A,B,计算A*B的结果。 Input 第1行:大数A 第2行:大数B (A,B的长度 = 1000,A,B = 0) Output 输出A * B Input示例 123456 234567 Output示例 28958703552 水题,不多解释了,就是字符串的处理! 代码C: #include stdio.h #include string.h[详细]
-
HDU 5666 Segment(大数+gcd)
所属栏目:[大数据] 日期:2021-05-29 热度:104
大意:给定一个直线方程x+y=p;(p为质数)求在第一象限围城的区域里格子的点数有多少。 思路:一条直线上的格子点数为gcd(x,y),那么我们可以直接用三角形上加内的总点数减去在直线上的点数那么在直线上的点数为gcd(x,y)=gcd(x,y-x)(yx)=gcd(x,p-y)=gcd(x,p)=[详细]
-
基于3D彩票Knn算法的遗漏模式挖掘
所属栏目:[大数据] 日期:2021-05-29 热度:131
作者:白于空 关于3D彩票的介绍:略 摘要:根据遗漏模型;建立 期望遗漏,当前遗漏,平均遗漏,最大遗漏,遗漏方差 进行knn分类;挖掘模式; 直接在代码中传递表达信息;结论预测精度比期望值约高20%; import numpy as npimport pandas as pddata = pd.read_[详细]
-
大数据下BI产品如何发挥最大价值
所属栏目:[大数据] 日期:2021-05-29 热度:62
看到这个题目,你是否总感觉云里雾里?你是否真正懂什么叫“大数据”?商业智能BI和大数据又有着什么千丝万缕的联系?为什么说商业智能BI能在大数据中发挥价值? 大数据,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到[详细]
-
帆软FineBI:人人可用的自助型BI,数秒呈现数据可视化
所属栏目:[大数据] 日期:2021-05-29 热度:179
今天给大家介绍一款上手度极低、可用做数据可视化的工具——帆软商业智能FineBI(www.finebi.com),它简单易用,人人可用,可以让业务人员自主、灵活、多样的可视化分析,无需任何技术,数秒实现数据可视化。借助FineBI,企业可以充分发掘数据价值,告别数[详细]
-
数据处理(一)
所属栏目:[大数据] 日期:2021-05-29 热度:141
在实际项目开发中,归档解档以及writetofile用的相对较少,但也必须了解一下。 归档解档 一、归档解档的理解如下: /** * 可以存储自定义模型对象 * 1.归档相对于polist存储而言,它可以直接存储自定义模型对象,而polist文件需要将模型转化为字典才可以存储[详细]
-
PAT 1007 A除以B (20) (大数取余+除法)
所属栏目:[大数据] 日期:2021-05-29 热度:117
思路:串的处理。 #includemap #includequeue #includecmath #includecstdio #includestack #includeiostream #includecstring #includealgorithm #define ll long long #define inf 0x3f3f3f3f #define eps 1e-8 #includevector #define ls l,mid,rt1 #defi[详细]
-
科普:大数定律和赌博
所属栏目:[大数据] 日期:2021-05-29 热度:178
1713年,数学家伯努利严格的证明了概率论上第一个极限定理:大数定律。这个定理的意思是,当统计样本数量趋近于无穷大时,随机事件的概率将趋近于一个稳定值。 为了验证这个定理,伯努利还曾经扔了2万多次硬币,来描述这个定理,当扔硬币次数到2万次左右时,[详细]
-
BI数据仓库构建和BI数据分析应用
所属栏目:[大数据] 日期:2021-05-29 热度:106
BI 数据仓库 是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中,数据仓库的构建是关键,是商业智能系统的基础,承担对业务系统数据整合的任务,为商业智能系统提供数据抽[详细]
-
如何通过流程挖掘改进业务步骤
所属栏目:[大数据] 日期:2021-05-29 热度:87
流程挖掘的定义 流程挖掘是一种方法,通过这种方法,组织可以从现有的系统中收集数据,以客观地可视化业务流程是如何运行的,以及如何改进它们。从流程挖掘中获[详细]
-
【干货】你不得不知道的11款BI工具
所属栏目:[大数据] 日期:2021-05-29 热度:59
BI (BusinessIntelligence)即商业智能,越来越多的智能软件供应商推出可视化数据分析工具,应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO,自助式分析工具已经让数据产品链条变得大众化。为了[详细]
-
趣图:论医生和修电脑的相似性
所属栏目:[大数据] 日期:2021-05-29 热度:52
(点击 上方公众号 ,可快速关注) 《转发一张趣图:论医生和修电脑的相似性》 点击“ 阅读原文 ”,可查看更多 趣图/段子 ↓↓↓? (支持微信登录)[详细]
-
【数字智能三篇】之一: 一页纸说清楚“什么是大数据”
所属栏目:[大数据] 日期:2021-05-29 热度:179
按:【数字智能三篇】 目前“大数据”、“推荐系统”、“深度学习”是数字智能领域的热点研究方向,相关的书籍也很火热,比如“大数据”仅这两年就出版了很多本,让一般人看的眼花缭乱。 本系列共分三篇,力求仅以一页纸的篇幅来系统完整地介绍以上这三个方[详细]
-
C语言超大数相加求和、加减乘除算法实现
所属栏目:[大数据] 日期:2021-05-29 热度:176
#include?stdio.h#include?stdbool.h#include?string.h#include?stdlib.h#define?MAXLEN?20int?arr1[MAXLEN];int?arr2[MAXLEN];char?str1[MAXLEN];char?str2[MAXLEN];void?convertBin(int?intNum)?{???static?int?bitSize?=?32;???int?modBin?=?intNum??1;??[详细]