大数据_新余站长网

如何利用图像识别、语音识别、文本挖掘做好鉴黄？

所属栏目：[大数据] 日期：2020-12-31 热度：153

人工智能鉴黄市场竞争愈发激烈，目前图普科技、阿里绿网、腾讯万象优图等团队已占据大量市场份额，在此环境下，不少公司试图通过提供更全面的服务从这片红海中分一杯羹。那么更全面的定制服务体现在哪些地方？雷锋网(公众号：雷锋网)特地采访了极限元 CEO[详细]
打包带走！史上最全的大数据分析和制作工具

所属栏目：[大数据] 日期：2020-12-31 热度：109

来源：数之联大数据（ID：unionbigdata）工欲善其事，必先利其器。作为在大数据领域摸爬滚打叱咤风云的伙计们，也应当有一些实用工具来辅助工作日常。下面是小编精心整理的一些经检测非常实用的工具及网站，呈给大家~~ 数据可视化工具说到数据呈现，必然[详细]
[bigdata-027] 最好用的 python+mysql的包：pymysql

所属栏目：[大数据] 日期：2020-12-31 热度：127

pip3 install pymysql import? pymysqlconn = pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='tiger88',db='spider_phone',charset='utf8')c = conn.cursor()c.execute('select * from phone_info limit 1;')r = c.fetchone()print(r)prin[详细]
数据可视化：手把手打造BI

所属栏目：[大数据] 日期：2020-12-31 热度：172

本文是如何七周成为数据分析师的第六篇教程，如果想要了解写作初衷，可以先行阅读七周指南。温馨提示：如果您已经熟悉BI，大可不必再看这篇文章，或只挑选部分。我们上一篇数据可视化：教你打造升职加薪的报表教大家如何制作清晰美观的报表以及相应技巧[详细]
下一代大数据处理平台Apache Beam成为Apache顶级项目

所属栏目：[大数据] 日期：2020-12-31 热度：59

Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业，成为Apache的顶级项目 Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目，被认为是继MapReduce，GFS和BigQuery等之后，Google在大数据处理领域[详细]
26、Power Query-日期与时间数据处理实例（统计出某年各月各周的

所属栏目：[大数据] 日期：2020-12-31 热度：181

本节重点：Power Query-日期与时间数据处理实例（统计出某年各月各周的借书人数）需求如下：上图所示，根据左侧的数据源，统计出2016年各月各周的借书人数（效果如右侧所示）。分析：很明显，这个需求是对日期的一个操作，其实仅需要用到左侧的第一列即可[详细]
[bigdata-028]apache nifi 从mysql导出数据到hbase

所属栏目：[大数据] 日期：2020-12-31 热度：198

0.在hbase节点，启动thrift服务 hbase-daemon.sh start thrift 1. 在本机启动nif ./bin/nifi.sh start 2. 在浏览器输入http://localhost:8080/nifi，看到nifi的界面 3. 拖一个processor ExecuteSQL到界面 ??? 3.1 在processor上点击右键，选择configure，点[详细]
pyhive 连接 Hive 时错误

所属栏目：[大数据] 日期：2020-12-26 热度：189

一、User: xx is not allowed to impersonate xxx' 解决办法：修改 core-site.xml 文件，加入下面的内容后重启 hadoop 。 property namehadoop.proxyuser.xx.hosts/name value*/value/propertyproperty namehadoop.proxyuser.xx.groups/name value*/value/pr[详细]
分布式基础通信协议：paxos、totem 和 gossip（转载）

所属栏目：[大数据] 日期：2020-12-26 热度：182

背景：在分布式中，最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题，涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。简单即有效——totem协议: totem协议也[详细]
Hive 导入 parquet 格式数据

所属栏目：[大数据] 日期：2020-12-26 热度：103

Hive 导入 parquet 数据步骤如下：查看 parquet 文件的格式构造建表语句倒入数据一、查看 parquet 内容和结构下载地址社区工具 GitHub 地址命令查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parque[详细]
Presto 常用配置及操作

所属栏目：[大数据] 日期：2020-12-26 热度：133

一、介绍 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。推荐阅读 Presto实现原理和美团的使用实践二、安装 2.1[详细]
大数据的技术生态概述（转载）

所属栏目：[大数据] 日期：2020-12-26 热度：151

如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各[详细]
九种常见的数据分析模型

所属栏目：[大数据] 日期：2020-12-26 热度：85

1. 漏斗分析模型漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的[详细]
大数据领域常用技术栈

所属栏目：[大数据] 日期：2020-12-26 热度：92

提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发[详细]
Databricks说的Lakehouse是什么？

所属栏目：[大数据] 日期：2020-12-26 热度：174

? 在过去的几年里，Lakehouse作为一种新的数据管理范式，已独立出现在Databricks的许多用户和应用案例中。在这篇文章中，我们将阐述这种新范式以及它相对于之前方案的优势。数据仓库在决策支持和商业智能应用方面有着悠久的历史。自20世纪80年代末问世以来[详细]
《Speed-BI云平台-基于Excel数据源的技巧应用：区域销售收入分析

所属栏目：[大数据] 日期：2020-12-26 热度：74

对于刚接触speed-BI的朋友们，一些看似很简单很琐碎的动作，当没有小窍门和智能化的操作就会使得工作量变大，时间耗起来真要命。本次课就将围绕speed-BI常用的功能进行串讲，还有特别的小技巧一并教授，成为speed-BI的技巧王！ ? 课程应用：本次课程以销售[详细]
[bigdata-042]从头搭建 spring+mvc+boot+tomcat

所属栏目：[大数据] 日期：2020-12-26 热度：181

1. 需求 1.1 在spring.io下载一个spring mvc的demo，能运行成功。 1.2 按照自己的理解，重写这个例子，并做适当修改，运行成功。 1.3 将这个例子打包成war包，放到tomcat运行成功。 2. 在spring.ip下载spring mvc并运行 2.1 spring的例子在 http://spring.io[详细]
[bigdata-043] tomcat的一些资料和文档试用（未整理）

所属栏目：[大数据] 日期：2020-12-26 热度：167

1. tomcat的官网在这里 http://tomcat.apache.org/whichversion.html 2. tomcat的版本跟jdk相关。jdk1.8已经广泛使用，选择tomcat 9优先。 3. 下载tomcat 9 3.1 首先要阅读文档 https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-9/v9.0.0.M17/REA[详细]
[bigdata-044] CDH的官方文档部分翻译（未整理且未完成）

所属栏目：[大数据] 日期：2020-12-26 热度：155

1. cloudera官网 http://www.cloudera.com/ 2. cloudera文档 http://www.cloudera.com/documentation.html 3. 文档分为三个部分 ? 3.1 cloudera enterprise: cdh,cloudera manger,search,impala,spark。 ? 3.2 cloudera director: 安装指南，配置，以及使用c[详细]
慧眼云：基于云计算和大数据分析的主动防御实践

所属栏目：[大数据] 日期：2020-12-26 热度：181

http://www.csdn.net/article/1970-01-01/2825623 不论IT如何变迁，网络安全始终是不过时的话题。但不同环境的网络安全有不同的内涵，当前全产业转型“互联网+”，云计算、大数据和移动互联网技术的普及应用，极大地改变了IT架构，网络边界越来越模糊，同时[详细]
[bigdata-045] redis故障处理 #34;Can#39;t save in backg

所属栏目：[大数据] 日期：2020-12-26 热度：131

发现官网出错了。经过检查，发现连接不到redis。检查redis的log，发现错误 Can't save in background: fork: Cannot allocate memory 搜索相关资料，这里说的比较详细 http://www.cnblogs.com/qq78292959/p/3994341.html http://blog.csdn.net/zqz_zqz/artic[详细]
[bigdata-046] eclipse+spring开发web然后部署到tomcat

所属栏目：[大数据] 日期：2020-12-26 热度：88

1. 用eclipse开发spring，需要使用相关的ide 2. spring官网的ide https://spring.io/tools/eclipse 3. spring的tool suite https://spring.io/tools/sts 这个是专用开发spring的。选择 https://spring.io/tools/sts/all 这里的linux64版本。 4. 在eclipse e[详细]
大数据分析与处理

所属栏目：[大数据] 日期：2020-12-26 热度：189

? ? 一、大数据分析与处理 1.文件批处理 ??????以MapReduce、Hive为典型代表，批处理模式解决了传统的数据仓库无法处理海量数据的难题。通过批处理计算引擎，使得海量数据分析成为可能。没有批处理引擎的诞生，也就没有今天风风火火的大数据。 ??????数据通[详细]
新飞电器的BI建设案例

所属栏目：[大数据] 日期：2020-12-26 热度：149

一、河南新飞电器简介河南新飞电器在制造行业内属于领先地位，其信息化程度较高，面对系统多且杂乱的情况，一个集中展示数据的平台就显得尤为重要。使用BI就是为了在一个相对统一的平台展示需要查看的数据，供决策层进行分析查看，从而做出更加有依据的判断[详细]
Gartner发布2017年商业智能（BI）魔力象限报告――云商业智能工

所属栏目：[大数据] 日期：2020-12-26 热度：124

对我来说，等待Gartner发布最新一期的Gartner商业智能魔力象限报告，看看有哪些最新的意外总是一件令人兴奋的事情。今年的魔力象限报告包括几个意外，并且对这个市场的现状以及未来发展方向发表了几点想法。 2017年的魔力象限看起来像这样： Gartner还没有[详细]

3607

107