拓源讲堂(五) | 大数据技术介绍与应用–基础篇###
“拓源讲堂”第五讲来了!本期内容的主题是“大数据技术介绍与应用——基础篇”。
随着互联网的发展和云时代的到来,大数据成为了很多人关注的方面。那具体什么是大数据技术呢?小编这就带你一探究竟,让我们共同开启大数据的奥妙之旅吧!
05
大数据技术介绍
与应用
课程分为3个部分对大数据知识进行了基础介绍。
o 大数据介绍
2015年9月,国务院印发《促进大数据发展行动纲要》。《纲要》部署三方面主要任务——
一要加快政府数据开放共享,推动资源整合,提升治理能力。大力推动政府部门数据共享,稳步推动公共数据资源开放,统筹规划大数据基础设施建设,支持宏观调控科学化,推动政府治理精准化,推进商事服务便捷化,促进安全保障高效化,加快民生服务普惠化。
二要推动产业创新发展,培育新兴业态,助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用,推动大数据发展与科研创新有机结合,推进基础研究和核心技术攻关,形成大数据产品体系,完善大数据产业链。
三要强化安全保障,提高管理水平,促进健康发展。健全大数据安全保障体系,强化安全支撑。
大数据一般具有5V(大量-Volume、高速-Velocity、多样-Variety、低价值密度-Value、真实-Veracity)特征及复杂性和可变性。数据种类可包括结构化、半结构化、非结构化数据,数据量可达到百亿以上及 PB 级别。
大数据的发展历程主要分为以下四个阶段:
(1)无大数据概念
-
只有部分关键数据历史分析还称不上大数据
-
能产生数据但没有采集
(2)了解大数据
-
运营过程发现大数据产生
-
有数据流处理过程但过程数据未作保留
(3)大数据管理
-
针对业务过程开始收集大数据
-
对数据进行分析并改善生产能力
(4)大数据创新
-
大数据与AI结合预测结果和改进生产能力
-
互联网+大数据创新,实现智能化管理
o 大数据技术四部分
大数据技术可分为四个部分(4D),分别是大数据采集(DI)、大数据存储(DS)、大数据计算(DC)以及大数据分析&应用(DA)。
o 大数据技术的使用
(1) 数据采集-Data Integration
数据采集的来源根据不同的数据类型和场景,可分为关系及非关系型数据库,应用产生的日志,多媒体文档以及消息类型的数据。不同的类型的数据需要采用不同的数据采集方式。
(2) 大数据存储-Data Storage
大数据存储的方式也有多种多样,如文档存储可采用 DFS,关系型数据可采用 Hive 或 Clickhouse,K-V 型数据可以采用HBase。一般会根据数据的类型及使用场景选择一种或多种的存储方式。大数据存储一般也配搭传统关系数据库作为辅助,如存储索引、统计结果等。
(3) 大数据计算-Data Compute
大数据计算通常可分为流式计算,内存计算。也可以是基于 SQL 的运算,如 Presto 等。
(4) 大数据分析&应用-Data Application
大数据应用场景很广泛,常见的就是 BI 报表或统计报表、分析报表,也可以直接提供数据服务。
(5) 企业应用大数据平台
以上就是本期“大数据技术介绍与应用——基础篇”的所有内容,希望通过本期内容的分享,能够帮助大家对大数据技术知识体系有简单的了解与认知,便于大家后续对大数据技术有更深层次的学习。
之后,“拓源讲堂”依旧继续推进2022年技术分享交流计划,按照技术热点及公司技术产品进展为大家实时更新更多技术分享。
课程除了通过线下讲堂/线上视频课堂的方式进行培训,还会不定期通过「恒拓开源」与「恒赢智航」的微信公众号发表技术文章,欢迎大家关注实时动态,并参与进分享学习的大军,一起用领先的技术推动行业进步!
拓 源 讲 堂
2022年度技术交流分享计划
序号 |
分享 题目 |
内容 梗概 |
课程回顾 |
1 |
微服务架构相关技术介绍 |
微服务架构漫谈,微服务架构及相关的技术介绍,技术中台发展方向 |
|
2 |
容器化技术介绍与应用-Docker |
普及 Docker 相关的基础知识及应用场景,Docker 的安装使用等线上实践教学 |
|
3 |
容器化技术介绍与应用-K8S |
容器化技术的高级课程,介绍 K8S 原理及安装使用等实践教学,介绍 K8S 相关的技术 |
|
4 |
信创基础知识入门 |
了解信创是什么;我们为什么需要推行信创;信创有哪些相关的相术 |
|
5 |
大数据技术介绍与应用1 |
介绍目前大数据相关的技术,为初识大数据技术的人员提供入门基础 |
本期 图文 |
6 |
大数据技术介绍与应用2 |
深入介绍大数据的实用技术,如 Hadoop 的安装使用等及应用场景案例等,为实践大数据项目提供经验参考 |
待开展 |
7 |
区块链技术介绍 |
带大家了解区块链,区块链技术介绍、产品及应用场景 |
待开展 |
8 |
低代码平台介绍 |
什么是LCNC,低代码平台技术介绍、行业适用场景 |
待开展 |
9 |
AI技术介绍与应用1 |
了解 AI 技术,语音/图像/人脸识别/机器学习 |
待开展 |
10 |
AI技术介绍与应用2 |
AI 技术的应用,语音/图像/人脸识别/机器学习 |
待开展 |
11 |
信创技术介绍与应用 |
介绍项目如何做到信创兼容,信创技术在项目中的应用 |
待开展 |
12 |
BI技术介绍与应用1 |
介绍目前的 BI 技术及产品,为初识BI技术的人员提供入门基础 (非 BI 理论介绍) |
待开展 |
13 |
BI技术介绍与应用2 |
深入介绍BI 技术的应用,如 Presto,SuperSet 等应用实践 |
待开展 |
14 |
前端技术介绍与应用 |
漫谈前端技术,除了 VUE、React,还有哪些好用的前端技术及 UI 框架 |
待开展 |
15 |
新兴语言介绍 |
除了 Java、.Net 等常见的编程语言,还有哪些新兴编程语言是有比较前景的,希望通过本次学习能让大家扩充编程技能提升自身价值 |
待开展 |
16 |
规则与决策技术介绍 |
介绍规则与决策技术,我们在项目方案过程可以借鉴哪些规则引擎产品的实施经验 |
待开展 |
17 |
Serverless介绍 |
Serverless这个技术随着微服务出现在人们的视野,这里介绍Serverless有哪些相关技术,如何实现Serverless |
待开展 |
18 |
其他技术介绍与应用 |
聊聊我们都可能接触的技术 |
今天的文章拓源讲堂(五)|大数据技术介绍与应用–基础篇分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/59394.html