大数据技术笔记

我觉得在深入理解大数据各个组件之前需要对大数据系统的一些概念有初步的了解，比如大数据是如何处理海量数据的计算和从中创造价值，关键就是分布式地数据计算，通过数据建模、数据分析等方法对数据🈯PG电子官网进行演算，最终产生数据背后的价值信息。所以，数据大多数情况下首先需要结构化存储，也就是像关系型数据库那样由包含多个字段的表存储，然后提供一些算子函数例如map，reduce进行计算，这样数据分析人员为得到期望的数据就可以写由map、reduce等算子构成的程序去计算。但是这样其实是比较麻烦的，因。

大数据的定义

5.智慧城市 城市管理者利用大数据优化交通流量、能源使用、公共安全和城市规划。6.制造业 通过物联网（IoT）收集的数据，制造业可以进行预测性维护，提高生产效率和产品质量。7.教育领域 通过对学生学习数据的分析，为每位学生创设量身定做的个性化课程，提高教学效果。8.交通领域 大数据技术可以预测交通流量，为改善交通状况提供优化方案，防止和缓解交通拥堵。9.传媒领域 传媒企业通过大数据收集和分析用户兴趣偏好，推送个性化的新闻、文章和视频内容。10.安防领域 利用大数据技术实现视频。

农业银行获得发明专利授权：“一种大数据流转方法、装置、电子设备及存储介质”

证券之星消息，根据天眼查APP数据显示农业银行（601288）新获得一项发明专利授权，专利名为“一种大数据流转方法、装置、电子设备及存储介质”，专利申请号为CN202511074788.7，授权日为2025年4月8日。 专利摘要：本发明提供一种大数据流转方法、装置、电子设备及存储介质，若与预设调度时间对应的数据流转任务的数据流转方向为数据抽取，从数据抽取配置信息指示的源数据库中，抽取相应的数据至数据抽🔵PG电子官网取配置信息指示的Hadoop数据库中相应的第一目标数据表；根据数据抽取转换配。

【大数据】重塑时代的核心技术及其发展历程-CSDN博客

2、数据存储 数据存储是大数据技术体系中的核心部分，指的是将采集到的数据按照一定的结构和格式进行存储，以便后续的查询、分析和处理。由于大数据具有海量性、多样性和高速性等特点，传统的存储技术已经无法满足需求，因此，专门针对大数据设计的存储技术和架构应运而生。数据存储的关键技术 分布式文件系统：如HDFS（Hadoop Distributed File System），HDFS是大数据存储的基础，它将大文件拆分成小块并分布式存储在集群的多个节点上，具🌽有高可靠性和可扩展性。

大数据-Big Data

大数据处理技术 大数据技术包括数据采集、数据存储、数据处理和数据分析等多个方面。一些流行的大数据处理技术包括： -Hadoop：一个开源框架，允许分布式处理大型数据集，以简单的编程模型在大批计算机集群上处理数据。-Spark：一个快速的大数据处理引擎，支持在内存中运行程序，速度比Hadoop MapReduce快很多。-NoSQL数据库：如HBase🏮、Cassandra和MongoDB，适合处理非结构化数据。-数据仓库和商业智能工具：如Amazon Redshift、Goog。