DATA2001：数据科学：大数据和数据多样性作业辅导

DATA2001：数据科学：大数据和数据多样性作业辅导本课程侧重于有效探索和分析大数据收集的方法和技术。整个城市的行人交通事故热点在哪里?根据用户在旅游网站上发布的信息，最受欢迎的旅游地点是哪些?组合和分析来自各种来源和数据库的数据的能力对于研究和行业中明智的决策至关重要。学生将学习如何从数据科学项目中通常遇到的各种数据模型中提取，合并和汇总数据，例如关系，半结构化，时间序列，地理空间，图像，文本。除了通过使用相关Python库的经验来增强其编程技能外，本课程还将向学生介绍使用SQL进行声明式数据处理的概念，并分析关系数据库中的数据。将向学生提供来自例如的数据集。，社交媒体，运输，卫生和社会科学，并在小用例的背景下教授基本的探索性数据分析和挖掘技术。本课程将使学生进一步了解分析大数据量所涉及的挑战，例如在多台计算机之间分配和分配数据以及进行计算以处理“大数据”的想法。

细节入学规则学习成果完成本单元后，您应该能够：

LO1 。使用适当的Python库来自动化各种数据上的数据科学活动

LO2 。摄取，合并和汇总来自各种数据模型的数据

LO3 。展示处理各种数据集(包括关系，半结构化，时间序列，地理位置，图像，文本)的经验，包括结合不同类型数据的经验

LO4 。了解并产生声明性查询以从数据集中提取适当的信息，包括使用SQL的能力

LO5 。了解分析“大数据”的主要挑战：数据量，多样性，速度，准确性

LO6 。了解数据量对数据处理的影响，并了解解决此问题的方法，例如索引，压缩，数据分区和分布式处理框架(Hadoop)。

LO7 。在处理数据时表现出对隐私问题的意识