高级数据库系统 复习提纲

如有侵权或其他问题欢迎留言联系更正或删除。目录第一章 数据库技术的回顾与发展第二章 数据库系统体系结构第三章 数据库安全性第四章 数据库调优第五章 数据库恢复最后一题第一章 数据库技术的回顾与发展简述三代数据库的发展历史及其对应特点新型数据库在“数据模型”上的创新简述数据库和什么相关技术结合产生了什么新型数据库1. 数据库和并行处理技术结合产生“并行数据库”通过多处理机并行运行提示系统整体性能2. 数据库和分布式系统结合产生“分布式数据库”将数据存储在多台主机上通过网络协调来共同提供数据服务3. 数据库和人工智能技术结合产生“知识库系统、主动数据库系统”提供对紧急情况的及时反应能力4. 数据库和多媒体技术结合产生“多媒体数据库”管理多媒体信息5.数据库和移动通信技术结合产生“移动数据库”支持移动式计算环境。简述数据库应用于什么领域产生了什么新型数据库1. 数据库应用于“工程领域”产生了“工程数据库”为工程设计提供各类服务2. 数据库应用于“地理信息领域”产生了“空间数据库”能够存储、查询、显示空间数据3. 数据库应用于“计划、统计领域”产生了“计划数据库”用于管理生产计划信息4. 数据库应用于“决策支持系统、企业信息系统”产生了“数据仓库”。数据库技术的研究热点有哪些NOSQL、信息集成、数据流管理、传感器数据库技术、XML数据管理、移动数据管理、微小型数据库 ......未来数据库的发展趋势主要体现在以下几个方面1. 技术方面- 融合化与智能化多模型数据库支持多种数据模型满足复杂应用的多样化数据处理需求如关系型、文档型、图数据模型等融合。数据库将深度融合人工智能和机器学习技术实现智能运维、智能查询优化、智能化的数据管理和分析等功能。- 分布式与并行化分布式架构继续深化数据分散存储在多个节点上实现高并发访问和高可用性可水平扩展以适应不断增长的数据规模。并行计算技术在分布式数据库基础上更广泛应用提高数据处理速度和效率。- 云化与服务化云数据库成为主流可根据业务需求快速弹性伸缩灵活调整资源配置降低企业运营成本。数据库即服务DBaaS模式发展企业通过网络访问和使用数据库服务专注核心业务开发。2. 安全隐私方面- 数据安全强化采用多因素认证、访问控制、数据加密、数据脱敏等先进安全技术保障数据安全性和隐私性同时严格安全审计和监控。- 隐私保护发展隐私计算技术如同态加密、差分隐私、安全多方计算等在数据库中广泛应用确保在数据共享和使用过程中不泄露原始数据。3. 应用与行业方面- 应用场景拓展随着物联网、区块链、5G等新兴技术的发展数据库与这些技术的融合应用将拓展到更多新场景如物联网中的时序数据库、区块链中的分布式账本数据库等。- 行业定制化加深针对不同行业如金融、电信、医疗、能源等的特殊需求提供更加定制化的解决方案满足企业个性化管理需求。4. 新兴技术方面- 与大数据深度融合数据库与大数据技术紧密结合具备更好的大数据处理能力可与大数据平台无缝对接实现数据的高效存储、转换和分析。- 与区块链结合探索利用区块链技术的去中心化、不可篡改等特性构建更加安全、可信的数据存储和管理系统在金融、供应链等领域有潜在应用。- 向量数据库兴起为应对大模型和AI的需求向量数据库崛起可结合AI技术进行智能化的数据处理满足大规模的数据查询需求。第二章 数据库系统体系结构DBMS的层次结构1. 语言处理层 的功能接收 DB 语句转换成内部表示顺序调用内部的存取模块2. 逐步绑定 (bind)将 DML语句 → 可执行的存取动作执行前 ---- “预编译” 方法执行时 ---- “解释” 方法“绑定” 时刻 的 权衡越先绑定效率高数据独立性差3. “预编译” 方法 失效 —— 重编译4. 存取层 的功能单次单元组的增删查改、提供并维护存取路径、对记录和存取路径的封锁、解锁对日志文件的登记、读取其他辅助操作。oracle 数据库 的 体系结构注意DBMS层次结构应用层处理各种各样的数据库应用是RDBMS与用户、应用程序的界面层语言翻译处理层处理数据库语言如SQL向上提供的数据接口是元组的集合数据存取层介于语言层和数据存储层之间向上提供单元借接口向下则以系统缓冲区的存储器接口作为实现基础处理单个元组把集合操作化为但记录操作并执行数据存储层处理数据页和系统缓冲区。Oracle体系结构存储结构: 由逻辑存储、物理存储组成内存结构: 由SGA、PGA组成进程结构: 由用户进程和Oracle进程包括服务进程和后台进程组成其中内存结构、进程结构合称为一起被称为Oracle实例存储部分称为数据库。第三章 数据库安全性问题提出数据共享 → 安全性 → 数据共享并非 “无条件” 共享数据安全的基本要求1. 机密性2. 完整性3.可用性什么是数据库的安全性指保护数据库以防止不合法使用所造成的数据泄露、更改、损坏。对数据库安全性产生威胁的因素(1) 非授权用户对数据库的恶意存取和破坏 —— 包括用户身份鉴别、存取控制、视图等技术(2) 数据库中重要或敏感的数据被泄露 —— 强制存取控制、数据加密存储、加密传输等(3) 安全环境的脆弱性 —— 加强计算机系统的安全性保证建立完善的可信标准数据库安全现状和未来展望数据库安全旨在保护数据库免受未经授权的访问、修改、破坏以确保数据的机密性、完整性、可用性。1. 威胁和挑战当前数据库安全面临多重威胁及挑战包含(1) 非授权用户对数据库的恶意存取和破坏(2) 数据库中重要或敏感的数据被泄露(3) 数据库安全环境存在脆弱性通常由于 “权限管理失当、系统存在漏洞、安全意识淡薄” 等原因所导致。数据库安全问题将带来严重后果因此加强数据库安全防护已成为刻不容缓的任务。2. 数据库安全的当前解决方案传统网络安全技术主要包括防火墙、入侵检测系统、漏洞扫描等。这些技术可有效保护数据库系统免受外部攻击。防火墙能够限制外部流量防止未经授权的访问入侵检测系统能够实时监控系统行为发现异常操作漏洞扫描则能够发现并修复系统漏洞避免恶意攻击。现代数据库安全技术主要包括数据加密、访问控制、审计追踪等。数据加密能够在存储和传输过程中对数据进行加密确保数据机密性访问控制能够限制用户对数据的访问权限防止非法访问审计追踪能够记录所有数据库操作行为便于事后追踪和分析。3. 数据库安全的当前解决方案随着技术的不断发展新兴数据库安全技术也不断涌现。其中云计算和区块链技术为数据库安全带来了新的解决方案。云计算通过分布式计算和存储方式实现数据的安全、高效存储和管理区块链技术则通过去中心化、不可篡改的特性保证数据的真实性和完整性。4. 未来需强化身份认证与访问控制、加强审计与日志监控、应对云数据库的安全挑战、引入AI与机器学习增强安全防护、加强数据备份与灾难恢复能力。数据库的安全措施• Access Control访问控制 - 明确说明谁可以访问及怎么访问• Inference Control推理控制 - 防止通过统计数据推导出机密数据统计数据库安全性.• Flow Control流的控制 - 防止信息向未授权的用户流通• Cryptographic Control加密控制 - 保护放在不安全介质中的数据第四章 数据库调优为什么要进行数据库调优及数据库调优的目标为什么要进行数据库调优数据库在处理大量数据和复杂查询时性能问题可能会逐渐显现。数据库调优可以帮助我们发现和解决性能瓶颈提高数据库的响应速度和并发能力保证系统的稳定性和可靠性。数据库调优的目标1. 使应用运行得更快2. 缩短查询/事务的响应时间3. 提高事务的整体吞吐量性能调整的系统方法有哪些优化器 的功能是什么性能调整的系统方法有(1)正确地设计应用程序(2)调整应用程序的SQL代码(3)调整内存(4)调整I/O(5)调整争用和其他问题优化器 的功能是(1) SQL 转换(2) 选择访问路径(3) 选择连接方法(4) 选择连接顺序第五章 数据库恢复最后一题结合自己的研究方向与数据库技术相结合有哪些应用我目前所关注的研究领域主要是针对时间序列数据的分析及下游应用时序数据库是该领域与数据库技术紧密结合的主要应用成果。时序数据在交通、医疗、金融、工业预测性维护等多个实际场景内意义重大简言之它是含有唯一、明确时间戳信息的流式数据。针对于时序数据 1、产生频率快2.严重依赖于采集时刻3、测点多信息量巨大 的特点时序数据库打破了传统关系型DB难以有效存储及管理时序数据的桎梏能更有效地处理伴随时间推移的数据摄取、聚合、压缩活动。1. 时序数据库的工作原理(1) 时序数据的存储将时序数据存储于时间序列表内包含时间戳、度量值、标签三大字段 采用列式存储提高查询效率此外由于时序数据的较高重复相似性通常采用压缩技术以减少存储空间的耗费(2) 时序数据的查询提供多种针对时序的查询函数支持按时间范围查询、按字段查询、聚合查询等以时间戳为查询索引实现高效查询(3) 时序数据的分析时序数据库与可视化工具集成直观呈现数据伴随时间的走势 方便用户深入理解时序数据。2. 时序数据库的应用场景3. 部分具体的时序数据库(1)关系型时序数据库如TimescaleDB虽支持全面SQL但保留不必要的事务特性影响读写效率行式存储结构相较于列式存储在写入速度和数据压缩方面表现不好分布式扩展能力有限(2) 基于KV存储的时序数据库如OpenTSDB通过LSM-tree结构和分布式文件系统实现高效写入和扩展。但存在写放大问题因合并操作导致重复写入且标签增多时内存消耗大(3) 原生数据库如IoTDB不依赖第三方存储使用列式存储提供极致的数据写入、查询、压缩能力运维部署更加简单。4. 时序数据库的未来和挑战时序数据库正处于高速发展阶段但是这绝不是终点时序数据技术还面临各种新的需求和挑战在云服务、可视化服务、边缘计算服务等新需求方面对时序数据库提出了更高、更多元的挑战及目标。PS总结规律每年的第一题将考察 “第一个PPT内的数据库基础常识”每年的第二题将考察 “安全、调优、恢复” 三大主题之一最后一道考题通常是谈论自己研究领域和数据库的结合及应用所有考题的出题风格都是主观、宏观的尽可能不考察细节而考察对知识的整体把握。