1、数据库系统中语句的优化技术摘要:SQL 语句的优化是将性能低下的 SQL 语句转换成目的相同的性能优异的 SQL 语句。人工智能自动 SQL 优化就是使用人工智能技术，自动对 SQL 语句进行重写，从而找到性能最好的等效 SQL 语句。 关键词:人工智能;自动优化;SQL 语句优化 一个数据库系统的生命周期可以分成：设计、开发和成品三个阶段。在设计阶段进行数据库性能优化的成本最低，收益最大。在成品阶段进行数据库性能优化的成本最高，收益最小。数据库的优化通常可以通过对网络、硬件、操作系统、数据库参数和应用程序的优化来进行。最常见的优化手段就是对硬件的升级。根据统计，对网络、硬件、操作系统、数据库
2、参数进行优化所获得的性能提升，全部加起来只占数据库系统性能提升的 40%左右，其余的 60%系统性能提升来自对应用程序的优化。许多优化专家认为，对应用程序的优化可以得到 80%的系统性能的提升。应用程序的优化通常可分为两个方面：源代码和 SQL 语句。由于涉及到对程序逻辑的改变，源代码的优化在时间成本和风险上代价很高，而对数据库系统性能的提升收效有限。 1.1 为什么要优化 SQL 语句 第一、SQL 语句是对数据库进行操作的惟一途径，对数据库系统的性能起着决定性的作用。 第二、SQL 语句消耗了 70%至 90%的数据库资源。 第三、SQL 语句独立于程序设计逻辑，对 SQL 语句进行优化不
3、会影响程序逻辑。 第四、SQL 语句有不同的写法，在性能上的差异非常大。 第五、SQL 语句易学，但难精通。 优化 SQL 语句的传统方法是通过手工重写来对 SQL 语句进行优化。DBA 或资深程序员通过对 SQL 语句执行计划的分析，依靠经验，尝试重写SQL 语句，然后对结果和性能进行比较，以试图找到性能较佳的 SQL 语句。这种传统上的作法无法找出 SQL 语句的所有可能写法，且依赖于人的经验，非常耗费时间。 1.2 SQL 优化技术的发展历程 第一代 SQL 优化工具是执行计划分析工具。这类工具针对输入的 SQL语句，从数据库提取执行计划，并解释执行计划中关键字的含义。 第二代 SQL
4、优化工具只能提供增加索引的建议，它通过对输入的 SQL语句的执行计划的分析，来产生是否要增加索引的建议。 第三代 SQL 优化工具不仅分析输入 SQL 语句的执行计划，还对输入的 SQL 语句本身进行语法分析，经过分析产生写法上的改进建议。 1.3 人工智能自动 SQL 优化 人工智能自动 SQL 优化出现在 90 年代末。目前在商用数据库领域，LECCO Technology Limited(灵高科研有限公司)拥有该技术，并提供使用该技术的自动优化产品 LECCO SQL Expert，它支持Oracle、Sybase、MS SQL Server 和 IBM DB2 数据库平台。该产品针对数
5、据库应用的开发和维护阶段提供的模块有：SQL 语法优化器、PL/SQL 集成化开发调试环境(IDE)、扫描器、数据库监视器等。其核心模块 SQL 语法优化器的工作原理为：输入一条源 SQL 语句；“人工智能反馈式搜索引擎”对输入的 SQL 语句，结合检测到的数据库结构和索引进行重写，产生 N 条等效的 SQL 语句输出；产生的 N 条等效 SQL 语句再送入“人工智能反馈式搜索引擎”进行重写，直至无法产生新的输出或搜索限额满；对输出的 SQL 语句进行过滤，选出具有不同执行计划的 SQL语句；对得到的 SQL 语句进行批量测试，找出性能最好的 SQL 语句。 2 LECCO SQL Exper
6、t 自动优化实例 2.1 假设我们从源代码中抽取出这条 SQL 语句(也可以通过内带的扫描器或监视器获得 SQL 语句)： SELECT COUNT(*) 论文下载FROM EMPLOYEE swheresEXISTS (SELECT X FROM DEPARTMENT swheresEMP_DEPT=DPT_ID AND DPT_NAME LIKE AC%) AND EMP_ID IN (SELECT SAL_EMP_ID FROM EMP_SAL_HIST B swheresSAL_SALARY 70000) 按下“优化”按钮后，经过 10 几秒，SQL Expert 就完成了优化的过程，
7、并在这 10 几秒的时间里重写产生了 2267 条等价的 SQL 语句，其中136 条 SQL 语句有不同的执行计划。接下来，我们可以对自动重写产生的 136 条 SQL 语句进行批运行测试，以选出性能最佳的等效 SQL 语句。按下“批运行” 按钮，在“终止条件” 页选择“最佳运行时间 SQL 语句” ，按“确定” 。 经过几分钟的测试运行后，我们可以发现 SQL124 的运行时间和反应时间最短。运行速度约有 22.75 倍的提升(源 SQL 语句运行时间为 2.73秒，SQL124 运行时间为 0.12 秒)。现在我们就可以把 SQL124 放入源代码中，结束一条 SQL 语句的优化工作了。
8、2.2“边做边学式训练”提升 SQL 开发水平 LECCO SQL Expert 不仅能够找到最佳的 SQL 语句，它所提供的“边做边学式训练”还能够教开发人员和数据库管理员如何写出性能最好的SQL 语句。LECCO SQL Expert 的“SQL 比较器”可以标明源 SQL 和待选SQL 间的不同之处。 以上面优化的结果为例，为了查看源 SQL 语句和 SQL124 在写法上有什么不同，我们可以按下“比较器” 按钮，对 SQL124 和源 SQL 语句进行比较。 “SQL 比较器”将 SQL124 相对于源 SQL 语句的不同之处以蓝颜色表示了出来。如果选择“双向比较”复选框， “SQL
9、比较器”可以将两条 SQL 语句的不同之处以蓝色表示。当然，我们也可以从源语句和重写后的 SQL 语句中任选两条进行比较。 从比较的结果可以看到，重写后的 SQL124 把第一个 Exists 改写成了 In；在字段 DPT_ID 上进行了合并空字符串的操作，以诱导数据库先执行子查询中的 (SELECT DPT_ID| FROM DEPARTMENT WHERE DPT_NAME LIKE AC%) 在子查询完成后，再与 EMPLOYEE 表进行嵌套循环连接(Nested Loop Join)。 如果觉得对写法的改变难以理解，还可以点中“执行计划”复选框，通过比较两条 SQL 语句的执行计划的
10、不同，来了解其中的差异。在查看执行计划过程中，如果有什么不明白的地方，可以点中“SQL 信息按钮” ，再点击执行计划看不明白的地方，LECCO SQL Expert 的上下文敏感帮助系统将提供执行计划该处的解释。 在“SQL 比较器”中，选中“统计信息”复选框后，可得到详细的两条 SQL 语句运行时的统计信息比较，这对于学习不同的 SQL 写法对数据库资源的消耗很有帮助。 2.3 LECCO SQL Expert 优化模块的特点 LECCO SQL Expert 优化模块的特点主要表现为：自动优化 SQL 语句；以独家的人工智能知识库“反馈式搜索引擎”来重写性能优异的 SQL 语句；找出所有等
11、效的 SQL 语句及可能的执行计划；保证产生相同的结果；先进的 SQL 语法分析器能处理最复杂的 SQL 语句；可以重写SELECT、SELECT INTO、UPDATE、INSERT 和 DELETE 语句；通过测试运行，为应用程序和数据库自动找到性能最好的 SQL 语句；提供微秒级的计时，能够优化 Web 应用程序和有大量用户的在线事务处理中运行时间很短的SQL 语句；为开发人员提供“边做边学式训练” ，迅速提高开发人员的SQL 编程技能；提供上下文敏感的执行计划帮助系统和 SQL 运行状态帮助；不是猜测或建议，而是独一无二的 SQL 重写解决方案。 2.4 写出专家级的 SQL 语句 L
12、ECCO SQL Expert 的出现，使 SQL 的优化变得极其简单，只要能够写出 SQL 语句，它就能帮用户找到最好性能的写法。LECCO SQL Expert不仅能在很短的时间内找到所有可能的优化方案，而且能够通过实际测试，确定最有效的优化方案。同以往的数据库优化手段相比较，LECCO SQL Expert 将数据库优化技术带到了一个崭新的技术高度，依赖人的经验、耗费大量时间、受人的思维束缚的数据库优化手段已经被高效、省时且准确的自动优化软件所取代了。通过内建的“LECCO 小助手”的帮助，即使是 SQL 的开发新手，也能快速且简单地写出专家级的 SQL 语句。 参考文献 1 张孔倚关于人工智能技术在情报检索中的应用山西大学学报，2007（3） 2 涂序彦人工智能及其应用北京：清华大学出版社，2006 3 刘宁用于情报检索的专家系统现代图书情报技术，2005 （1） 4 李明，沈红君情报检索智能化情报理论与实践，2005（6）
