[存储过程]SQL Server存储层级数据实现无限级分类

  由于数据库存储的数据都是以平面方式存储,所以目前大部分论坛和其他程序都是用递归来展现层次数据的,如果分类的层次十分深的话那么使用的递归次数相当可观,对性能的影响也非常大。最近要做一个分类信息的平台就遇到这个问题了,那么如何实现快速的展现分层数据呢?MySQL 的开发者帮我们想到了一个算法,这个算法目前唯一的问题就是尚未实现分类排序,我们可以通过右值的反向排序实现先入先出的排序。在这里我们需要了解的是如何用 SQL Server 来实现,我们就以省市县数据库为例来实现:
[img]attachments/month_0906/d2009641132.jpg[/img]
  如图所示我们将一个树节点的左右各编上号码,就可以看出一些规律,山西的左右值为(8,17),那么所有左值大于8,右值小于17的节点都是属于山西的子节点。稷山县的左右值为(14,15),那么他的所有父节点就是左值小于14,右值大于15的节点,怎么样,用这个方法实现的无限级分类性能绝对是顶呱呱的。一次查询就可以查出属于某个节点的数据以及他子节点的数据。这个算是我见过性能最高的无限级分类算法。其他算法跟这个对比基本没有任何优势。

我们先建立一个数据表,结构如下图(LID 为左值,RID 为右值,Tree 为节点深度,Name 和 ID 就不多说了,节点的索引和名称)

[img]attachments/month_0906/620096411559.gif[/img]

我们可以使用下面的存储过程来获得一个节点和其子节点:[code]Create PROCEDURE CLSP_ZoneSelect
(
@Root INT,
@Tree INT
)
AS
Select Z.ID,Z.Tree,Z.Name
FROM CL_ZoneData AS Z,CL_ZoneData AS P
Where P.ID = @Root
AND Z.LID >= P.LID AND Z.RID <= P.RID AND (@Tree = 0 or Z.Tree <= P.Tree + @Tree) orDER BY Z.LID ASC GO [/code] 我们可以用下面这个存储过程来在一个节点下插入新的子节点:[code]Create PROCEDURE CLSP_ZoneInsert ( @Root INT, @Name NVARCHAR(50) ) AS DECLARE @RID AS INT,@NID AS INT,@Tree AS INT SET @RID = 1 SET @NID = 0 SET @Tree = 1 IF @Root = 0 BEGIN Select TOP 1 @RID = RID + 1 FROM CL_CateData orDER BY RID DESC END ELSE BEGIN Select @RID = RID, @Tree = Tree + 1 FROM CL_ZoneData Where ID = @Root IF @Root = 0 or @RID > 1
BEGIN
Update CL_ZoneData SET RID = RID + 2 Where RID >= @RID
Update CL_ZoneData SET LID = LID + 2 Where LID > @RID

Insert INTO CL_ZoneData(LID,RID,Tree,Name)
VALUES (@RID,@RID + 1,@Tree,@Name)

SET @NID = SCOPE_IDENTITY()
END
Select @NID
GO[/code]

删除一个节点可以用下面的存储过程:[code]Create PROCEDURE CLSP_ZoneDelete
(
@ID INT
)
AS
DECLARE @LID AS INT, @RID AS INT, @WID AS INT, @DID AS INT
SET @DID = 0
Select @DID = ID, @LID = LID, @RID = RID, @WID = RID – LID + 1 FROM CL_ZoneData Where ID = @ID
IF @DID != 0
BEGIN
Delete FROM CL_ZoneData Where LID BETWEEN @LID AND @RID
Update CL_ZoneData SET RID = RID – @WID Where RID > @RID
Update CL_ZoneData SET LID = LID – @WID Where LID > @RID
END
Select @DID
GO [/code]

SQL:利用正则替换数据库字段里的特定字符串

  今天IT交流群里有朋友提了个问题:
  表:k0904sour,字段:sour,数值举例:
  07:43,11:32,12:53,17:32,18:19,21:45
  07:37,11:33,12:35,17:33,18:21,21:50
  该字段是记录考勤打卡时间的,要求:清除18时以后的记录。
  刚开始有人提到在Rplace函数里用通配符,但Rplace不支持通配符。一下子没了主意,我就提议读取数据,然后处理完了再写回去。虽然是个办法,但如果数据量大的话,效率不高。
  我的毛病又来了,一个问题不找到个完美的解决办法总觉得心里不舒服。考虑到问题的特殊性,很可能需要用到正则表达式,于是继续查资料,终于找到了个函数patindex。[color=Blue]此函数返回指定表达式中某模式第一次出现的起始位置;如果在全部有效的文本和字符数据类型中没有找到该模式,则返回零。[/color]。有了这个函数就可以和SUBSTRING配合来处理了。
  刚开始想到的是,为了避免未包含状态下用这函数替换会出错,于量每个时间段写一个语句后面通过like判断是否包含,总共需要6个语句,如包含18时这一时间段的:[code]update k0904sour set sour=substring(sour,1,patindex('%,18:%',sour)-1) where sour like '%,18:%'[/code]
  如感觉这语句写得不够好,力求完美,再改进改进。眼睛再次看向patindex,可以把它用到条件里啊,再加上正则,这样一来就能精简语句了,两条语句就搞定:[code]update k0904sour set sour=substring(sour,1,patindex('%,1[8-9]:%',sour)-1) where patindex('%,1[8-9]:%',sour)>0
update k0904sour set sour=substring(sour,1,patindex('%,2%',sour)-1) where patindex('%,2%',sour)>0[/code]
  总结:对SQL中的某些函数没有接触过,以至于走了些弯路,看来基础还有待扎实。不过,只要善于思考,善于查资料,有些看似复杂的问题,也能迎刃而解。
  一切难问题都是纸老虎,我们不要被吓倒 🙂

SqlServer中用SQL语句附加数据库及修改数据库逻辑文件名

–附加数据库
sp_attach_db '数据库名','数据库全路径','数据库日志全路径'
GO
USE 数据库名

–添加一个登录前指定默认数据库
EXEC sp_addlogin '登录名','密码','数据库名'
GO

–处理空登录名(使登录用户和数据库的孤立用户对应起来,在这个用户有对象时用)
sp_change_users_login 'update_one','登录名','登录名'
GO

–修改数据库的逻辑文件名(数据)
Alter DATABASE 数据库名
MODIFY FILE(NAME='老数据库逻辑文件名',NEWNAME='新数据库逻辑文件名')
GO

–修改数据库的逻辑文件名(日志)
Alter DATABASE 数据库名
MODIFY FILE(NAME='老日志逻辑文件名',NEWNAME='新日志逻辑文件名')
GO

可能会用到的操作:
–更改当前数据库名称为dbo的登录名为abc
EXEC sp_changedbowner 'abc'

–删除一个登录
EXEC sp_droplogin '登录名'

–赋予这个登录访问数据库的权限
EXEC sp_adduser '登录名','用户名','db_owner'

sqlserver2000数据库置疑的解决方法之一

  今天早上断了下电,电脑再开起来后打开Sqlserver2000数据库,发现一个数据库的状态为置疑,无法使用。
  习惯性地百度。看到网上介绍的解决方法,基本上都是分离数据库,然后新建一个数据库,再用原来的数据库文件覆盖,最后还要执行一串的SQL语句。感觉好麻烦,于是我自己尝试着解决。
  我先分离数据库,然后再把分离出来的数据库附加回去,竟然成功了!
  如果你也碰到这样的问题,不烦按此方法一试。若不行,再按网上的那些麻烦的方法吧。我把那些解决方法摘录如下,以供参考:
  方法一:[quote]先分离数据库

企业管理器–右键suspect的数据库–所有任务–分离数据库
然后备份你的suspect数据库的文件,再按下面的步骤处理:
1.新建一个同名的数据库
2.再停掉sql server
3.用suspect数据库的文件覆盖掉这个新建的同名数据库
4.再重启sql server
5.此时打开企业管理器时新建的同名数据库会出现置疑,先不管,执行下面的语句(注意修改其中的数据库名)

use master
go

sp_configure allow updates,1 reconfigure with override
go

update sysdatabases set status =32768 where name=his222
go

sp_dboption test, single user, true
go

dbcc checkdb(test)
go

update sysdatabases set status =28 where name=test
go

sp_configure allow updates, 0 reconfigure with override
go

sp_dboption test, single user, false
go

6.完成后一般就可以访问数据库中的数据了,这时,数据库本身一般还要问题,解决办法是,利用
数据库的脚本创建一个新的数据库,并将数据导进去就行了.

如果这样改不加数据库状态,你就把数据库导成一个新库来代替旧库吧

企业管理器–右键你的数据库–所有任务–导出数据
  –目标标数据库选择新建
  –选择”在两个sql数据库之间复制对象和数据”
  –把”包含扩展属性”选上,其他的根据需要选择
  –最后完成
[/quote]

  方法二:[quote]工作中已经碰到两次这种情况了,想想还是应该把他记录下来,利人利己。

通常这个问题是由于硬盘空间不够或硬盘读写错误造成的。

问题现象:

数据库后面有“置疑”字样,查看系统事务日记出现以下错误:
错误1———————————————
错误: 823,严重度: 24,状态: 2
I/O error 23(数据错误 (循环冗余检查)。) detected during read at offset 0x00000000200000 in file 'C:Program FilesMicrosoft SQL ServerMSSQLDataJiapei_Data.MDF'.
错误2———————————————
错误: 3313,严重度: 21,状态: 2
恢复数据库 'Jiapei' 的日志中记录的操作时出错。出错位置在日志记录 ID (274:377:2)。
错误3———————————————
错误: 3313,严重度: 21,状态: 2
Error while redoing logged operation in database 'Jiapei'. Error at log record ID (274:377:2).
数据库可以分离,但分离后无法附加,附加时出现“823”号错误。

解决方法:

1、新建一同名数据库(文件名,文件组都和原来的一样),然后停止数据库服务,用原来文件替换新建的数据库文件,启动数据库,该数据库被设为suspect

2、把数据库改成紧急模式:
sp_configure 'allow', 1
reconfigure with override
update sysdatabases set status = 32768 where name = '数据库名'
3、把LDF文件改名,再执行
DBCC REBUILD_LOG ('数据库名', 'E:fdzzdatabasefdzz1204_Log.LDF' )
4、恢复数据库紧急模式
update sysdatabases set status = 0 where name = '数据库名'
执行
restore database 数据库名 WITH RECOVERY
sp_configure 'allow', 0
reconfigure with override
5、然后用DBCC CHECKDB ('数据库名')看看有没有错误
6、如果上面还是不行,试试吧数据库设为紧急模式,应该可以看到数据了,在把数据导出到一个新的数据库。

其他有用的操作:

/*–重置置疑状态
1.系统方法:
如果 sql server 因为磁盘驱动器不再有可用空间,而不能完成数据库的恢复,
那么 microsoft® sql server™ 2000 会返回错误 1105
并且将 sysdatabases 中的 status 列设为置疑。按下面的步骤解决这个问题:
执行 sp_resetstatus。
语法为:
sp_resetstatus '数据库名'
用 alter database 向数据库添加一个数据文件或日志文件。
停止并重新启动 sql server。
用新的数据文件或日志文件所提供的额外空间,sql server 应该能完成数据库的恢复。
释放磁盘空间并且重新运行恢复操作。
sp_resetstatus 关闭数据库的置疑标志,但是原封不动地保持数据库的其它选项。
–*/
–2.手工重置置疑状态
use master
go
sp_configure 'allow updates',1 reconfigure with override
go
declare @dbname varchar(30)
set @dbname='你要处理的数据库名'
if @@trancount > 0
print '正在进行事务处理,操作不能进行'
else if suser_id()!=1
print '你不是系统管理员(sa),不能进行此操作'
else if not exists(select 1 from master..sysdatabases where name=@dbname)
print '你要操作的数据库不存在'
else if not exists(select 1 from master..sysdatabases where name= @dbname and status & 256 = 256)
print '你的数据库没有被置疑'
else
begin
begin tran
update master..sysdatabases set status = status ^ 256 where name = @dbname
if @@error != 0 or @@rowcount != 1
rollback tran
else
begin
commit tran
print '操作成功,请重新启动SQL'
end
end
go
sp_configure 'allow updates', 1 reconfigure with override
go

——————————————————————————–

可是现在我已经将这个数据库分离出去了,又不能附加进来,所以那个操作sp_resetstatus 就玩不起来了

——————————————————————————–

右键置疑状态的数据库–>所有任务–>脱机
右键脱机状态的数据库–>所有任务–>联机
重置置疑状态
如果 SQL Server 因为磁盘驱动器不再有可用空间,而不能完成数据库的恢复,那么
Microsoft? SQL Server? 2000 会返回错误 1105 并且将 sysdatabases 中的 status
列设为置疑。按下面的步骤解决这个问题:
1.. 执行 sp_resetstatus。
2.. 用 Alter DATABASE 向数据库添加一个数据文件或日志文件。
3.. 停止并重新启动 SQL Server。
用新的数据文件或日志文件所提供的额外空间,SQL Server 应该能完成数据库的恢
复。
4.. 释放磁盘空间并且重新运行恢复操作。
sp_resetstatus 关闭数据库的置疑标志,但是原封不动地保持数据库的其它选项。
注意 只有在您的主要支持提供者指导下或有疑难解答建议的做法时,才可以使用
sp_resetstatus。否则,可能会损坏数据库。
由于该过程修改了系统表,系统管理员必须在创建这个过程前,启用系统表更新。要启
用更新,使用下面的过程:
USE master
GO
sp_configure 'allow updates', 1
GO
RECONFIGURE WITH OVERRIDE
GO
过程创建后,立即禁用系统表更新:
sp_configure 'allow updates', 0
GO
RECONFIGURE WITH OVERRIDE
GO
只有系统管理员才能执行 sp_resetstatus。执行该过程后,立即关闭 SQL Server。
语法为:
sp_resetstatus database_name
下面的例子将关闭 PRODUCTION 数据库的置疑标志。
sp_resetstatus PRODUCTION
下面是结果集:
Database 'PRODUCTION' status reset!
WARNING: You must reboot SQL Server prior to accessing this database!
sp_resetstatus 存储过程代码
下面是 sp_resetstatus 存储过程的代码:
IF EXISTS ( Select * from sysobjects where name = 'sp_resetstatus' )
Drop PROCEDURE sp_resetstatus
GO
Create PROC sp_resetstatus @dbname varchar(30) AS
DECLARE @msg varchar(80)
IF @@trancount > 0
BEGIN
PRINT 'Can''t run sp_resetstatus from within a transaction.'
RETURN (1)
END
IF suser_id() != 1
BEGIN
Select @msg = 'You must be the System Administrator (SA)'
Select @msg = @msg + ' to execute this procedure.'
RETURN (1)
END
IF (Select COUNT(*) FROM master..sysdatabases
Where name = @dbname) != 1
BEGIN
Select @msg = 'Database ' + @dbname + ' does not exist!'
PRINT @msg
RETURN (1)
END
IF (Select COUNT(*) FROM master..sysdatabases
Where name = @dbname AND status & 256 = 256) != 1
BEGIN
PRINT 'sp_resetstatus can only be run on suspect databases.'
RETURN (1)
END
BEGIN TRAN
Update master..sysdatabases SET status = status ^ 256
Where name = @dbname
IF @@error != 0 or @@rowcount != 1
ROLLBACK TRAN
ELSE
BEGIN
COMMIT TRAN
Select @msg = 'Database ' + @dbname + ' status reset!'
PRINT @msg
PRINT ''
PRINT 'WARNING: You must reboot SQL Server prior to '
PRINT ' accessing this database!'
PRINT ''
END
GO
[/quote]

SQL Server性能调优入门(图文版)

第一步,在业务高峰期抓取样本数据(2个小时左右)。采用的工具是sqlserver自带的profiler,也叫事件探查器,如下图:

进入后,点击最左面的按钮,建立一个新的跟踪:

登录需要用DBO权限,所以可以用sa登录,也可以用windows集成验证方式(如果当前登录的就是sqlserver的话)

新建跟踪,一共有4个tab页进行配置,首先看第一个。跟踪名称不用更改,默认的即可。保存一共有两种方式,一是文件,扩展名是.trc(这种方式方便你把客户那里的跟踪结果发给你),其二是数据库中的表。

为了分析方便,我们把它另存为表。此时sql提示你重新进行登录,这里我们把表保存到master中

假设表名字叫做jq(如果有重复的,系统会提示是否覆盖)

确定后回到了刚才的第一个tab页中:

然后切换到第二个选项卡中:

左面列出了各种事件类(Event Class),右面是当前已有的事件类。对于性能调优,我们不需要安全审核、会话信息,点击删除按钮即可:

继续切换到第三个tab页上,这里的数据列默认就够了,当然,如果你看着不顺眼,可以把Appname/NT username等都删除。

最后一个tab页上,我们需要把系统自己产生的事件ID屏蔽掉:

把那个排除系统ID进行check即可,如下图:

所有项目配置好后,点击&ldquo;运行&rdquo;按钮。持续运行两个小时左右即可(业务高峰期,能典型的反应客户最近一段时间内的业务模式)

好了,第一步的准备工作完成了,等待一段时间后,我们开始检查刚才自动保存到master中的表jq。

第二步,开始查找影响速度的地方。

打开查询分析器(sql analyzer),登录到master中,从 表jq里面按照I/O倒序,读取若干个sql。根据我的习惯,一般是读取1000条记录。为什么根据I/O来找呢,而不是根据时间来找呢?原因很简单,一句SQL执行,&ldquo;稳定&rdquo;的是I/O,而duration是一个不稳定的因素。我们进行sql调优的目的,就是降低I/O成本,从而提高效率。(一般而言,I/O降低了,duration自然就会降低)详细内容,参考我以前的post:http://blog.joycode.com/juqiang

执行完成后,我们仔细看下面的输出。

1、 XL_TALLY_Proc04这个sp的reads最大,将近100w,duration也达到了25秒多。

2、 Erp_IM_GMBill_GetBill这个sp的I/O不算大,才7w,duration平均都在1秒多点。但是这个sp执行的次数非常多。

经过询问客户,XL_TALLY_Proc04这个sp执行的频度很低,一天也就一两次,但是Erp_IM_GMBill_GetBill大概5分钟就要一次。这样整体I/O就占用的非常大。

所以这里我们要重点分析Erp_IM_GMBill_GetBill这个sp,而不是第一个!

总结一个原则就是:调整的重点是客户最关心的内容,是执行频度最高、看起来I/O又比较大的那种。I/O最大的,不一定是我们要优先解决的内容。

第三步,开始分析刚才看到的那个语句。既然我们要分析I/O,那么就要把I/O打开,这样每次调整sql,我们都能随时看到I/O的变化情况。这句很有用处地:set statistics io on

单纯看I/O变化,我们会晕倒的。因为我们不知道自己做的任何改动,对I/O是如何产生影响的。所以,还要看sql的执行计划是怎佯的。 在查询分析器中,我们按Ctrl+K,或者如下图的菜单,check上即可。

好了,准备工作都做好了,下面开始干活了。

我们首先看sql语句的调优,假设下面这条sql语句性能低下:

上面的sql一共读取了6636条数据,逻辑读是1126。那么这个I/O是否合理呢?大了还是小了?还有改进的余地吗?我们看执行计划:

哦,一共4个咚咚在里面。Index seek的成本占了2%, index scan的占了47%,hash match占了51%,select最终是0%。我们应该牢记第二个原则,所有的index,尽可能的都走index seek。

我们看一下billsoflading的索引信息:

当前索引为什么走scan,这里就不说了,感兴趣的可以随便找一本介绍数据库索引的书籍来看看即可。根据我以前那篇blog的描述,我们知道应该建立一个复合索引(也叫convered index):boldate+companyid+bolcode

然后我们重新执行sql,看看I/O变化情况:

Ooh,非常cool!logical reads降低到了50。为什么会这样呢?我们看一下执行计划:

原来是index scan变成了index seek,效率自然大大的提升!

Sql语句在index上调优的方法,基本就是这样。我们继续看sp的。

&nbsp;

对于sp的调优,有一点是和sql调优不同的:sp内部的逻辑处理可能非常复杂。单纯从查询分析器中,我们无法得知哪一小块的sql执行的I/O最大,我们只能看到一个总体的描述。所以,我们要知道sp内部的信息。

首先,了解自己当前的spid是多少。一种方法是select @@spid,另一种方法是看查询分析器下面的status bar的信息。

Ooh,我的spid是101。(上图的最下面那个tips)

然后我重新打开profiler(事件探查器),重新建立一个跟踪,这里面要修改第二个tab页的信息,把左面事件列&ldquo;存储过程&rdquo;中的SmtpCompleted加上

增加后的样子如下:

然后修改第4个tab页,把刚才看到的spid=101的信息填上:

点击运行后,这样profiler只能抓到在查询分析器中,spid=101那个窗口发送的sql。我们切换回查询分析器,执行有问题的sp,执行完成后,我们再回到profiler,点停止按钮。一个sp内部所有执行的sql,都被分开了!

这次的结果假设保存在了jq2表中,我们把所有执行的小片sql都列出来:

第一个是sp执行后的总体结果,I/O为62328,就是这个sp自己的。第二个是向临时表中插入数据,I/O为61514,我们很容易看到,这一句占用了整个sp的大概95%以上的成本。如果我们把这句insert into #temptable搞定,整个sp的成本自然就下来了。所以我们需要把这句insert搞出来。

但是慢着!default情况下,sqlserver的results只显示很少的字符,第二行的sql,我们根本抓不全的,所以我们需要修改一下设置。在查询分析器的工具-选项菜单中,切换到&ldquo;结果&rdquo;这个tab页,修改每列最多字符个数为8192(这是最大的允许值),然后点击&ldquo;确定&rdquo;按钮,重新从jq2中读取信息。也许你会问,如果某个sql特别长,怎么办?其实很简单,在你的代码中把这句sql单独写到log中,或者直接修改sp,把这句print出来即可。

Ok,我们把这句insert sql抓下来后,放到查询分析器中。因为temptable我们没有它的结构,所以我们把insert部分注释掉,看后面的select语句。执行后,ooh,在goodsmovement表上的成本是57834。

老办法,我们继续看执行计划:

其实,现在又回归到了sql调优的步骤,下面的工作我就不写啦!

&nbsp;

这个步骤,看起来很简单,希望大家对于sql调优(索引部分)心中都有这么一个概念,知道第一步作什么,第二步作什么。还是那句话,索引调优,基本上是最简单的。但是貌似简单的东西,我们越应该重视。你随便找一个应用跟踪一下,各种效率低下的索引,会让你实在#¥*#(**&hellip;&hellip;¥