123
 123

  2008-11-07 Fri

02:54 节约历史库的存贮 (4340 Bytes) » AnySQL.net

作者:d.c.b.a, 订阅AnySQL, Oracle数据库恢复及服务, Sybase恢复, 磁盘及RAID恢复

    eBay的chao_ping在Oracle-l中问如何节约历史库的空间, 经过了10年的发展, eBay的历史库积累了100多TB的数据, 并且数据的增幅很大, 虽然历史库用不着很好的存贮, 但这笔成本还是比较大的. 已经使用了压缩表将常规的表的空间压缩到了三分之一到六分之一, 但其中有一半的数据是用LONG或LONG RAW类型存放的, 没有办法用压缩表. 想想再过几年, 这样的历史库空间问题, 也会面临在很多的DBA前面.

    在Oracle中比较花存贮的有如下方面:

    字段编码. 不要小看这个字段编码, 比如状态字段, 用"E"和用"ENABLE"来表示, 当然后者更好读了, 生产库中应用开发人员可能偏向于后者, 但到历史库中时, 不如转换成前者. 其实一个表中一般不止一个这样的状态字段. 因此我将这个摆在第一位.

    索引. 在生产库上就有些索引, 用得很少, 但每次要用, 都是比较重要的情况, 因此不得不心不由己地加索引, 历史库也有一样的情况. 其实有时不如引进针对某类记录的附加表, 来解决大表的索引问题.

    LOB列. 大量的LOB不光是耗性能, 也是很耗空间的, 因为LOB的最小分配单位是一个数据块, 两个LOB值没有办法共享一个数据块. 如果是CLOB, 在变长字符集中存放大量英文文本的话, 浪费更严重, 一个英文字母在LOB中存放需要占用两个字节, 不管是INLINE还是OUTLINE.

    LONG列. 有LONG的列没有办法压缩, 在插入记录时, Oracle也会过量使用空的数据库, 因而浪费空间. 用utl_compress将值取出来, 再存到LONG RAW中或RAW中, 也是不错的选择.

    垃圾数据. 数据库中肯定多多少少会有垃级记录, 象天文数字交易额的交易记录等等, 要筛选这些记录, 过程可能过于复杂, 所以就留了它们.

    当然应对的办法, 也就随之而出了, 压缩及11g中的新的LOB格式. 也许可以将所有的字段进行序列化, 然后存在一个字段中, 要查询时用应用来解开这些字段. 过段时间也好好分析一下我们的历史库, 想想有没有办法省钱.

相关文章 | Related Artiles

容易遗忘的手工并行 (4)
最有价值的键盘一击, 值220700美金 (1)
用rawsync来做Standby的过程 (0)
rawsync初步搞定 (1)
公司内部技术讲座 (3)

我要留言(当前0)

  2008-11-04 Tue

07:34 山城重庆遭遇出租车大罢工 (2997 Bytes) » Out of 8 hours
上周四出发前去重庆出差,历时25多个小时,终于见到了传说中的山城,的确是山城,高楼林立,俨然是森林,火车站前大的广告牌上就赫然写着森林重庆,一点也不过。山城没有自行车,最主要的交通工具就是公交车和出租车,第一次搭车,竟然不打计价器,于是疑惑的问题,怎么不打计价器。师傅说,没事,打不打都一样,都是5块多钱,贵不了,没办法,我声明一下,有票就行。重庆的起步费只有5块钱,便宜啊!怎么也是一个直辖市呀,呵呵,不过我倒是为公司省钱了。

周日干完公差,返回重庆,第二次搭出租车,司机师傅也不太情愿的打表,而且还想顺路捎带其他的乘客,感觉真是奇怪,在车上和的哥说,不用让别人打顺车了,多出几块钱没有问题。这位的哥才肯罢休。一路上抱怨赚不到钱啊,五块钱起步(三公里)单价1.8元/公里,顺便捎一个贴补一下。

周日晚上出来搭车找超市第二天火车上吃的东西,的哥交谈中说到周一要火车返回北京,好心的的哥说,明天所有的出租车要罢工,你去火车站要提前做好准备,准备坐公交吧。问及原因,说挣的太少了,提了多次意见,管理部门置之不理,没办法,大家约好了明天停摆罢工。搭车回来的时候,我开门见山和的哥说,听说你们明天要罢工,的哥反问你怎么知道的,呵呵,于是把了解的情况说了一遍,顺便问了公交车到火车站的路线。

周一一早,从宾馆的房间中观察街道上果然一辆出租车都没有,看来是真的罢工了。幸好我做好准备,查询公交路线。匆匆忙忙赶到火车站。没有出租车的重庆,没有感觉太大的异样,周一的公交也不是很拥挤。大家也都很平静,只是带着大包小包坐公交真是不方便,售票员的话很难听懂,上车就一个劲的问别人到那站下合适,还是好心人多啊,其他乘客及时指点,才得以顺利到达火车站。

Tags - ,

  2008-10-31 Fri

22:16 东拉西扯:Facebook会是下一个GeoCities吗 (3708 Bytes) » 对牛乱弹琴 | Playin' with IT

1996年我刚刚上网,就在当时最火的个人主页服务网站GeoCities建立了我的第一个个人主页。GeoCities的设想,就是打造一个网上的地球村,所以它有很多区域,如雅典、百老汇、华尔街、硅谷、巴黎左岸等等,你可以选择一个自己喜欢的区域入住,然后你会得到一个门牌号,比如巴黎4837。但这种如布景一般的城市,其实根本没有一种机制,去激励用户之间的互动。所以我的个人主页从建好那天起,就成为整个布景的一部分,孤零零地呆在那儿。

1999年,Yahoo!耗资35.6亿美元收购了GeoCities,把这个标本保持到了今天。

个人主页曾经是互联网第一波热潮中最热门的服务之一,网易是国内最早提供免费个人主页服务的公司,1997年,GeoCities上的中国用户,基本上都跑到了网易。后来,几乎所有的个人主页服务,都死掉了,但提供免费邮箱的服务商,大都活了下来,比如Hotmail、网易邮箱等。除了盈利模式的难题,导致个人主页服务死掉的,还有一个很重要的原因──它无法建立用户之间的关系,因而也就无法通过关系黏住用户。但邮箱可以。

之所以想起这个话题,是因为看到Andrew Goodman在问:Facebook是下一个GeoCities吗?确实,你现在怎么看都看不出,Facebook像是能挣大钱的样子。但同时,Facebook增长太快了,烧钱太快了,就像Michael Arrington所说,它可能不得不考虑再次融资了。

不光是Facebook,很多优秀的互联网公司,都已经被列入了死亡候选名单。在经济严冬中,体质差的公司,肯定会先死掉,不过我很少见到被上亿用户喜欢的服务,在冬天冻死的案例。对Facebook这样的质疑,Amazon曾经面对过,腾讯也曾经面对过。现在前者是全世界第一大电子商务公司,后者是中国第一大互联网公司。

小公司过冬,可能需要保存热量,减少消耗。但Facebook已经不是一家小公司,它的增长让所有人眼红,它在改变游戏规则,建立新的互联网生态方面的潜能,也让所有竞争对手恐惧。我倒觉得,冬天可能恰好是Facebook脱颖而出的机会,就像上一个冬天成就了Google。

找到一个有可能改变游戏规则的公司,太难,资本不会让Facebook死掉。至于微软和Google,正虎视眈眈地等着逢低买入呢(假如 Facebook真的不得不贱卖给微软,那倒是有可能让Facebook成为下一个GeoCities)。我相信,一到两年后,所有的质疑者都会自觉闭嘴。

  2008-10-26 Sun

21:29 给spammer提个醒 (1714 Bytes) » 对牛乱弹琴 | Playin' with IT

名叫“广州理财 ”、“水晶批发 ”、“免费购物 ”、“seo services”、“电加热器”、“凤凰稳健理财”、“人体艺术”、“武汉百度”、“管家婆软件”、“茶文化基地”、“诚信网赚”,以及诸如此类看着就不像人类的名字的诸位,歇歇吧,别在我这个blog上费劲了。

你不知道吗?留言中的所有链接,都会被自动添加“rel="nofollow"”属性。你不知道吗?加了这个属性的链接,搜索引擎不会将这个链接计入你的网站外链,也就是说,不会提高你的网站的PageRank。如果这些你都不知道,还在这儿白费力气,你还做什么SEO呢?我告诉你这些,也是为了提高你的投资回报率,避免做无用功,是为你好。

本blog永远欢迎评论,但看着这些怪异的名字,我真替你感到惋惜。有这工夫,你完全可以做点儿有意义的事,大家的时间都挺宝贵,不是么?

Download Firefox
Try Google Adsense
Sources