百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

PostgreSQL是不是你的下一个JSON数据库?

toyiye 2024-07-15 01:15 8 浏览 0 评论

根据Betteridge定律(任何头条的设问句可以用一个词来回答:不是),除非你的JSON数据很少修改,并且查询很多。

最新版的PostgreSQL添加更多对JSON的支持,我们曾经问过PostgreSQL是否可以替换MongoDB作为JSON数据库,答案显而易见,但我们更希望的是,啊哈,这个问题由读者来问了。

“PostgreSQL不是已经有一些json的支持了吗?”

是的,在PostgreSQL 9.4之前的版本也有JSON 数据类型了,你可以这样:

CREATE TABLE justjson ( id INTEGER, doc JSON)
>INSERT INTO justjson VALUES ( 1, '{
    "name":"fred",
    "address":{
        "line1":"52 The Elms",
        "line2":"Elmstreet",
        "postcode":"ES1 1ES"
        }
    }');

保存了JSON的原始文本到数据库,包括空白行和键顺序及重新的键,我们来查看下保存的数据:

>SELECT * FROM justjson;
 id |               doc
----+---------------------------------
  1 | {                              +
    |     "name":"fred",             +
    |     "address":{                +
    |         "line1":"52 The Elms", +
    |         "line2":"Elmstreet",   +
    |         "postcode":"ES1 1ES"   +
    |         }                      +
    |     }
(1 row)

跟保存之前的文本一模一样,但我们仍可以解析出具体的数据出来,PostgreSQL提供了一套JSON的操作方法进行查找,例如,我们只要查出address信息,如果做?

select doc->>'address' FROM justjson;  
            ?column?
---------------------------------
 {                              +
         "line1":"52 The Elms", +
         "line2":"Elmstreet",   +
         "postcode":"ES1 1ES"   +
         }
(1 row)

doc字段的 ->> 操作符是查询JSON对象的某个字段并返回文本,用数字也可以当作数组的索引,但仍返回文本。跟 ->> 类似的还有 -> 操作符,返回不转文本的内容,可以用它来导航搜索JSON对象,如:

select doc->'address'->>'postcode' FROM justjson;  
 ?column?
----------
 ES1 1ES
(1 row)

还有个更简短的写法来指定搜索路径,用 #>> 操作符,如梦:

select doc#>>'{address,postcode}' FROM justjson;  
 ?column?
----------
 ES1 1ES
(1 row)

通过保存完整的JSON数据类型可使其跟源数据完全一样并且不会丢失内容,但为保持完全一致也带来了成本,性能的缺失,而且不能索引...所有,尽管可以很方便的维持一致性和保持JSON文档,但仍有很大的提升空间,所以引入了JSONB。

"JSONB有什么不同?"

JSONB可以将整个JSON文档转有层级的KEY/VALUE数据对,所有的空白字符删除了,重复键只保留最后一次,键也没有排序,而是用HASH来保存了,上面的例子中用JSONB的版本的话,看来起类似这样:

>CREATE TABLE justjsonb ( id INTEGER, doc JSONB)
>INSERT INTO justjsonb VALUES ( 1, '{
    "name":"fred",
    "address":{
        "line1":"52 The Elms",
        "line2":"Elmstreet",
        "postcode":"ES1 1ES"
        }
    }');
>SELECT * FROM justjsonb;
 id |                                                doc
----+----------------------------------------------------------------------------------------------------
  1 | {"name": "fred", "address": {"line1": "52 The Elms", "line2": "Elmstreet", "postcode": "ES1 1ES"}}
(1 row)

可以看到,所有非文本内容都消失了,替换成JSON文档需要的最少格式,这种压缩方式表示当数据插入时会自动格式化,这样可以减少之后访问数据分析处理的工作量。

"PostgreSQL的这种数据有点像HSTORE"

看到键值对,JSONB还真有点像PostgreSQL的HSTORE扩展,它也可以保存键值对,但它是一个扩展,而,JSONB(以及JSON)是在PostgreSQL内核的,HSTORE只有一级层级,但PostgreSQL可以有嵌套的元素,并且,HSTORE只能存字符串,而JSONB还可以存JSON的所数字类型。

“那JSONB到底带给我啥好处呢?”

索引,到处用上索引,你不能在PostgreSQL对JSON类型创建真正的索引,你可以创建表达式索引(expression indexes),但只限于你想索引的内容,例如:

create index justjson_postcode on justjson ((doc->'address'->>'postcode'));  

只有邮编(postcode)索引了,其它都没有索引。

而JSONB,支持GIN索引,一种通用返转索引(Generalized Inverted Index),PostgreSQL提供了另外一套索引操作符来支持,包括 @> 包括JSON,<@ 最包含,? 测试字符串是否存在,?| 任意字符串是否存在,?& 所有存大的字符串。

有两类索引可用,默认叫 json_ops,它支持所有操作符(译者:指普通json操作符)和一个只支持&>操作符的jsonb_path_ops索引(译者:指索引操作符),默认索引给JSON中的每个键值都创建了索引,其实 jsonb_path_ops只创建了一个比默认复杂的更高压缩的hash表索引,但默认索引担任更多操作能力同时增加了空间成本。给表添加一些数据,我们再来看看某个邮编,如果我们创建了一个默认的GIN JSON索引然后查询:

explain select * from justjsonb where doc @> '{ "address": { "postcode":"HA36CC" } }';  
                           QUERY PLAN
-----------------------------------------------------------------
 Seq Scan on justjsonb  (cost=0.00..3171.14 rows=100 {"address": {"postcode": "HA36CC"}}'::jsonb)
(2 rows)

可以看出来是顺序扫瞄表,如果我们加个默认的JSON GIN索引后再看看有什么不同?

> create index justjsonb_gin on justjsonb using gin (doc);
> explain select * from justjsonb where doc @> '{ "address": { "postcode":"HA36CC" } }';
                                  QUERY PLAN
-------------------------------------------------------------------------------
 Bitmap Heap Scan on justjsonb  (cost=40.78..367.62 rows=100 {"address": {"postcode": "HA36CC"}}'::jsonb)
   ->  Bitmap Index Scan on justjsonb_gin  (cost=0.00..40.75 rows=100 {"address": {"postcode": "HA36CC"}}'::jsonb)
(4 rows)

搜索性能提升很大,但隐藏了空间的耗费,例中是41%的数据大小,让我们删除索引重复执行jsonb_path_ops GIN索引。

> create index justjsonb_gin on justjsonb using gin (doc jsonb_path_ops);
> explain select * from justjsonb where doc @> '{ "address": { "postcode":"HA36CC" } }';
                                  QUERY PLAN
-------------------------------------------------------------------------------
 Bitmap Heap Scan on justjsonb  (cost=16.78..343.62 rows=100 {"address": {"postcode": "HA36CC"}}'::jsonb)
   ->  Bitmap Index Scan on justjsonb_gin  (cost=0.00..16.75 rows=100 {"address": {"postcode": "HA36CC"}}'::jsonb)
(4 rows)

总成本低了点,索引体积小了很多,这是典型的创建索引速度和空间平衡的方法,但比顺序扫瞄性能高很多。

“我应该用它作为我的JSON数据库吗?”

如果你经常更新你的JSON文档,回答是否定的,PostgreSQL最擅长的是存储和攻取JSON文档及他们的字段,但尽管如此你可以取出单个字段,你也不能更新单个字段;实际上你可以,将整个JSON解析出来,添加新的字段再写回,让JSON分析器处理重复,但你很明显不想依赖这个。

如果你的主要数据用关系数据库用得很好,JSON数据只是一群补充(静态数据),那么用PostgreSQL就可以了,而且用JSONB表示和索引能力将更高效。另外,如果你的数据模型是可变内容的集合,那么你可能会寻找一样主流工业级的json文档数据库如MongoDB或RethinkDB。

相关推荐

Asterisk通道和ARI接口的通信(aau通道数)

Asterisk通道和ARI详解什么是通道Asterisk中,通道是介于终端和Asterisk自己本身的一个通信媒介。它包含了所有相关信息传递到终端,或者从终端传递到Asterisk服务器端。这些信...

Python GUI-长链转短链(长链接转化成短链接java)

当我们要分享某一个链接给别人,或是要把某个链接放入帖子中时,如果链接太长,则会占用大量空间,而且很不美观。这时候,我们可以结束长链转短链工具进行转换。当然可以直接搜索在线的网站进行转换,但我们可以借此...

Python 的hash 函数(python的hash函数)

今天在看python的hash函数源码的时候,发现针对不同的数据类型python实现了不同的hash函数,今天简单介绍源码中提到的hash函数。(https://github.com/pyth...

8款Python GUI开源框架,谁才是你的菜?

作为Python开发者,你迟早都会用到图形用户界面来开发应用。本文千锋武汉Python培训小编将推荐一些PythonGUI框架,希望对你有所帮助。1、Python的UI开发工具包Kivy...

python适合开发桌面软件吗?(python可不可以开发桌面应用软件)

其实Python/Java/PHP都不适合用来做桌面开发,Java还是有几个比较成熟的产品的,比如大名鼎鼎的Java集成开发环境IntelliJIDEA、Eclipse就是用Java开发的,不过PH...

CryptoChat:一款功能强大的纯Python消息加密安全传输工具

关于CryptoChatCryptoChat是一款功能强大的纯Python消息加密安全传输工具,该工具专为安全研究专家、渗透测试人员和红蓝队专家设计,该工具可以完全保证数据传输中的隐私安全。该工具建立...

为什么都说Python简单,但我觉得难?

Python普遍被大家认为是编程语言中比较简单的一种,但有一位电子信息的学生说自己已经学了C语言,但仍然觉得Python挺难的,感觉有很多疑问,像迭代器、装饰器什么的……所以他提出疑问:Python真...

蓝牙电话-关联FreeSwitch中继SIP账号通过Rest接口

蓝牙电话-关联FreeSwitch中继SIP账号通过Rest接口前言上一篇章《蓝牙电话-与FreeSwitch服务器和UA坐席的通话.docx》中,我们使用开源的B2B-UA当中经典的FreeSWIT...

技术分享|Sip与WebRTC互通-SRProxy开源库讲解

SRProxy介绍目前WebRTC协议跟SIP协议互通场景主要运用在企业呼叫中心、企业内部通信、电话会议(PSTN)、智能门禁等场景,要想让WebRTC与SIP互通,要解决两个层面的...

全网第N篇SIP协议之GB28181注册 JAVA版本

鉴于网上大部分关于SIP注册服务器编写都是C/C++/python,故开此贴,JAVA实现也贴出分享GB28181定义了了基于SIP架构的视频监控互联规范,而对于多数私有协议实现的监控系统...

「linux专栏」top命令用法详解,再也不怕看不懂top了

在linux系统中,我们经常使用到的一个命令就是top,它主要是用来显示系统运行中所有的进程和进程对应资源的使用等信息,所有的用户都可以使用top命令。top命令内容量丰富,可令使用者头疼的是无法全部...

Linux 中借助 perf 对 php 程序模拟CPU高的案例分析

导语本文是一篇Linux借助工具分析CPU高的优化案例,没有任何干货内容,很详细的展示了优化CPU高的具体步骤,非常适合初中级读者阅读!...

centos漏洞处理方法(centos podman)

centos服务器最近有诸多漏洞,修复命令及对应的漏洞整理后,分享给大家RHSA-2020:1176-低危:avahi安全更新yumupdateavahi-libsRHSA-2017:326...

Linux上的free命令详解(Buffer和Cache)

解释一下Linux上free命令的输出。下面是free的运行结果,一共有4行。为了方便说明,我加上了列号。这样可以把free的输出看成一个二维数组FO(FreeOutput)。例如:FO[2][1]...

linux 命令行之你真的会用吗?--free 基本用法篇

free命令行统计内存使用率及swap交换分区的使用率数据。是由sourceforge负责维护的,在ubuntu上其包名为procps,这个源码包中,除了free还有ps,top,vmstat,ki...

取消回复欢迎 发表评论:

请填写验证码