莫听穿林打叶声|何妨吟啸且徐行
以下是本期内容：
hive中解析简单JSON字符串，以及解析比较复杂的嵌套JSON格式的字符串
本文大纲：
01.get_json_object解析json中的单个属性02.json_tuple解析json中的多个属性03.解析多层嵌套Json
正文
01 解析json中的单个属性
select get_json_object(user_log,'$.source_id') from user_log_list
使用$表示json变量，然后用 . 读取对象；
使用get_json_object()的时候一次只能解析json对象里的一个字段。
02 解析json中的多个属性
select json_tuple(user_log,'source_id','properties','events') from user_log_list
03 解析多层嵌套Json
单条JSON日志user_log的格式如下：
{ "source_id":1000, "properties":{ "user_id":"10245784", "device_id":"1001245" }, "events":[ { "event_id":2, "event_data":{"mode":6,"intro":"想要的都在这里，一键满足需求" } }, { "event_id":4, "event_data":{"mode":6,"intro":"7X24小时为您服务是我们的宗旨" } } ]}
1、LATERAL VIEW
我们通过多次使用Lateral view 语句解析多层嵌套的json，“lateral view”表示“横向视图”，“lateral”作为动词时表示“横向传球”。
我们看下面这张json解析逻辑图可以看出，解析完一层后，把解析出来的字段添加至原有视图的右侧(此处的逻辑类似于select * from 原有视图 left outer join 新解析出来的字段，通过这种方式把一行数据拆分成多行)，继续解析下一层，以此类推。
SELECT user_log,a.source_id,a.properties,a.events FROM user_log_listLATERAL VIEW json_tuple(user_log,'source_id','properties','events') a AS source_id,properties,events--视图别名为a，生成新列的别名为source_id,properties,events
注意：在使用lateral view的时候必须指定视图别名和生成新列的别名
2、LATERAL VIEW explode
events并不是map(字典)格式，而是数组，无法通过json_tuple方法进行解析，所以我们用explode方法来解析数组。
SELECT user_log,a.source_id,b.user_id,b.device_id,d.event_id,d.event_data FROM user_log_listLATERAL VIEW json_tuple(user_log,'source_id','properties','events') a AS source_id,properties,eventsLATERAL VIEW explode(split(regexp_replace(regexp_extract(b.events,'^[(.+)]$',1),'},{', '}||{'),'||')) c AS list
解释：
①
regexp_extract(b.events,'^[(.+)]$',1)
其中正则表达式'^[(.+)]$'代表的是在b.events中匹配出以"["开头且以"]"结尾的中间的所有字符，index指定为1表示返回正则表达式中第一个() 对应的结果。
②
regexp_replace(regexp_extract(b.events,'^[(.+)]$',1),'},{', '}||{')
将数组中分隔各元素的逗号，替换成双竖杠。
③
split(regexp_replace(regexp_extract(b.events,'^[(.+)]$',1),'},{', '}||{'),'||')
表示以双竖杠分割字符串，返回结果为一个数组。
④
LATERAL VIEW explode(split(regexp_replace(regexp_extract(b.events,'^[(.+)]$',1),'},{', '}||{'),'||'))
用explode解析该数组，结合LATERAL VIEW生成新的横向视图。
⑤上述表达式中的双反斜杠为hive里的转义字符。
点击了解更多。。。
