通过源码分析Go的基本类型-String(字符串),源代码版本:go 1.17.3.
一、数据结构
字符串是Go的基本类型之一,是一串只读的、连续的内存空间。对于代码中赋值的字符串,编译器会将其替换为只读数据STODATA。
上面的代码可以看到,赋值语句hello有标记STODATA,size=5。 通过reflect/value.go中对StringHeader的定义可以看到:
字符串由一个头部指针和Len组成,相比slice来说,只缺少一个容量cap的定义,所以常解释字符串是一个只读的字符切片。
由于字符串是只读的,那么我们就不可以直接在原有的字符串上进行修改,只能通过重建、拷贝的方式达到形式上的修改。
二、字符串的解析
语法分析器在处理字符串时,会对源文件中的字符串进行切片和分组,将字符串解析为Token序列。在Go中我们用双引号和反引号定义字符串:
双引号下,不能换行。如果需要逃逸双引号,则需要通过增加"\"进行转义。反引号则可以突破单行限制,但是反引号无法通过"\"逃逸。 不同的声明方式,需要不同的解析方法。Go的`cmd/compile/internal/syntax/scanner.go`中定义了两种声明方式下不同的解析方法:
从中可以看出,双引号定义的字符串有以下特点:
1. 双引号开始和结尾;
2. 反斜杠"\"可以逃逸双引号;
3. 不能换行。
反引号的解析则使用的`rawString`方法。
通过源码,可以看到反引号只能以反引号开始和结尾,且不能被转义。支持换行等其他字符。
而无论是反引号还是双引号,字符串最后都会通过setList转换成Token序列,最后传递到`go/constant/value.go`的MakeFromLiteral中被处理成字符串:
`strconv.Unquote`对字符串做了很多的处理,包括对字符转换、字符编码一致性检查等,此处不展开,感兴趣的可以定位到源代码:`strconv/quote.go` Line 391.
三、字符串拼接
Go通过关键字"+"拼接两个字符串,前面说到字符串是只读的,那么拼接就必然发生了新建内存和内容的拷贝。
编译器检测到符号"+"后,会将其对应的OADD指令转换为:OADDSTR,然后调用``src/cmd/compile/internal/walk/expr.go`中的walkAddString生成用于拼接字符串的代码:
可以看到:
1. 如果需要拼接的字符串小于等于5个,那么匹配concatstring{2,3,4,5};
2. 如果超过5个,则匹配concatstrings方法, 将字符串转换成切片类型进行处理。
无论是哪种方式,最后都会调用`src/runtime/string.go`中的concatstrings,遍历传入的切片数组,过滤掉空字符后进行拼接。
如果非空字符串长度为1,且数据不在栈上,则直接返回该字符串,否则需要对字符串进行拷贝操作。
可以看到,字符串拼接时分配了一段新的连续内存空间,然后将旧数据copy过去,新的字符串和旧的没有任何关联。
在应用中,一旦拼接过大的字符串,则其带来的内存损耗和COPY开销是不可忽略的。
四、 类型转换
Go中,字符串和[]byte之间的转换很常见,尤其是在json数据转换时,经常需要相互转换。从字符数组到字符串的转换,调用的是`src/runtime/string.go`的slicebytetostring方法。
如果数组的长度是0或者1,则可以简单操作返回。否则,需要为返回的字符串分配内存,并将值copy过去。 这里如果缓冲区够存储,则使用缓冲区的内存,否则需要重新申请。
如果是字符串转[]byte时,则需要使用`stringtoslicebyte`方法:
同样的,如果缓冲区不够的情况下,会申请新的内存存储切片类型的结果,分配到内存后,同样的进行值拷贝。
当我们需要修改字符串时,需要借助字符串转换成字符切片,然后对切片进行修改后重新转换成字符串,所以整个过程中都伴随着内存的分配和拷贝的带来的压力。
生活依然要继续,每天拿出半个小时,放下焦虑,用行动来积累更好的自己,我们一起加油!