stream.go 10 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556
  1. package decoder
  2. import (
  3. "bytes"
  4. "encoding/json"
  5. "io"
  6. "strconv"
  7. "unsafe"
  8. "github.com/goccy/go-json/internal/errors"
  9. )
  10. const (
  11. initBufSize = 512
  12. )
  13. type Stream struct {
  14. buf []byte
  15. bufSize int64
  16. length int64
  17. r io.Reader
  18. offset int64
  19. cursor int64
  20. filledBuffer bool
  21. allRead bool
  22. UseNumber bool
  23. DisallowUnknownFields bool
  24. Option *Option
  25. }
  26. func NewStream(r io.Reader) *Stream {
  27. return &Stream{
  28. r: r,
  29. bufSize: initBufSize,
  30. buf: make([]byte, initBufSize),
  31. Option: &Option{},
  32. }
  33. }
  34. func (s *Stream) TotalOffset() int64 {
  35. return s.totalOffset()
  36. }
  37. func (s *Stream) Buffered() io.Reader {
  38. buflen := int64(len(s.buf))
  39. for i := s.cursor; i < buflen; i++ {
  40. if s.buf[i] == nul {
  41. return bytes.NewReader(s.buf[s.cursor:i])
  42. }
  43. }
  44. return bytes.NewReader(s.buf[s.cursor:])
  45. }
  46. func (s *Stream) PrepareForDecode() error {
  47. for {
  48. switch s.char() {
  49. case ' ', '\t', '\r', '\n':
  50. s.cursor++
  51. continue
  52. case ',', ':':
  53. s.cursor++
  54. return nil
  55. case nul:
  56. if s.read() {
  57. continue
  58. }
  59. return io.EOF
  60. }
  61. break
  62. }
  63. return nil
  64. }
  65. func (s *Stream) totalOffset() int64 {
  66. return s.offset + s.cursor
  67. }
  68. func (s *Stream) char() byte {
  69. return s.buf[s.cursor]
  70. }
  71. func (s *Stream) equalChar(c byte) bool {
  72. cur := s.buf[s.cursor]
  73. if cur == nul {
  74. s.read()
  75. cur = s.buf[s.cursor]
  76. }
  77. return cur == c
  78. }
  79. func (s *Stream) stat() ([]byte, int64, unsafe.Pointer) {
  80. return s.buf, s.cursor, (*sliceHeader)(unsafe.Pointer(&s.buf)).data
  81. }
  82. func (s *Stream) bufptr() unsafe.Pointer {
  83. return (*sliceHeader)(unsafe.Pointer(&s.buf)).data
  84. }
  85. func (s *Stream) statForRetry() ([]byte, int64, unsafe.Pointer) {
  86. s.cursor-- // for retry ( because caller progress cursor position in each loop )
  87. return s.buf, s.cursor, (*sliceHeader)(unsafe.Pointer(&s.buf)).data
  88. }
  89. func (s *Stream) Reset() {
  90. s.reset()
  91. s.bufSize = int64(len(s.buf))
  92. }
  93. func (s *Stream) More() bool {
  94. for {
  95. switch s.char() {
  96. case ' ', '\n', '\r', '\t':
  97. s.cursor++
  98. continue
  99. case '}', ']':
  100. return false
  101. case nul:
  102. if s.read() {
  103. continue
  104. }
  105. return false
  106. }
  107. break
  108. }
  109. return true
  110. }
  111. func (s *Stream) Token() (interface{}, error) {
  112. for {
  113. c := s.char()
  114. switch c {
  115. case ' ', '\n', '\r', '\t':
  116. s.cursor++
  117. case '{', '[', ']', '}':
  118. s.cursor++
  119. return json.Delim(c), nil
  120. case ',', ':':
  121. s.cursor++
  122. case '-', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9':
  123. bytes := floatBytes(s)
  124. str := *(*string)(unsafe.Pointer(&bytes))
  125. if s.UseNumber {
  126. return json.Number(str), nil
  127. }
  128. f64, err := strconv.ParseFloat(str, 64)
  129. if err != nil {
  130. return nil, err
  131. }
  132. return f64, nil
  133. case '"':
  134. bytes, err := stringBytes(s)
  135. if err != nil {
  136. return nil, err
  137. }
  138. return string(bytes), nil
  139. case 't':
  140. if err := trueBytes(s); err != nil {
  141. return nil, err
  142. }
  143. return true, nil
  144. case 'f':
  145. if err := falseBytes(s); err != nil {
  146. return nil, err
  147. }
  148. return false, nil
  149. case 'n':
  150. if err := nullBytes(s); err != nil {
  151. return nil, err
  152. }
  153. return nil, nil
  154. case nul:
  155. if s.read() {
  156. continue
  157. }
  158. goto END
  159. default:
  160. return nil, errors.ErrInvalidCharacter(s.char(), "token", s.totalOffset())
  161. }
  162. }
  163. END:
  164. return nil, io.EOF
  165. }
  166. func (s *Stream) reset() {
  167. s.offset += s.cursor
  168. s.buf = s.buf[s.cursor:]
  169. s.length -= s.cursor
  170. s.cursor = 0
  171. }
  172. func (s *Stream) readBuf() []byte {
  173. if s.filledBuffer {
  174. s.bufSize *= 2
  175. remainBuf := s.buf
  176. s.buf = make([]byte, s.bufSize)
  177. copy(s.buf, remainBuf)
  178. }
  179. remainLen := s.length - s.cursor
  180. remainNotNulCharNum := int64(0)
  181. for i := int64(0); i < remainLen; i++ {
  182. if s.buf[s.cursor+i] == nul {
  183. break
  184. }
  185. remainNotNulCharNum++
  186. }
  187. s.length = s.cursor + remainNotNulCharNum
  188. return s.buf[s.cursor+remainNotNulCharNum:]
  189. }
  190. func (s *Stream) read() bool {
  191. if s.allRead {
  192. return false
  193. }
  194. buf := s.readBuf()
  195. last := len(buf) - 1
  196. buf[last] = nul
  197. n, err := s.r.Read(buf[:last])
  198. s.length += int64(n)
  199. if n == last {
  200. s.filledBuffer = true
  201. } else {
  202. s.filledBuffer = false
  203. }
  204. if err == io.EOF {
  205. s.allRead = true
  206. } else if err != nil {
  207. return false
  208. }
  209. return true
  210. }
  211. func (s *Stream) skipWhiteSpace() byte {
  212. p := s.bufptr()
  213. LOOP:
  214. c := char(p, s.cursor)
  215. switch c {
  216. case ' ', '\n', '\t', '\r':
  217. s.cursor++
  218. goto LOOP
  219. case nul:
  220. if s.read() {
  221. p = s.bufptr()
  222. goto LOOP
  223. }
  224. }
  225. return c
  226. }
  227. func (s *Stream) skipObject(depth int64) error {
  228. braceCount := 1
  229. _, cursor, p := s.stat()
  230. for {
  231. switch char(p, cursor) {
  232. case '{':
  233. braceCount++
  234. depth++
  235. if depth > maxDecodeNestingDepth {
  236. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  237. }
  238. case '}':
  239. braceCount--
  240. depth--
  241. if braceCount == 0 {
  242. s.cursor = cursor + 1
  243. return nil
  244. }
  245. case '[':
  246. depth++
  247. if depth > maxDecodeNestingDepth {
  248. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  249. }
  250. case ']':
  251. depth--
  252. case '"':
  253. for {
  254. cursor++
  255. switch char(p, cursor) {
  256. case '\\':
  257. cursor++
  258. if char(p, cursor) == nul {
  259. s.cursor = cursor
  260. if s.read() {
  261. _, cursor, p = s.statForRetry()
  262. continue
  263. }
  264. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  265. }
  266. case '"':
  267. goto SWITCH_OUT
  268. case nul:
  269. s.cursor = cursor
  270. if s.read() {
  271. _, cursor, p = s.statForRetry()
  272. continue
  273. }
  274. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  275. }
  276. }
  277. case nul:
  278. s.cursor = cursor
  279. if s.read() {
  280. _, cursor, p = s.stat()
  281. continue
  282. }
  283. return errors.ErrUnexpectedEndOfJSON("object of object", cursor)
  284. }
  285. SWITCH_OUT:
  286. cursor++
  287. }
  288. }
  289. func (s *Stream) skipArray(depth int64) error {
  290. bracketCount := 1
  291. _, cursor, p := s.stat()
  292. for {
  293. switch char(p, cursor) {
  294. case '[':
  295. bracketCount++
  296. depth++
  297. if depth > maxDecodeNestingDepth {
  298. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  299. }
  300. case ']':
  301. bracketCount--
  302. depth--
  303. if bracketCount == 0 {
  304. s.cursor = cursor + 1
  305. return nil
  306. }
  307. case '{':
  308. depth++
  309. if depth > maxDecodeNestingDepth {
  310. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  311. }
  312. case '}':
  313. depth--
  314. case '"':
  315. for {
  316. cursor++
  317. switch char(p, cursor) {
  318. case '\\':
  319. cursor++
  320. if char(p, cursor) == nul {
  321. s.cursor = cursor
  322. if s.read() {
  323. _, cursor, p = s.statForRetry()
  324. continue
  325. }
  326. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  327. }
  328. case '"':
  329. goto SWITCH_OUT
  330. case nul:
  331. s.cursor = cursor
  332. if s.read() {
  333. _, cursor, p = s.statForRetry()
  334. continue
  335. }
  336. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  337. }
  338. }
  339. case nul:
  340. s.cursor = cursor
  341. if s.read() {
  342. _, cursor, p = s.stat()
  343. continue
  344. }
  345. return errors.ErrUnexpectedEndOfJSON("array of object", cursor)
  346. }
  347. SWITCH_OUT:
  348. cursor++
  349. }
  350. }
  351. func (s *Stream) skipValue(depth int64) error {
  352. _, cursor, p := s.stat()
  353. for {
  354. switch char(p, cursor) {
  355. case ' ', '\n', '\t', '\r':
  356. cursor++
  357. continue
  358. case nul:
  359. s.cursor = cursor
  360. if s.read() {
  361. _, cursor, p = s.stat()
  362. continue
  363. }
  364. return errors.ErrUnexpectedEndOfJSON("value of object", s.totalOffset())
  365. case '{':
  366. s.cursor = cursor + 1
  367. return s.skipObject(depth + 1)
  368. case '[':
  369. s.cursor = cursor + 1
  370. return s.skipArray(depth + 1)
  371. case '"':
  372. for {
  373. cursor++
  374. switch char(p, cursor) {
  375. case '\\':
  376. cursor++
  377. if char(p, cursor) == nul {
  378. s.cursor = cursor
  379. if s.read() {
  380. _, cursor, p = s.statForRetry()
  381. continue
  382. }
  383. return errors.ErrUnexpectedEndOfJSON("value of string", s.totalOffset())
  384. }
  385. case '"':
  386. s.cursor = cursor + 1
  387. return nil
  388. case nul:
  389. s.cursor = cursor
  390. if s.read() {
  391. _, cursor, p = s.statForRetry()
  392. continue
  393. }
  394. return errors.ErrUnexpectedEndOfJSON("value of string", s.totalOffset())
  395. }
  396. }
  397. case '-', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9':
  398. for {
  399. cursor++
  400. c := char(p, cursor)
  401. if floatTable[c] {
  402. continue
  403. } else if c == nul {
  404. if s.read() {
  405. _, cursor, p = s.stat()
  406. continue
  407. }
  408. }
  409. s.cursor = cursor
  410. return nil
  411. }
  412. case 't':
  413. s.cursor = cursor
  414. if err := trueBytes(s); err != nil {
  415. return err
  416. }
  417. return nil
  418. case 'f':
  419. s.cursor = cursor
  420. if err := falseBytes(s); err != nil {
  421. return err
  422. }
  423. return nil
  424. case 'n':
  425. s.cursor = cursor
  426. if err := nullBytes(s); err != nil {
  427. return err
  428. }
  429. return nil
  430. }
  431. cursor++
  432. }
  433. }
  434. func nullBytes(s *Stream) error {
  435. // current cursor's character is 'n'
  436. s.cursor++
  437. if s.char() != 'u' {
  438. if err := retryReadNull(s); err != nil {
  439. return err
  440. }
  441. }
  442. s.cursor++
  443. if s.char() != 'l' {
  444. if err := retryReadNull(s); err != nil {
  445. return err
  446. }
  447. }
  448. s.cursor++
  449. if s.char() != 'l' {
  450. if err := retryReadNull(s); err != nil {
  451. return err
  452. }
  453. }
  454. s.cursor++
  455. return nil
  456. }
  457. func retryReadNull(s *Stream) error {
  458. if s.char() == nul && s.read() {
  459. return nil
  460. }
  461. return errors.ErrInvalidCharacter(s.char(), "null", s.totalOffset())
  462. }
  463. func trueBytes(s *Stream) error {
  464. // current cursor's character is 't'
  465. s.cursor++
  466. if s.char() != 'r' {
  467. if err := retryReadTrue(s); err != nil {
  468. return err
  469. }
  470. }
  471. s.cursor++
  472. if s.char() != 'u' {
  473. if err := retryReadTrue(s); err != nil {
  474. return err
  475. }
  476. }
  477. s.cursor++
  478. if s.char() != 'e' {
  479. if err := retryReadTrue(s); err != nil {
  480. return err
  481. }
  482. }
  483. s.cursor++
  484. return nil
  485. }
  486. func retryReadTrue(s *Stream) error {
  487. if s.char() == nul && s.read() {
  488. return nil
  489. }
  490. return errors.ErrInvalidCharacter(s.char(), "bool(true)", s.totalOffset())
  491. }
  492. func falseBytes(s *Stream) error {
  493. // current cursor's character is 'f'
  494. s.cursor++
  495. if s.char() != 'a' {
  496. if err := retryReadFalse(s); err != nil {
  497. return err
  498. }
  499. }
  500. s.cursor++
  501. if s.char() != 'l' {
  502. if err := retryReadFalse(s); err != nil {
  503. return err
  504. }
  505. }
  506. s.cursor++
  507. if s.char() != 's' {
  508. if err := retryReadFalse(s); err != nil {
  509. return err
  510. }
  511. }
  512. s.cursor++
  513. if s.char() != 'e' {
  514. if err := retryReadFalse(s); err != nil {
  515. return err
  516. }
  517. }
  518. s.cursor++
  519. return nil
  520. }
  521. func retryReadFalse(s *Stream) error {
  522. if s.char() == nul && s.read() {
  523. return nil
  524. }
  525. return errors.ErrInvalidCharacter(s.char(), "bool(false)", s.totalOffset())
  526. }