從零開始寫個編譯器吧 - Parser 語法分析器

fai1017 發布于2019-08-14 12:03 / 2935人閱讀

摘要：這樣的程序或稱工具有很多現成的可供選擇包括在平臺上可用的，但既然我這個系列叫做從零開始寫個編譯器吧，那顯然如果我用現成的工具，那是犯規行為。

Parser（語法分析器）的編寫相對于 Tokenizer （詞法分析器）要復雜得多，因此，在編寫之前可能也會鋪墊得更多一些。當然，本系列旨在“寫出”一個編譯器，所以理論方面只會簡單介紹 tao 語言所涉及的部分。
之前的幾章中，我純手寫了tao 語言的 Tokenizer。但如果我準備也純手寫一個 Parser，那將是非常麻煩且繁瑣的一件事情。實際上，就在在寫出這篇文章之前，我已完成了 Parser 的編寫，并測試妥當，因此我可以在此面對各位得出這個結論。

我將使用這么一種方式“制造”出 Parser：

將 tao 語言的所有語法細節描述出來，即定義 tao 語言。

寫一個能”根據定義，生成 tao 語言的 Parser“的程序。

如果以上描述有些讓人困惑，那我舉個通俗點的例子吧：

假如我想要制作一雙鞋子，通常的方案是，我會買好材料，并把鞋子做出來。但還有另一種方案，我先畫出鞋子的設計圖，再造一臺能依照設計圖造出鞋子的機器，然后把設計圖交給機器，再發動機器，得到鞋子。

在”制造鞋子的世界“中，除非我要開鞋廠，否則若我僅僅想造雙鞋子，那么前一個方案顯然更好。但在”制造編譯器的世界“中，卻與直覺相反，當語言本身足夠復雜的時候，后一種方案比前一種方案要方便得多。

至此，我需要一個能讀懂 tao 語言的定義，并根據定義生成 Parser 的一個程序。這種程序我們稱之為 Compiler-compiler 。這樣的程序（或稱工具）有很多現成的可供選擇（包括在 Java 平臺上可用的），但既然我這個系列叫做《從零開始寫個編譯器吧》，那顯然如果我用現成的工具，那是犯規行為。

因此，我還要寫一個 Compiler-compiler 出來才行。

那么，讓我先貼一張圖，以描述我將會寫出的 Compiler-compiler 的工作原理吧。

Compiler-compiler 會將 tao 語言的定義編譯成某種數據結構，而這種數據結構是 Parser 初始化的參數。Parser 只有獲得了這種數據結構才能正常工作。

當 Parser 初始化之后，它會讀取 Tokenizer 生成的 Token 序列，并同時通過解釋 Compiler-compiler 生成的數據結構，最后生成 Syntax Tree。

至此，在編寫 Parser 的章節中，我必須完成如下三個任務。

定義 tao 語言的語法細節，并挑選一個合適的形式描述出來。

編寫一個 Compiler-compiler，它能編譯 tao 語言的定義，并生成某種數據結構。

編寫一個 Parser，它通過解釋 Compiler-compiler 生成的數據結構，將 Token 序列編譯成 Syntax Tree。

GPU云服務器云服務器從零開始 linux從零開始 python從零開始從零開始php

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/64263.html

從零開始寫個編譯器吧 - 編譯器的結構

摘要：自然，我們還是先從語言的編譯器下手吧。在動手寫編譯器之前，得容我將編譯器的結構進行進一步的劃分。這些將被語法分析器接收并進行進一步處理。由于本系列將著重于寫出編譯器，必要的理論和概念還是會交代的。從零開始寫個編譯器吧編譯器的結構的博客自然，我們還是先從 tao 語言的編譯器下手吧。在動手寫編譯器之前，得容我將編譯器的結構進行進一步的劃分。編譯器可視為一個黑盒，從其一端輸入源代碼，另一...

wudengzan 2019-08-14 11:58 評論0 收藏0
從零開始寫個編譯器吧系列

摘要：是的，這個系列將呈現一個完整的編譯器從無到有的過程。但在寫這個編譯器的過程中，我可不會偷工減料，該有的一定會寫上的。該語言的虛擬機將運行于之上，同時編譯器將使用實現。我早有寫編譯器的想法之前沒寫過，故希望一邊寫編譯器一邊完成這個系列。是的，這個系列將呈現一個完整的編譯器從無到有的過程。當然，為了保證該系列內容的簡潔（也為了降低難度），僅僅保證編譯器的最低要求，即僅能用。但在寫這個編譯...

genedna 2019-08-14 11:58 評論0 收藏0
從零開始寫個編譯器吧 - 詞法分析器是一個狀態機

摘要：詞法分析器本身就是一個狀態機，生成這個狀態機有很多種方法，而我打算采取手寫的方式。狀態機不斷從源代碼即一個字符串中讀入一個一個字符，讀到不同的字符將使狀態機的狀態從一個狀態變化到另外一個狀態。詞法分析器 Tokenizer 本身就是一個狀態機，生成這個狀態機有很多種方法，而我打算采取手寫的方式。因為 tao 語言的詞法還是相對比較簡單的，手寫不成問題。先新建一個LexicalAna...

calx 2019-08-14 11:58 評論0 收藏0
從零開始寫個編譯器吧 - TerminalSymbol.java 與 NonTerminalSymb

摘要：對于而言，終結符與的是對應的。這些內容，我將其稱之為終結符的值。對于一個非終結符的產生式對于非終結符，其對象的字段則會表現成如下形式。對于里面的數組，其元素可能為終結符對象非終結符對象或表達式枚舉對象。首先是 TerminalSymbol.java 即終結符。 package com.taozeyu.taolan.analysis; import java.util.HashSet...

darry 2019-08-14 15:16 評論0 收藏0
從零開始寫個編譯器吧 - 分析非終結符

摘要：基于這個結論，對某個非終結符展開形式的判定就變得明了起來。但嚴格的要求一個非終結符最多只能有一個產生式可以導出。這意味著我們必須明確知道每一個非終結符能不能導出。如果集包含這個終結符，則表明該非終結符需要導出。 tao 語言的 Parser 的語法分析是不帶回溯的，自頂向下的。文法選用 LL(1)，這種文法雖然略顯薄弱，但還尚可用。回顧上一章提到的 LL(1) 的定義，可以得出如下結...

snifes 2019-08-14 15:15 評論0 收藏0