O Lexador é responsável por transformar o código em uma coleção de tokens de linguagem.
Cada token de linguagem é representado por um tipo, um lexema e informações da linha de código em que foi expresso.
Também é responsável por mapear as palavras reservadas da linguagem, que não podem ser usadas por outras
estruturas, tais como nomes de variáveis, funções, literais, classes e assim por diante.
Este lexador é diferente dos demais, porque também produz uma estrutura de dados de pragmas, que explica,
por exemplo quantos espaços há na frente de cada linha. Assim como a linguagem Python, os blocos de
escopo são definidos pelo número de espaços à frente do código.
O Lexador é responsável por transformar o código em uma coleção de tokens de linguagem. Cada token de linguagem é representado por um tipo, um lexema e informações da linha de código em que foi expresso. Também é responsável por mapear as palavras reservadas da linguagem, que não podem ser usadas por outras estruturas, tais como nomes de variáveis, funções, literais, classes e assim por diante.
Este lexador é diferente dos demais, porque também produz uma estrutura de dados de pragmas, que explica, por exemplo quantos espaços há na frente de cada linha. Assim como a linguagem Python, os blocos de escopo são definidos pelo número de espaços à frente do código.