#ifndef TOKENIZER_H
#define TOKENIZER_H

#include <string>
#include "../data/ArrayList.h"
#include "Token.h"
#include "TokenList.h"

using namespace std;

class Tokenizer 
{
public:
    Tokenizer(string s);
    Tokenizer(const Tokenizer& orig);
    virtual ~Tokenizer();
    
    void tokenize(TokenList& tokens);
private:
    string data;
    int pos;
    int line;
    int length;
    
    void tokenize(TokenList& tokens, char c, const TokenTypeClass* type1, const TokenTypeClass* type2);
    void tokenize(TokenList& tokens, const TokenTypeClass* type1, char c2, const TokenTypeClass*, char c3, const TokenTypeClass* type3);
    void tokenize(TokenList& tokens, const TokenTypeClass* type1, char c2, char c3, const TokenTypeClass* type2, const TokenTypeClass* type3, char c4, const TokenTypeClass* type4);
};

#endif