#ifndef TOKENIZER_H
#define TOKENIZER_H

#include <iostream>
#include <vector>

#include "tokenizer/Token.h"

namespace Tokenizer
{
    void tokenize(std::vector<Token>& tokens, std::istream& input);
}

#endif