Решил попробовать сделать свой ЯП. Начал с лексера. Вот мои токены, и их значения:
Можете дать пример того, как сделать свой лексер? Я бы не осень хотел использовать сторонние библиотеки. Всем заранее спасибо, рискую поучить бан 
Python:
INT = 'int'
ID = 'все названия чего либо'
NUMBER = 'все цифры'
SIGN = 'все знаки'