Согласно традиции, и сама земля Кералы, и ее воинское искусство обязаны своим возникновением Парашураме, шестой аватаре бога Вишну, избавившему брахманов от тирании воинов-кшатриев: он бросил свою секиру далеко в море и приказал волнам отступить до этого места. Волны повиновались, и так появилась на свет прибрежная Керала, полоска земли между горами и морем, изобилующая лагунами. Здесь Парашурама поселил «3 600 брахманов, которые приняли от него право носить оружие», т.е., выполнять обязанности кшатриев - «обуздывать преступников, воевать и служить стражей» - как гласит местная хроника. Другая местная хроника добавляет к этому, что «Парашурама, дабы сокрушить своих врагов, основал сорок два калари и привел туда брахманов высокой касты, чтобы они совершали там обряды; также он обучил двадцать одного мастера калари, как побеждать врагов».
Историки до некоторой степени согласны с легендой: хотя каларипаятту в его современной форме сложилось в 11-12 веках, «искусство побеждать врагов» известно в Керале с древних времен, примерно с 4 века до н.э., «века героев» местной поэтической традиции. Свой вклад в формирование воинской традиции внесли брамины, поселения которых появились в Керале примерно в 7 в. н.э.: существовала целая каста «полу-брахманов», которые несколько столетий хранили и формировали воинское искусство.
Позднее возникла каста «наяр»: в обязанности ее представителей входило нести воинскую службу или быть медиком при главе деревни, правителе области или местном радже. На старинных гравюрах, сделанных уже европейцами, можно видеть воинов этой касты: они сражаются в одной набедренной повязке, с мечом и круглым щитом (как и наши современники, практикующие каларипаятту), или стреляют из лука. Вот как описывает воинов-наяр европеец Джованни Маффеи: «мальчики этой касты начинают учиться ремеслу воина с семи лет, делая различные упражнения и втирая в тело кунжутовое масло – все это под руководством знающих мастеров. Вследствие подобного обучения они могут гнуться и извиваться так, как будто у них нет костей. Они замечательные борцы, однако выказывают еще больше умения в обращении с оружием. Они выходят на бой в одной лишь набедренной повязке, без кирас и шлемов». Интересно заметить, что в этой касте в некоторых случаях даже девочки обучались воинскому искусству - более того, известно, что несколько женщин весьма преуспели в овладении им. Большая часть современных мастеров каларипаятту относятся к этой касте и ведут свою родословную от времен задолго до прихода английских колонизаторов. В Керале даже считают, что если бы не предательство своих, англичане никогда не смогли бы захватить эту землю.