古时候，楚国有一个人，在他坐船过江的时候，一不小心，把身上挂的一把宝剑掉进江里去了。那个人不慌不忙地从衣袋里取出一把小刀，在船舷上落下宝剑的地方刻了一个记号。嘴里自言自语嘱咐自己：“别忘记了，我的宝剑是从这儿掉下去的。”
同船人见他不着急的样子都很纳闷，就问他：“为什么不赶快下水捞宝剑？你在船舷上刻个记号有什么用呀？”
“着什么急，我的宝剑是从这个地方掉下去的，一等船靠岸了，我就要从这个刻有记号的地方跳下水去，把宝剑找回来。”
过了一会儿，船到了目的地，停下来靠了码头，这个人便从船上刻的记号处，跳下水去捞宝剑，可是，摸了好长时间也没有找到。
同船人看到他这样寻找宝剑都感到很可笑，有一个人说：“宝剑掉江里以后，船还是在行走的，而宝剑沉在水底下是不会跟着走的。事实上，现在船离开丢剑的地方已经很远了，再按船舷上刻记号处去找它怎么能找到呢？”
大家都议论说：“这个人连一个很普通的道理也不懂得呢。”
后来人们根据这个故事引申出“刻舟求剑”这句成语，比喻人们做事情要从客观实际出发，注意事物的发展变化，来处理事情。