吕振羽曾祖父吕纪，佃农，参加了太平天国赖文光的部队，后升为大旗官，随军入南京。无奈南京陷落，方昼伏夜行乞讨回家，靠打草鞋维持生计。吕振羽在《大旗官吕先纪》载“闭门聚儿女，端详说天军”，可见他从小受曾祖父影响颇深，同情下层民众，憎恨剥削阶级，向往维新图强。
吕振羽的祖父吕德良因父亲出征，十二岁成为家庭主要劳动力，成年后娶了一位地主跛脚的女儿。在吕振羽祖母娘家资助下，再加上祖父的勤劳，他家逐渐成为拥有少量土地的自耕农。
吕振羽的父亲吕公斌读了几年书，在本村开办私塾教蒙童为生。
吕振羽7岁时，进入父亲的蒙馆读书。11岁时，辛亥革命爆发，他父亲的蒙馆关闭，从此弃教务农，几乎断了经济来源，家庭日渐拮据。但父亲发现他天资聪颖、且勤奋好学，是块读书的好料子。于是暗下决心，就算倾家荡产也要送儿子继续读书。此后吕振羽到本乡田心村玉公山坊经馆读书。13岁时，吕振羽写《咏榴花》诗以明志，由此可见他从小气宇非凡。
门内榴花树，花开血样红;
何时成硕果，此日莫摇风。
1915年，15岁的吕振羽轻松考入由其族兄吕新民创办不久的武东初级中学，从旧式经馆走入新式学堂，接触到新学课本和老师的教案，他往往废寝忘食。但乡下的简易中学仍然不能满足吕振羽对新思想新文化的渴望。
1916年，吕振羽听说武冈城里的县立中学不要学费，包吃包住。便跟父亲说想去县城求学。但其父亲心里忐忑：一怕得罪了吕新民，二怕儿子说的不靠谱，于是亲自到武冈城打探了一番，发现果不其然。其父便抱着试一试的心理去找吕新民商量。没想到吕新民非常支持。吕新民对这个族弟本来欣赏有加，打心底里舍不得他转学，但又怕埋没了人才。便亲自带上他父子俩去找一个在县立中学任教的老师肖石城。
肖石城一见吕振羽就当场出题考了他，见他知书达礼，谈吐文雅，对答如流，肖石城喜上眉梢，对这个人小心高的年轻伢子非常中意。就这样吕振羽顺利通过考试，进入武冈县立中学。