Původů je několik - babka bylo dříve běžné označení starší ženy/babičky (dnes již s hanlivým nádechem). Pokud byl takto označován muž, zřejmě šlo o označení, že se choval zbaběle, označení "baba" se pro zbabělce používá dosud. Rovněž původ může být z lidového označení hřibu žlutomasého, nebo z historického označení porodní bába, tedy žena, která na vesnicích asistovala při porodu.