اين مسجد از مساجد قديمی بوشهر است كه در گذشته ديوار شهر بوشهر از نزديك آن می گذشت. آب انبار قوام در نزديكی آن قرار دارد. درباره وجه تسميه آن گفته اند مردی هندی هر روز بعد از ظهر ها با فيل خود در حوالی اين مسجد گردش می كرد و بعد ها اين مسجد به نام «فيل» شهرت يافت. مساجد ديگری نيز در بوشهرازقديم تا امروز وجود داشته و دارند مانند مسجد قبری، نمكی، ملك، روغنی ها، هيزمی ها، نو، دهدشتی، حاج بابا حاجی، براز جانی ها و از جمله مسجد سيراف در بندر طاهری كه به مسجد «بصری» معروف است.