Stimmt, Latex haftet auf der Oberfläche, der VOC Kleber muss eine gewisse Eindringtiefe beim Holz haben, so auch meine Erfahrung.
Gaaanz dumm gefragt Du schreibst "mehrere Schichten VOC auf den Schwamm..." -> Hast Du AUCH Kleber auf das Holz aufgetragen
Denn das ganze Zeug ist Kontaktkleber!