Принципиальной разницы между "забыл" и "никогда не знал" - нет. Но если забыл, то гораздо обидней.