Bon évidemment c'est toujours au moment où on pose la question après avoir cherché la réponse pendant 2 heures qu'on trouve...
Le souci venait du fait que pour mes tests, j'écrivais parfois :
session_start();
$_SESSION = array();
session_destroy();
if(isset($_SESSION['panier']))...je croyais qu'au prochain rechargement de la page il n'y aurait pas de session existante vu qu'elle avait été détruite aussitôt par session_destroy, mais de toute évidence le fait d'appeler $_SESSION['panier'] sans avoir initialisé la session avant fait quand même planter quelque chose par la suite. En effet après ça, le fait de faire serialize($objet) transforme réellement $objet en chaine. Ce comportement est pour le moins étonnant

Pour régler le problème, quand je veux supprimer ma session, je fais maintenant :
$_SESSION = array();
session_destroy();
exit;pour être sûr qu'il n'y aura pas de traîneries derrière, et tout marche bien au prochain rechargement de page.
voilà, en espérant que ça servira aussi d'autres personnes ^^