Vous ne pouvez pas. Vous devez utiliser une fonction nommée ou stocker la référence d'une manière ou d'une autre.
var handler;
function doSomethingWith(param) {
    handler = function(){
        document.write(param);
    };  
    document.body.addEventListener('scroll', handler,false);
}
setTimeout(function() {
     document.body.removeEventListener('scroll', handler ,false);
}, 3000);
Le mieux serait de le faire de manière structurée, afin que vous puissiez identifier différents gestionnaires et les supprimer. Dans l'exemple ci-dessus, vous ne pouvez évidemment supprimer que le dernier gestionnaire.
Mise à jour:
Vous pouvez créer votre propre gestionnaire de gestionnaire (:)):
var Handler = (function(){
    var i = 1,
        listeners = {};
    return {
        addListener: function(element, event, handler, capture) {
            element.addEventListener(event, handler, capture);
            listeners[i] = {element: element, 
                             event: event, 
                             handler: handler, 
                             capture: capture};
            return i++;
        },
        removeListener: function(id) {
            if(id in listeners) {
                var h = listeners[id];
                h.element.removeEventListener(h.event, h.handler, h.capture);
                delete listeners[id];
            }
        }
    };
}());
Ensuite, vous pouvez l'utiliser avec:
function doSomethingWith(param) {
    return Handler.addListener(document.body, 'scroll', function() {
        document.write(param);
    }, false);
}
var handler = doSomethingWith('Test. ');
setTimeout(function() {
     Handler.removeListener(handler);
}, 3000);
DEMO