Андрей

Скорее всего у вас 64 битный питон и 32 битный access. Либо установить python x86, либо access 64.

Наилучший вариант - не пытаться работать с Access

Похоже на список словарей, но если проверить методов len(items) то результат - 1. Тоесть в переменной items всего один элемент.

у вас сначала все лежит в списке (list, []), в котором уже dict.

Попробуйте items[0] - в первом элементе будет ваш словарь.
Это произошло потому что метод find_all возвращает список.

Scrapy глохнет при скармливании ему неправильного URL.

А вы пробовали к ресурсу, адресуемому этим URL, обратиться браузером? У меня открывается статья, с библиографическим номером 2002JIMO...30..199R. Более того, при помощи requests я получаю HTTP 200 в ответ на HEAD:

>>> import requests
>>> response = requests.head('http://adsabs.harvard.edu/full/2002JIMO...30..199R')
>>> response
<Response [200]>

Есть мнение, что вы не до конца понимаете проблему, которую хотите решить. Предлагаю разобраться, почему

Scrapy глохнет при скармливании ему неправильного URL

(и так ли это вообще, может быть, эти явления не связаны). Может быть, сайт временно не работоспособен? Может быть, сервер вас (или ваш прокси) блокирует? Может быть, это ошибка Scrapy?
Зафиксируйте URL и проверьте, всегда ли (при каких условиях) Scrapy его [не]корректно обрабатывает.