Scrapy でバグっぽい挙動にぶつかったので状況と解決策の記録です。
クローラーの実行に失敗する
いつものように Scrapy でクローラーを走らせようとしたらエラーでコケました。
エラーのログはこんな感じ。
2018-01-27 14:36:06 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: foo)
2018-01-27 14:36:06 [scrapy.utils.log] INFO: Versions: lxml 4.1.1.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.3.1, w3lib 1.19.0, Twisted 17.9.0, Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:01:18) [MSC v.1900 32 bit (Intel)], pyOpenSSL 17.5.0 (OpenSSL 1.1.0g 2 Nov 2017), cryptography 2.1.4, Platform Windows-10-10.0.16299-SP0
2018-01-27 14:36:06 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'foo', 'SPIDER_MODULES': ['foo.spiders'], 'ROBOTSTXT_OBEY': True, 'LOG_FILE': '143606.log', 'FEED_URI': 'result.csv', 'DOWNLOAD_DELAY': 1, 'FEED_FORMAT': 'csv', 'NEWSPIDER_MODULE': 'foo.spiders'}
2018-01-27 14:36:07 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.feedexport.FeedExporter',
'scrapy.extensions.logstats.LogStats']
2018-01-27 14:36:07 [twisted] CRITICAL: Unhandled error in Deferred:
2018-01-27 14:36:07 [twisted] CRITICAL:
Traceback (most recent call last):
File "c:\works\foo\env\lib\site-packages\twisted\internet\defer.py", line 1386, in _inlineCallbacks
result = g.send(result)
File "c:\works\foo\env\lib\site-packages\scrapy\crawler.py", line 80, in crawl
self.engine = self._create_engine()
File "c:\works\foo\env\lib\site-packages\scrapy\crawler.py", line 105, in _create_engine
return ExecutionEngine(self, lambda _: self.stop())
File "c:\works\foo\env\lib\site-packages\scrapy\core\engine.py", line 69, in __init__
self.downloader = downloader_cls(crawler)
File "c:\works\foo\env\lib\site-packages\scrapy\core\downloader\__init__.py", line 88, in __init__
self.middleware = DownloaderMiddlewareManager.from_crawler(crawler)
File "c:\works\foo\env\lib\site-packages\scrapy\middleware.py", line 58, in from_crawler
return cls.from_settings(crawler.settings, crawler)
File "c:\works\foo\env\lib\site-packages\scrapy\middleware.py", line 34, in from_settings
mwcls = load_object(clspath)
File "c:\works\foo\env\lib\site-packages\scrapy\utils\misc.py", line 44, in load_object
mod = import_module(module)
File "c:\works\foo\env\lib\importlib\__init__.py", line 126, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "<frozen importlib._bootstrap>", line 986, in _gcd_import
File "<frozen importlib._bootstrap>", line 969, in _find_and_load
File "<frozen importlib._bootstrap>", line 958, in _find_and_load_unlocked
File "<frozen importlib._bootstrap>", line 673, in _load_unlocked
File "<frozen importlib._bootstrap_external>", line 665, in exec_module
File "<frozen importlib._bootstrap>", line 222, in _call_with_frames_removed
File "c:\works\foo\env\lib\site-packages\scrapy\downloadermiddlewares\retry.py", line 20, in <module>
from twisted.web.client import ResponseFailed
File "c:\works\foo\env\lib\site-packages\twisted\web\client.py", line 42, in <module>
from twisted.internet.endpoints import HostnameEndpoint, wrapClientTLS
File "c:\works\foo\env\lib\site-packages\twisted\internet\endpoints.py", line 41, in <module>
from twisted.internet.stdio import StandardIO, PipeAddress
File "c:\works\foo\env\lib\site-packages\twisted\internet\stdio.py", line 30, in <module>
from twisted.internet import _win32stdio
File "c:\works\foo\env\lib\site-packages\twisted\internet\_win32stdio.py", line 9, in <module>
import win32api
ImportError: DLL load failed: 指定されたモジュールが見つかりません。
win32api の import に失敗 しているようです。
もともと Scrapy は Windows で走らせる場合に限り win32api に依存します。そのために事前に pip install pypiwin32 して必要なライブラリをインストールしておいたのですが。
というか、数週間前にセットアップした Scrapy は同じ環境で普通に動いているので不思議なことです。
解決策を探る
結論から云うと原因は不明で、 pypiwin32 のバージョンを下げる ことで対処しました。
数週間前にセットアップした環境で pip freeze -l > requirements.txt してインストールされている pypiwin32 のバージョンを比べてみます。
差分だけ取り出すと、
cffi==1.11.2 => cffi==1.11.4
pypiwin32==219 => pypiwin32==222
=> pywin32==222
w3lib==1.18.0 => w3lib==1.19.0
これだけ見ると pypiwin32 のバージョン 220 から 222 の間で何かしらのバグが入った事が原因のように見えます。
または pywin32 に依存するようになったことが原因でしょうか？
今回は取り急ぎ pypiwin32 をアンインストールしてから pypiwin32==219 で古いバージョンの pypiwin32 を入れ直す ことで対応しました。
私からは以上です。
