無駄と文化

実用的ブログ

Scrapy のクロール実行時 win32api の ImportError でコケる (Windows10, Python 3.5.2, Scrapy 1.5.0)

f:id:todays_mitsui:20160827190511p:plain


Scrapy でバグっぽい挙動にぶつかったので状況と解決策の記録です。

クローラーの実行に失敗する

いつものように Scrapy でクローラーを走らせようとしたらエラーでコケました。
エラーのログはこんな感じ。

2018-01-27 14:36:06 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: foo)
2018-01-27 14:36:06 [scrapy.utils.log] INFO: Versions: lxml 4.1.1.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.3.1, w3lib 1.19.0, Twisted 17.9.0, Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:01:18) [MSC v.1900 32 bit (Intel)], pyOpenSSL 17.5.0 (OpenSSL 1.1.0g  2 Nov 2017), cryptography 2.1.4, Platform Windows-10-10.0.16299-SP0
2018-01-27 14:36:06 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'foo', 'SPIDER_MODULES': ['foo.spiders'], 'ROBOTSTXT_OBEY': True, 'LOG_FILE': '143606.log', 'FEED_URI': 'result.csv', 'DOWNLOAD_DELAY': 1, 'FEED_FORMAT': 'csv', 'NEWSPIDER_MODULE': 'foo.spiders'}
2018-01-27 14:36:07 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.feedexport.FeedExporter',
 'scrapy.extensions.logstats.LogStats']
2018-01-27 14:36:07 [twisted] CRITICAL: Unhandled error in Deferred:
2018-01-27 14:36:07 [twisted] CRITICAL:
Traceback (most recent call last):
  File "c:\works\foo\env\lib\site-packages\twisted\internet\defer.py", line 1386, in _inlineCallbacks
    result = g.send(result)
  File "c:\works\foo\env\lib\site-packages\scrapy\crawler.py", line 80, in crawl
    self.engine = self._create_engine()
  File "c:\works\foo\env\lib\site-packages\scrapy\crawler.py", line 105, in _create_engine
    return ExecutionEngine(self, lambda _: self.stop())
  File "c:\works\foo\env\lib\site-packages\scrapy\core\engine.py", line 69, in __init__
    self.downloader = downloader_cls(crawler)
  File "c:\works\foo\env\lib\site-packages\scrapy\core\downloader\__init__.py", line 88, in __init__
    self.middleware = DownloaderMiddlewareManager.from_crawler(crawler)
  File "c:\works\foo\env\lib\site-packages\scrapy\middleware.py", line 58, in from_crawler
    return cls.from_settings(crawler.settings, crawler)
  File "c:\works\foo\env\lib\site-packages\scrapy\middleware.py", line 34, in from_settings
    mwcls = load_object(clspath)
  File "c:\works\foo\env\lib\site-packages\scrapy\utils\misc.py", line 44, in load_object
    mod = import_module(module)
  File "c:\works\foo\env\lib\importlib\__init__.py", line 126, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 986, in _gcd_import
  File "<frozen importlib._bootstrap>", line 969, in _find_and_load
  File "<frozen importlib._bootstrap>", line 958, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 673, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 665, in exec_module
  File "<frozen importlib._bootstrap>", line 222, in _call_with_frames_removed
  File "c:\works\foo\env\lib\site-packages\scrapy\downloadermiddlewares\retry.py", line 20, in <module>
    from twisted.web.client import ResponseFailed
  File "c:\works\foo\env\lib\site-packages\twisted\web\client.py", line 42, in <module>
    from twisted.internet.endpoints import HostnameEndpoint, wrapClientTLS
  File "c:\works\foo\env\lib\site-packages\twisted\internet\endpoints.py", line 41, in <module>
    from twisted.internet.stdio import StandardIO, PipeAddress
  File "c:\works\foo\env\lib\site-packages\twisted\internet\stdio.py", line 30, in <module>
    from twisted.internet import _win32stdio
  File "c:\works\foo\env\lib\site-packages\twisted\internet\_win32stdio.py", line 9, in <module>
    import win32api
ImportError: DLL load failed: 指定されたモジュールが見つかりません。

win32api の import に失敗 しているようです。
もともと Scrapy は Windows で走らせる場合に限り win32api に依存します。そのために事前に pip install pypiwin32 して必要なライブラリをインストールしておいたのですが。
というか、数週間前にセットアップした Scrapy は同じ環境で普通に動いているので不思議なことです。


解決策を探る

結論から云うと原因は不明で、 pypiwin32 のバージョンを下げる ことで対処しました。

数週間前にセットアップした環境で pip freeze -l > requirements.txt してインストールされている pypiwin32 のバージョンを比べてみます。

差分だけ取り出すと、

cffi==1.11.2   => cffi==1.11.4
pypiwin32==219 => pypiwin32==222
               => pywin32==222
w3lib==1.18.0  => w3lib==1.19.0

これだけ見ると pypiwin32 のバージョン 220 から 222 の間で何かしらのバグが入った事が原因のように見えます。
または pywin32 に依存するようになったことが原因でしょうか?


今回は取り急ぎ pypiwin32 をアンインストールしてから pypiwin32==219 で古いバージョンの pypiwin32 を入れ直す ことで対応しました。


私からは以上です。