错误如下：

Traceback (most recent call last):
  File "scrapy\utils\defer.py", line 55, in mustbe_deferred
  File "scrapy\core\spidermw.py", line 60, in process_spider_input
  File "scrapy\core\scraper.py", line 152, in call_spider
  File "scrapy\utils\misc.py", line 218, in warn_on_generator_with_return_value
  File "scrapy\utils\misc.py", line 203, in is_generator_with_return_value
  File "inspect.py", line 985, in getsource
  File "inspect.py", line 967, in getsourcelines
  File "inspect.py", line 798, in findsource
OSError: could not get source code

这个问题困扰了我好几天，因为在PyCharm里跑是可以正常运行的，但是打包后就会报上面的错，翻遍了百度谷歌都没有找到解决办法，以为是scrapy框架不支持打包exe，然后最后从代码一步一步下手，发现是scrapy.Request传入回调的问题。

def start_requests(self):
   # 请求地址
   for url in self.start_urls:
   print("请求链接：" + url)
   yield scrapy.Request(url, callback=self.parse) # 这里要把callback=self.parse去掉

上面需要把callback=self.parse去掉，去掉后，打包后的exe就不会报找不到源代码了。去掉后默认会执行parse方法。

 

然后我又发现在parse方法里，请求下一个页面的函数里面，如果有yield也会引发此报错，一开始我的爬虫代码是这样。

import scrapy
from mangakakalot.items import MangakakalotItem
import cloudscraper

class ChapterSpider(scrapy.Spider):
    name = 'chapter'

    # 初始化
    def __init__(self,start_urls=None, *args, **kwargs):
        super(ChapterSpider, self).__init__(*args, **kwargs)
        self.start_urls = start_urls.split(",")

    # 开始请求链接
    def start_requests(self):
        # 声明 cloudscraper，用于绕过 CloudFlare
        self.browser = cloudscraper.create_scraper()
        # 请求地址
        for url in self.start_urls:
            print("请求链接："+ url)
            yield scrapy.Request(url=url,self.parse)

    # 章节详情页
    def parse(self, response):
        comic_name = response.css("div.story-info-right>h1::text").get() # 漫画名称
        print("————解析章节详情页：" + comic_name)
        for each in response.css("ul.row-content-chapter>li"):
            chapter_url = each.css('a::attr(href)').get() # 章节详情页链接
            chapter_title = each.css('a::attr(title)').get() # 章节标题
            chapter_name = each.css('a::text').get() # 章节名称
            chapter_time = each.css('span.chapter-time::text').get() # 上传时间
            yield scrapy.Request(url=chapter_url,callback=self.parse_chapterDetail,
                                     cb_kwargs={
                                         'comic_name':comic_name,
                                         'chapter_name':chapter_name
                                     }
                                 )

    # 漫画阅读页
    def parse_chapterDetail(self, response, comic_name=None, chapter_name=None):
        if comic_name is None or chapter_name is None:
            print("漫画名或章节名不能为空")
            return
        print("————解析漫画阅读页：" + comic_name)
        for each in response.css("div.container-chapter-reader>img"):
            item = MangakakalotItem()
            item['image_urls'] = each.css("::attr(src)").getall() # 图片地址
            item['chapter_name'] = chapter_name
            item['comic_name'] = comic_name
            items.append(item)
            yield item

上面这段代码，在PyCharm里是可以正常跑的，但是用pyinstaller打包成exe后，就会报源代码不存在。然后我一次次尝试，发现是yield的问题，需要做如下修改。

import scrapy
from mangakakalot.items import MangakakalotItem
import cloudscraper

class ChapterSpider(scrapy.Spider):
    name = 'chapter'

    # 初始化
    def __init__(self,start_urls=None, *args, **kwargs):
        super(ChapterSpider, self).__init__(*args, **kwargs)
        self.start_urls = start_urls.split(",")

    # 开始请求链接
    def start_requests(self):
        # 声明 cloudscraper，用于绕过 CloudFlare
        self.browser = cloudscraper.create_scraper()
        # 请求地址
        for url in self.start_urls:
            print("请求链接："+ url)
            yield scrapy.Request(url=url)

    # 章节详情页
    def parse(self, response):
        comic_name = response.css("div.story-info-right>h1::text").get() # 漫画名称
        print("————解析章节详情页：" + comic_name)
        for each in response.css("ul.row-content-chapter>li"):
            chapter_url = each.css('a::attr(href)').get() # 章节详情页链接
            chapter_title = each.css('a::attr(title)').get() # 章节标题
            chapter_name = each.css('a::text').get() # 章节名称
            chapter_time = each.css('span.chapter-time::text').get() # 上传时间
            yield scrapy.Request(url=chapter_url,callback=self.parse_chapterDetail,
                                     cb_kwargs={
                                         'comic_name':comic_name,
                                         'chapter_name':chapter_name
                                     }
                                 )

    # 漫画阅读页
    def parse_chapterDetail(self, response, comic_name=None, chapter_name=None):
        if comic_name is None or chapter_name is None:
            print("漫画名或章节名不能为空")
            return
        print("————解析漫画阅读页：" + comic_name)
        items = []
        for each in response.css("div.container-chapter-reader>img"):
            item = MangakakalotItem()
            item['image_urls'] = each.css("::attr(src)").getall() # 图片地址
            item['chapter_name'] = chapter_name
            item['comic_name'] = comic_name
            items.append(item)
            # yield item
        return items

去掉yield改成return，重新声明一个变量用来保存，循环结束后再返回给管道。这样exe就不会报错了。

一开始百度谷歌解决不了，我就加了几个scrapy的群问了一下，发现那些大佬只会叫你去百度，得不到任何帮助，还是得靠自己啊！

只要出现OSError: could not get source code这个错误的时候，就要注意你回调函数里的yield，在默认parse里用yield返回打包后运行是不会报错的，如果有更好的方法，欢迎各位大佬指正。

转载请注明出处！CDNS：Kin1713172499

 

 

 

 

 

 

 

 

以下省略。。。

最近弄了几个站，留个外链
ITM游戏资源
ITM资源