您将自己创建这些bytes对象：

item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)

每个t.encode()、l.encode()和d.encode()调用都创建一个bytes字符串。不要这样做，让它以JSON格式来序列化这些字符串。
接下来，您会犯其他几个错误;你在不需要的地方编码太多了。把它留给json模块和open()调用返回的 standard file对象来处理编码。
您也不需要将items列表转换为字典;它已经是一个可以直接进行JSON编码的对象：

class W3SchoolPipeline(object):    
    def __init__(self):
        self.file = open('w3school_data_utf8.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(item) + '\n'
        self.file.write(line)
        return item

我猜你学习了一个假设使用Python 2的教程，而你使用的是Python 3。它不仅是为过时的Python版本编写的，而且如果它提倡line.decode('unicode_escape')，它也会教你一些非常坏的习惯，这些习惯会导致难以跟踪的bug。

简单地写<variable name>.decode("utf-8")。
例如：

myvar = b'asdqweasdasd'
myvar.decode("utf-8")

今天我处理了这个问题，我知道我有一些编码为bytes对象的东西，我试图用json.dump(my_json_object, write_to_file.json)将其序列化为json。在本例中，my_json_object是我创建的一个非常大的json对象，所以我有几个dict、列表和字符串要查看，以找到仍然是bytes格式的内容。
我最后的解决方法是：write_to_file.json将包含导致问题的字节对象之前的所有内容。
在我的特殊情况下，这是一条通过

for line in text:
    json_object['line'] = line.strip()

我首先在write_to_file.json的帮助下找到了这个错误，然后将其更正为：

for line in text:
    json_object['line'] = line.strip().decode()

我在处理图像数据时也遇到了同样的错误。在Python中，在客户端，我阅读一个图像文件并将其发送到服务器。服务器将二进制数据解码为字节。因此，我将字节数据转换为字符串，解决了这个错误。

image_bytes =  file.read()
data = {"key1": "value1", "key2" :  "value2", "image" : str(image_bytes)}