scrapy 如何从网站上获取所有客户投诉?

yvt65v4c  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(80)

我想从https://www.reclameaqui.com.br/empresa/santander/lista-reclamacoes/?status=NOT_ANSWERED中删除所有客户投诉
我的代码:

class ComplaintScraper(CrawlSpider):
    name = "ComplaintScraper"

    allowed_domains = ["https://www.reclameaqui.com.br"]
    start_urls = [
      "https://www.reclameaqui.com.br/empresa/santander/lista-reclamacoes/?status=NOT_ANSWERED",  #Only complaints not answered
      ]

    '''
     LinkExtractor: An object which defines how links will be extracted from each crawled page.
    '''
    rules = (
      Rule(LinkExtractor(restrict_css = '#__next > div.sc-1mzw716-0.bbugAk > div.sc-1mzw716-1.dAjixN > div.wydd4i-0.jaTnlr > main > '
        + 'section.wydd4i-5.bDtuKO > div.sc-gJpXkD.ebMJNx.xh9b9g-0.jjQFrx > '
        + 'div.sc-1sm4sxr-0.eFXbXn > div:nth-child(1) > a'), callback = "parse_complaint", follow=True), 
    )

    def start_requests(self):
      for url in self.start_urls:
        yield SplashRequest(url, self.parse_complaint, endpoint='render.html', args={'wait': 0.5})

    def parse_complaint(self, response):

      print("Hi", response.url)

但是,我无法在控制台中看到前 n 个链接,即:

我哪里错了?我如何从这个列表中获得所有客户投诉https://www.reclameaqui.com.br/empresa/santander/lista-reclamacoes/?status=NOT_ANSWERED

lhcgjxsq

lhcgjxsq1#

我不用飞溅就能把它们刮得很好...

import scrapy

class ComplaintScraper(scrapy.Spider):
    name = "ComplaintScraper"

    def start_requests(self):
        base = "https://www.reclameaqui.com.br/empresa/santander/lista-reclamacoes/?status=NOT_ANSWERED"
        yield scrapy.Request(base, self.parse_complaint)
        for i in range(263):
            page = "https://www.reclameaqui.com.br/empresa/santander/lista-reclamacoes/?pagina=%d&status=NOT_ANSWERED" % i
            yield scrapy.Request(page, self.parse_complaint)

    def parse_complaint(self, response):
        for row in response.xpath('//div[contains(@class,"bJdtis")]'):
            text = row.xpath(".//p/text()").get()
            title = row.xpath("./a/h4/text()").get()
            link = row.xpath("./a/@href").get()
            yield {"text": text, "title": title, "link": link}
            yield scrapy.Request(response.urljoin(link), callback=self.parse_page, dont_filter=True)

    def parse_page(self, response):
        company = response.xpath("//a[@data-testid='company-page-link']//text()").get()
        date_created = response.xpath("//span[@data-testid='complaint-creation-date']//text()").get()
        complaint_id = response.xpath("//span[@data-testid='complaint-id']//text()").getall()
        description = response.xpath("//p[@data-testid='complaint-description']//text()").getall()
        yield {
            "company":company,
            "date_created":date_created,
            "complaint_id":complaint_id,
            "description":description,
        }

输出:json

[
{"text": "J\u00e1 cansei de receber liga\u00e7\u00f5es do banco Santander naquela liga\u00e7\u00e3o de rob\u00f4 dizendo que minha margem para empr\u00e9stimo aumentou. Isso j", "title": "Santander me liga todos os dias em grava\u00e7\u00e3o autom\u00e1tica oferecendo empr\u00e9stimo", "link": "/santander/santander-me-liga-todos-os-dias-em-gravacao-automatica-oferecendo-emprestim_c910djaXUkL0vqC1/"},
{"text": "Cancelei meu cart\u00e3o de cr\u00e9dito e pedi um cart\u00e3o d\u00e9bito. V\u00e1rios meses atr\u00e1s, fui ao banco desbloquear meu cart\u00e3o no caixa eletr\u00f4nic", "title": "Cart\u00e3o atendimento", "link": "/santander/cartao-atendimento_4tSDcLpU_qCr9IZ0/"},
{"text": "Ol\u00e1, eu fiz um acordo pro meu pai pelo Serasa de uma d\u00edvida com o Santander, o acordo foi feito em 10 parcelas, est\u00e1vamos pagando ", "title": "Acordo Quebrado", "link": "/santander/acordo-quebrado_PNN55c7K25I0x4xl/"},
{"text": "Realizei um consorcio para aquisi\u00e7\u00e3o de uma moto no Banco Santander, passei a marca e o modelo para a gerente e ela me incluiu em ", "title": "Cons\u00f3rcio para aquisi\u00e7\u00e3o de moto.", "link": "/santander/consorcio-para-aquisicao-de-moto_rK0IZcJn_VCAHu9Y/"},
{"text": "Tentei fazer TED e por motivo de seguran\u00e7a pediram pra ligar no 40043535. Liguei. Me transferiram para outro setor protocolo 20896", "title": "Falta de respeito", "link": "/santander/falta-de-respeito_fUS4AzqqAGiZx0SS/"},
{"text": "Venho por meio deste formalizar minha reclama\u00e7\u00e3o e total insatisfa\u00e7\u00e3o com os servi\u00e7os prestados pelo banco Santander, desde o dia ", "title": "Sem acesso aos extratos banc\u00e1rios ", "link": "/santander/sem-acesso-aos-extratos-bancarios_jVmU9hRwxqlhaibo/"},
{"text": "Estou a dois dias tentando fazer uma simples altera\u00e7\u00e3o da data de vencimento da minha fatura e n\u00e3o consigo. J\u00e1 tentei pelo aplicat", "title": "N\u00e3o consigo alterar a data de vencimento da minha fatura!!!!!!!!", "link": "/santander/nao-consigo-alterar-a-data-de-vencimento-da-minha-fatura_Qi784WgI_oNBAiNP/"},
{"text": "Banco Santander n\u00e3o est\u00e1 cumprindo com a lei. Eu como consumidor desta ag\u00eancia, venho sofrendo com a falta de comunica\u00e7\u00e3o. D", "title": "Redu\u00e7\u00e3o de limite sem comunica\u00e7\u00e3o ", "link": "/santander/reducao-de-limite-sem-comunicacao_S-7m437JuzTffUFo/"},
{"text": "Pessoal, venho atrav\u00e9s deste canal relatar minha indigina\u00e7\u00e3o mediante um acontecimento que ocorreu comigo na sexta feira dia 21/10", "title": "Sequestro rel\u00e2mpago e transa\u00e7\u00f5es banc\u00e1rias mediante coa\u00e7\u00e3o com arma de fogo", "link": "/santander/sequestro-relampago-e-transacoes-bancarias-mediante-coacao-com-arma-de-fogo_pclnXGFHD-WCofjT/"},
{"text": "Solicitei o cart\u00e3o AMEX Platinun com isen\u00e7\u00e3o vital\u00edcia da anuidade. No dia 12/10 recebi SMS informando uma senha de 4 d\u00edgitos para", "title": "AMEX - Imposs\u00edvel falar com qualquer pessoa do Santander, ou conseguir qualquer informa\u00e7\u00e3o", "link": "/santander/amex-impossivel-falar-com-qualquer-pessoa-do-santander-ou-conseguir-qual_5no5tbszf81asmVv/"},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 16:55", "complaint_id": ["ID:", " 152486909"], "description": ["Banco Santander n\u00e3o est\u00e1 cumprindo com a lei. Eu como consumidor desta ag\u00eancia, venho sofrendo com a falta de comunica\u00e7\u00e3o. ", "Dessa vez agora sem nenhum aviso pr\u00e9vio, tiraram meu cheque especial R$ 800,00. ", "Onde sempre cumpri com a reposi\u00e7\u00e3o ou pagamento de juros das vezes que precisei utilizar. ", "Entrei no meu app e informa que n\u00e3o tenho mais o servi\u00e7o dispon\u00edvel.", "E vai me desestruturar financeiramente. Por que irei receber meu sal\u00e1rio e n\u00e3o vai retornar como cr\u00e9dito de cheque especial. ", "Ainda mais sem comunica\u00e7\u00e3o previs\u00e3o nenhuma. ", "Se soubesse, ou se o banco informasse que iria tirar o servi\u00e7o eu n\u00e3o teria nem utilizado, para n\u00e3o comprometer meu sal\u00e1rio m\u00eas que vem.", "Isso fere meus direitos de consumidor.", "J\u00e1 me informei no procon: ", "RECURSO INOMINADO. A\u00c7\u00c3O DE INDENIZA\u00c7\u00c3O POR DANOS MORAIS. CANCELAMENTO DE LIMITE DE CR\u00c9DITO EM CONTA CORRENTE. AUS\u00caNCIA DE AVISO PR\u00c9VIO. FALHA NA PRESTA\u00c7\u00c3O DOS SERVI\u00c7OS. DANO MORAL CARACTERIZADO. SENTEN\u00c7A DE PROCED\u00caNCIA. RECURSO DO AUTOR PELA MAJORA\u00c7\u00c3O DOS DANOS MORAIS. INDENIZAT\u00d3RIO ADEQUADO \u00c0SQUANTUM PARTICULARIDADES DO CASO CONCRETO. PRINC\u00cdPIOS DA PROPORCIONALIDADE E RAZOABILIDADE IGUALMENTE ATENDIDOS. MANUTEN\u00c7\u00c3O DA SENTEN\u00c7A PELOS PR\u00d3PRIOS FUNDAMENTOS. RECURSO CONHECIDO E DESPROVIDO...", "Sem contar que , a cada dia que passa est\u00e3o cobrando juros em cima do que utilizei."]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 17:22", "complaint_id": ["ID:", " 152488685"], "description": ["Cancelei meu cart\u00e3o de cr\u00e9dito e pedi um cart\u00e3o d\u00e9bito. V\u00e1rios meses atr\u00e1s, fui ao banco desbloquear meu cart\u00e3o no caixa eletr\u00f4nico n\u00e3o consigo, aparece uma mensagem, falar como um dos atendentes. tentei a primeira vez ia demorar para ser atendido, na alega\u00e7\u00e3o que tinha de esperar.", "Fui hoje novamente peguei a senha 12:54h e at\u00e9 as 13: 40h n\u00e3o fui atendido, liguei no 0800 para atendimento n\u00e3o fui atendido pois pede uma senha de 6 d\u00edgitos e n\u00e3o possuo essa senha. Ent\u00e3o n\u00e3o consegui nada, a grava\u00e7\u00e3o me agradece e desliga. N\u00e3o consigo falar com ningu\u00e9m. preciso desbloquear o cart\u00e3o para pagar uma pend\u00eancia e n\u00e3o consigo. E  para finalizar est\u00e3o me ligando para uma empresa em um n\u00famero que n\u00e3o foi cadastrado no sistema do banco. (Suzana). Peguei o n\u00famero do zap cadastrei no meu telefone, aparece uma mensagem, n\u00e3o encontramos manifesta\u00e7\u00e3o... \" Se precisar estarei aqui at\u00e9 a pr\u00f3xima\"aparece uma carinha sorrindo e mais nada. Preciso de uma solu\u00e7\u00e3o."]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 17:10", "complaint_id": ["ID:", " 152487895"], "description": ["Venho por meio deste formalizar minha reclama\u00e7\u00e3o e total insatisfa\u00e7\u00e3o com os servi\u00e7os prestados pelo banco Santander, desde o dia 06/10 solicito os extratos banc\u00e1rios da minha conta jur\u00eddica na ag\u00eancia Ag 1572", "Cc 13001702-3 e n\u00e3o consigo o gerente alega que meu CPF est\u00e1 bloqueado na receita federal por conta de declara\u00e7\u00e3o IR e que eu tenho que regularizar a situa\u00e7\u00e3o do meu CPF para conseguir acesso a conta, por\u00e9m eles n\u00e3o podem me privar das minhas informa\u00e7\u00f5es. Pe\u00e7o que venha o quanto resolvam o quanto antes est\u00e1 situa\u00e7\u00e3o o quanto antes, pois preciso das informa\u00e7\u00f5es para fins judiciais "]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 16:40", "complaint_id": ["ID:", " 152485959"], "description": ["Solicitei o cart\u00e3o AMEX Platinun com isen\u00e7\u00e3o vital\u00edcia da anuidade. No dia 12/10 recebi SMS informando uma senha de 4 d\u00edgitos para o cart\u00e3o emitido com final 8234, mas at\u00e9 o momento n\u00e3o recebi o cart\u00e3o. como j\u00e1 se passaram duas semanas do recebimento da senha de 4 d\u00edgitos enviada por SMS, gostaria de saber se o cart\u00e3o realmente foi enviado ou se pode ter sido extraviado.", "Tentei contato por todos os canais de comunica\u00e7\u00e3o que encontrei (4004-3535, whatsapp 11 4004-3535, chat e reclama\u00e7\u00e3o via site), procurei o telefone direto de v\u00e1rias ag\u00eancias pelo Google e ao ligar, informam que o n\u00famero mudou para 4004-3535 e desligam automaticamente. Ao ligar no 4004-3535, pedem o CPF e uma senha de 6 d\u00edgitos, sem dar op\u00e7\u00e3o de atendimento. Ao n\u00e3o digitar a senha ou digitar a senha recebida, informa\u00e7\u00e3o que n\u00e3o \u00e9 um d\u00edgito v\u00e1lido e a liga\u00e7\u00e3o \u00e9 derrubada automaticamente. Instalei o APP Santander AMEX, entro com meu CPF, meu cadastro e cart\u00e3o s\u00e3o identificados, recebo o c\u00f3digo de valida\u00e7\u00e3o e ao inserir, novamente pedem a tal senha de 6 d\u00edgitos que n\u00e3o tenho nem cadastrei. Ao ir em uma ag\u00eancia, pedem para ligar na Central de Cart\u00f5es. \u00c9 simplesmente imposs\u00edvel conseguir falar com qualquer pessoa no Santander e n\u00e3o sei se o cart\u00e3o pode ou n\u00e3o estar na m\u00e3o de terceiros."]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 16:42", "complaint_id": ["ID:", " 152486075"], "description": ["Pessoal, venho atrav\u00e9s deste canal relatar minha indigina\u00e7\u00e3o mediante um acontecimento que ocorreu comigo na sexta feira dia 21/10 por volta das 22:00.", "Fui sequestrado e mediante coa\u00e7\u00e3o com arma de fogo foi utilizado minha conta banc\u00e1ria tanto f\u00edsica quanto jur\u00eddica para execu\u00e7\u00e3o de pix e transa\u00e7\u00f5es via cart\u00e3o de cr\u00e9dito.", "Tive um prejuizo de 6,5 mil em transa\u00e7\u00f5es via pix na conta jur\u00eddica e mais outro prejuizo de 26 mil em transa\u00e7\u00f5es via cart\u00e3o de cr\u00e9dito na conta f\u00edsica.", "Durante todo este processo fiquei em cativeiro por 18h sendo coagido e amea\u00e7ado com arma de fogo na cabe\u00e7a temendo pela minha vida.", "Ao ligar na central de relacionamento do banco santander no setor de contesta\u00e7\u00e3o e [Editado pelo Reclame Aqui]s, por incr\u00edvel que pare\u00e7a (chega a ser at\u00e9 absurdo), fui informado que n\u00e3o poderia ser ressarcido pois a quest\u00e3o se tratava de seguran\u00e7a p\u00fablica e agora eu tenho que arcar com todas as despesas que me foram subtra\u00eddas sob amea\u00e7a de morte.", "Infelizmente depois de aproximadamente 15 anos de bom relacionamento com o santander, estou sendo obrigado a abrir um processo judicial contra meu pr\u00f3prio banco, al\u00e9m de exigir uma liminar contra esses valores e tamb\u00e9m estou registrando uma queixa no BACEN (Banco Central)."]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 17:23", "complaint_id": ["ID:", " 152488791"], "description": ["J\u00e1 cansei de receber liga\u00e7\u00f5es do banco Santander naquela liga\u00e7\u00e3o de rob\u00f4 dizendo que minha margem para empr\u00e9stimo aumentou. Isso j\u00e1 se tornou um incom\u00f4do h\u00e1 muito tempo. J\u00e1 tentei inclusive completar a liga\u00e7\u00e3o e falar com o atendente dizendo que n\u00e3o tenho interesse e que eles parem de me ligar. Na maioria das x s\u00e3o mal educados. J\u00e1 bloqueei in\u00fameros telefones deles e n\u00e3o obtive sucesso. Esse banco me importuna todos os dias. Esse \u00e9 o primeiro passo para tentar resolver o assunto e se n\u00e3o adiantar vou para o procon, justi\u00e7a, enfim o que estiver no meu direito. Esse banco acha que n\u00e3o temos mais o que fazer al\u00e9m de ficar atendendo essas liga\u00e7\u00f5es rob\u00f3ticas todos os dias e n\u00e3o apenas 1 x, s\u00e3o v\u00e1rias x ao dia. E s\u00e3o 2 n\u00fameros de telefone meus que vcs tem. Querem que me tirem da lista de vcs. N\u00e3o tenho interesse em fazer nenhum empr\u00e9stimo, muito menos com o BANCO SANTANDER!!!! Parem de me ligar!!!"]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 17:21", "complaint_id": ["ID:", " 152488675"], "description": ["Ol\u00e1, eu fiz um acordo pro meu pai pelo Serasa de uma d\u00edvida com o Santander, o acordo foi feito em 10 parcelas, est\u00e1vamos pagando certinho, pagamos 5 parcelas, faltam 5 parcelas. A 6 parcela vence dia 28/11/2022, eu fui baixar o boleto para pagar, me deparei com a seguinte situa\u00e7\u00e3o: \"O acordo foi quebrado por falta de pagamento. Aguarde uma nova oferta ou fale com o credor.\"", "Por que o acordo foi quebrado sendo que est\u00e1vamos pagando certinho? Queremos terminar o pagamento desses 5 boletos que est\u00e3o faltando.", "Segue anexo alguns prints.", "Fico no aguardo."]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 17:19", "complaint_id": ["ID:", " 152488511"], "description": ["Realizei um consorcio para aquisi\u00e7\u00e3o de uma moto no Banco Santander, passei a marca e o modelo para a gerente e ela me incluiu em um grupo em andamento, assinei o termo de ades\u00e3o ciente das informa\u00e7\u00f5es descritas nele. No ato de fazer a autoriza\u00e7\u00e3o de pagamento me informaram que a cilindrada da moto que eu estava solicitando n\u00e3o era compat\u00edvel com a descrita em contrato, por\u00e9m no documento que eu assinei n\u00e3o havia nenhuma particularidade de restri\u00e7\u00e3o de cilindrada e o por isso n\u00e3o consegui pegar a minha moto. No ato da aquisi\u00e7\u00e3o eu sabia a moto que eu queria, mas agora n\u00e3o consigo compra-la por causa desta clausula no contrato que n\u00e3o recebi que estava dispon\u00edvel no portal do consorciado que foi liberado no outro dia (depois de assinado o termo de ades\u00e3o). Se eu soubesse dessa quest\u00e3o da cilindrada eu n\u00e3o teria contratado o servi\u00e7o."]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 17:15", "complaint_id": ["ID:", " 152488191"], "description": ["Tentei fazer TED e por motivo de seguran\u00e7a pediram pra ligar no 40043535. Liguei. Me transferiram para outro setor protocolo 208967222. N\u00e3o consegui. Tentei passar pra minha PROPRIA conta em outro Banco : n\u00e3o consegui !!!! Liguei no SAC~n\u00e3o adianta!!!!! como pode isso???? mais um protocolo 208967783. Tive que ir at\u00e9 Ag\u00eancia . Me ligaram 36 horas depois e agora bloquearam me app"]},
{"company": "Banco Santander", "date_created": "26/10/2022 \u00e0s 17:05", "complaint_id": ["ID:", " 152487613"], "description": ["Estou a dois dias tentando fazer uma simples altera\u00e7\u00e3o da data de vencimento da minha fatura e n\u00e3o consigo. J\u00e1 tentei pelo aplicativo milh\u00f5es de vezes e nada, tentei o atendimento pelo telefone mas o atendimento \u00e9 in\u00fatil e p\u00e9ssimo! Resolvam!!!!"]}
]

相关问题