我正在尝试在我的网站上实现twitter共享。为此我添加了这些 meta标签：

<meta property="twitter:card" content="summary_large_image"/>
<meta property="twitter:site" content="@abc"/>
<meta property="twitter:title" content="dummy text"/>
<meta property="twitter:description" content="dummy text"/>
<meta property="twitter:url" content="http://example.com/example"/>
<meta property="twitter:image:src" content="http://example.com/wp-content/uploads/2017/03/example.jpg"/>
<meta property="twitter:domain" content="The Example"/>

当我试图使用Twitter卡验证器检查卡预览。我得到这个错误：错误：获取页面失败，因为它被robots.txt拒绝。
为了解决这个问题。我已经在服务器上的robot文件中添加了这些行：

User-Agent: google
User-Agent: googlebot
User-agent: Twitterbot
Crawl-delay: 10 

User-agent: *
Disallow: /

但是我还是拿到这个问题，请帮我理清这个问题。