如何使用Azure数据工厂从SQL表中复制数据，为每个表数据创建子文件夹

l0oc07j2 于 2023-03-19 发布在其他

关注(0)|答案(1)|浏览(102)

假设我有3个表Table1、Table2、Table3。我希望这些表以CSV文件的形式存储在Azure数据湖存储中。我已经完成了这一操作，但它们都在一个文件夹中。如何将它们复制到3个不同的文件夹中，如Table1、Table2、Table3

Azure

来源：https://stackoverflow.com/questions/75723335/how-to-copy-data-from-sql-table-to-create-sub-folders-for-each-table-data-using

1条答案

按热度按时间

icnyk63a1#

如何将它们复制到3个不同的文件夹中，如Table1、Table2、Table3
使用以下方法来实现您的要求。
创建SQL数据库和ADLS的数据集，如下所示。

SQL数据库数据集：

{
    "name": "AzureSqlTable1",
    "properties": {
        "linkedServiceName": {
            "referenceName": "AzureSqlDatabase1",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "table_name": {
                "type": "string"
            }
        },
        "annotations": [],
        "type": "AzureSqlTable",
        "schema": [],
        "typeProperties": {
            "schema": "dbo",
            "table": {
                "value": "@dataset().table_name",
                "type": "Expression"
            }
        }
    }
}

参数为的ADLS数据集

{
"name": "target_csv_files",
"properties": {
    "linkedServiceName": {
        "referenceName": "AzureDataLakeStorage1",
        "type": "LinkedServiceReference"
    },
    "parameters": {
        "folder_name": {
            "type": "string"
        },
        "table_name": {
            "type": "string"
        }
    },
    "annotations": [],
    "type": "DelimitedText",
    "typeProperties": {
        "location": {
            "type": "AzureBlobFSLocation",
            "fileName": {
                "value": "@dataset().table_name",
                "type": "Expression"
            },
            "folderPath": {
                "value": "@dataset().folder_name",
                "type": "Expression"
            },
            "fileSystem": "data"
        },
        "columnDelimiter": ",",
        "escapeChar": "\\",
        "firstRowAsHeader": true,
        "quoteChar": "\""
    },
    "schema": []
}
}

然后使用SELECT name FROM sys.Tables;脚本创建查找活动以获取表列表。