如何在单元测试中使用pandas数据框

hgqdbh6s 于 2023-09-29 发布在其他

关注(0)|答案(3)|浏览(86)

我正在开发一组python脚本来预处理数据集，然后使用scikit-learn生成一系列机器学习模型。我想开发一组单元测试来检查数据预处理功能，并希望能够使用一个小的测试pandas框架，我可以确定答案并在assert语句中使用它。
我似乎无法让它加载dataframe并使用self将其传递给单元测试。我的代码看起来像这样;

def setUp(self):
    TEST_INPUT_DIR = 'data/'
    test_file_name =  'testdata.csv'
    try:
        data = pd.read_csv(INPUT_DIR + test_file_name,
            sep = ',',
            header = 0)
    except IOError:
        print 'cannot open file'
    self.fixture = data

def tearDown(self):
    del self.fixture

def test1(self):    
    self.assertEqual(somefunction(self.fixture), somevalue)

if __name__ == '__main__':
    unittest.main()

谢谢你的帮助

pandas

来源：https://stackoverflow.com/questions/27950891/how-to-use-a-pandas-data-frame-in-a-unit-test

3条答案

按热度按时间

v09wglhw1#

Pandas有一些用于测试的实用程序。

import unittest
import pandas as pd
from pandas.util.testing import assert_frame_equal # <-- for testing dataframes

class DFTests(unittest.TestCase):

    """ class for running unittests """

    def setUp(self):
        """ Your setUp """
        TEST_INPUT_DIR = 'data/'
        test_file_name =  'testdata.csv'
        try:
            data = pd.read_csv(INPUT_DIR + test_file_name,
                sep = ',',
                header = 0)
        except IOError:
            print 'cannot open file'
        self.fixture = data

    def test_dataFrame_constructedAsExpected(self):
        """ Test that the dataframe read in equals what you expect"""
        foo = pd.DataFrame()
        assert_frame_equal(self.fixture, foo)

赞(0）回复(0）举报 2023-09-29

sqserrrh2#

如果你使用的是最新的pandas，我认为下面的方法更简洁：

import pandas as pd

pd.testing.assert_frame_equal(my_df, expected_df)
pd.testing.assert_series_equal(my_series, expected_series)
pd.testing.assert_index_equal(my_index, expected_index)

如果这些函数不“相等”，则它们中的每一个都将引发AssertionError。
有关更多信息和选项：https://pandas.pydata.org/docs/reference/testing.html

赞(0）回复(0）举报 2023-09-29

x8diyxa73#

你也可以用snapshottest做类似的事情。
https://stackoverflow.com/a/64070787/3384609

赞(0）回复(0）举报 2023-09-29