scikit-learn目前还不能与spark完全集成，原因是scikit-learn算法不能实现分布式，因为它只能在一台机器上工作。
尽管如此，你可以在spark-sklearn中找到准备好使用Spark的Scikit集成工具，它支持（暂时）在Spark上执行GridSearch进行交叉验证。

编辑

截至2020年，spark-sklearn已被弃用，joblib-spark是它的推荐继任者。根据文档，您可以轻松地将交叉验证分发到Spark集群，如下所示：

from sklearn.utils import parallel_backend
from sklearn.model_selection import cross_val_score
from sklearn import datasets
from sklearn import svm
from joblibspark import register_spark

register_spark() # register spark backend

iris = datasets.load_iris()
clf = svm.SVC(kernel='linear', C=1)
with parallel_backend('spark', n_jobs=3):
  scores = cross_val_score(clf, iris.data, iris.target, cv=5)

print(scores)

字符串
GridSearchCV可以以相同的方式分发。

不，scikit learn不能和pyspark一起工作，因为scikit learn是一个可以在个人电脑上工作的软件包，而spark是一个分布式环境。

def pandas_filter_func(iterator):
    for pandas_df in iterator:
        yield pandas_df[pandas_df.a == 1]

df.mapInPandas(pandas_filter_func, schema=df.schema).show()

字符串
从这里开始：
https://spark.apache.org/docs/3.2.0/api/python/getting_started/quickstart_df.html#Applying-a-Function