# PythonVirtualenvOperator

PythonVirtualenvOperator 는 virtualenv 로 가상환경 진입 및 패키지 설치 후 파이썬 Callable 객체(여기엔 함수도 포함됩니다)를 실행하는 Operator입니다. virtualenv 로 격리된 공간에서 필요한 패키지를 설치할 수 있다는 점 외에는 PythonOperator와 사용법과 동작은 동일합니다.

# Graph View

다음처럼 간단한 Task 의존성을 가지는 DAG을 작성해봅시다.

# Code

from datetime import datetime, timedelta

from airflow import DAG
from airflow.operators.python import PythonVirtualenvOperator
from pendulum.tz.timezone import Timezone

with DAG(
    dag_id="03_python_virtualenv_operator",
    description="PythonVirtualenvOperator를 사용하는 DAG 예제입니다.",
    default_args={
        "owner": "heumsi",
        "retries": 1,
        "retry_delay": timedelta(minutes=1),
    },
    start_date=datetime(2022, 1, 20, tzinfo=Timezone("Asia/Seoul")),
    schedule_interval="@once",
    tags=["examples", "04_using_various_operators"],
) as dag:

    def print_dataframe() -> None:
        import pandas as pd

        df = pd.DataFrame({"A": [1, 2], "B": [3, 4]})
        print(df.head())

    def print_emoji() -> None:
        import emoji

        result = emoji.emojize("Python is :thumbs_up:")
        print(result)

    task_1 = PythonVirtualenvOperator(
        task_id="print_dataframe",
        python_callable=print_dataframe,
        requirements=[
            "pandas==1.4.0",
        ],
    )

    task_2 = PythonVirtualenvOperator(
        task_id="print_emoji",
        python_callable=print_emoji,
        python_version="3.9",
        requirements=[
            "emoji==1.6.3",
        ],
    )

    task_1 >> task_2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

PythonVirtualenvOperator로 가상환경을 만든 뒤 패키지를 설치하고 파이썬 Callable 객체를 실행합니다.
- python_callable 파라미터에 실행할 파이썬 Callable 객체를 넘깁니다.
- requirements 파라미터에 가상환경에 설치할 파이썬 패키지 목록을 List[str] 타입으로 넘깁니다.
- python_version 파라미터로 가상환경에 사용할 파이썬 버전을 지정할 수도 있습니다.

# Web UI

다음처럼 잘 실행된 것을 로그를 통해 확인할 수 있습니다.

← PythonOperator BranchPythonOperator →