Conditional computations. #2272

ilyshnikova · 2018-04-24T08:03:46Z

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en

В этом реквесте содержится правка, которая позволяет вычислять аргументы функции and не везде, а только на определенных подмножествах строк.

Включается эта функциональность опцией клиента enable_conditional_computation. По-дефолту, функциональность выклчена

Пример работы

ubuntu.members.linode.com :) select arrayMap(x -> x and modulo(1,x), [0,1,2]);

SELECT arrayMap(x -> (x AND (1 % x)), [0, 1, 2])

Received exception from server (version 1.1.54380):
Code: 153. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Division by zero. 

0 rows in set. Elapsed: 0.402 sec. 

ubuntu.members.linode.com :) set enable_conditional_computation=1;

SET enable_conditional_computation = 1

Ok.

0 rows in set. Elapsed: 0.002 sec. 

ubuntu.members.linode.com :) select arrayMap(x -> x and modulo(1,x), [0,1,2]);

SELECT arrayMap(x -> (x AND (1 % x)), [0, 1, 2])

┌─arrayMap(lambda(tuple(x), and(x, modulo(1, x))), [0, 1, 2])─┐
│ [0,0,1]                                                     │
└─────────────────────────────────────────────────────────────┘

1 rows in set. Elapsed: 0.011 sec. 

ubuntu.members.linode.com :)

Особенность реквеста: приходится пробрасывать в execute количество входных строк, из-за кейсов, где аргумент фукнции "and" может не иметь никаких входных параметров и угадать число строк результата невозможно внутри выполнения функции, только подсказать ей снаружи, как в примере f and emptyArrayUInt8()

В остальном все просто: добавлены функции проекции, восстановления и взятия композиции проекций и построен способ выбора экшенов, который использует эти функции для вычисления результата.

ludv1x · 2018-04-28T13:37:51Z

dbms/src/Interpreters/ExpressionActions.h

@@ -67,6 +69,10 @@ struct ExpressionAction
    std::string result_name;
    DataTypePtr result_type;

+    /// For projections


Плохое имя, т.к. в этом же и смежных классах под проекцией понимается совршенно другая вещь.

Очень не хватает комментариев в коде, без них сложно разобраться в алгоритме.

ludv1x · 2018-04-28T13:49:28Z

dbms/src/Interpreters/ExpressionAnalyzer.cpp


 void ExpressionAnalyzer::getRootActions(const ASTPtr & ast, bool no_subqueries, bool only_consts, ExpressionActionsPtr & actions)
 {
    ScopeStack scopes(actions, settings);
-    getActionsImpl(ast, no_subqueries, only_consts, scopes);
+    ProjectionManipulatorPtr projection_manipulator;
+    if (!isThereArrayJoin(ast) && settings.enable_conditional_computation && !only_consts)


Тут не совсем очевидна мотивация.
По идее если при выполнении arrayJoin делать replicate() виртуальных столбцов с масками, то должно все работать (?).
Еще есть вариант выполнять все arrayJoin'ы после всех обычных функций.

В текущем варианте это усложняет код тем, что приходится поддерживать dummy реализации всего из ProjectionManipulator.

(Это не первочередное проблема)

KochetovNicolai · 2018-04-29T20:43:10Z

dbms/src/Columns/ColumnVector.h

@@ -231,6 +231,11 @@ class ColumnVector final : public COWPtrHelper<IColumn, ColumnVector<T>>
        return UInt64(data[n]);
    }

+    UInt8 getUInt8(size_t n) const override
+    {
+        return UInt8(!!data[n]);


То, что возвращает функция, не соответствует названию.
Для 0.1 getUInt8 вернет 1, а getUInt64 - 0. Возможно, назвать функцию как getBoolRepresentation() или как-то аналогично?

KochetovNicolai · 2018-04-29T20:54:45Z